[go: up one dir, main page]

KR101572034B1 - 파라메트릭 오디오 코딩 방식들의 포렌식 검출 - Google Patents

파라메트릭 오디오 코딩 방식들의 포렌식 검출 Download PDF

Info

Publication number
KR101572034B1
KR101572034B1 KR1020137033678A KR20137033678A KR101572034B1 KR 101572034 B1 KR101572034 B1 KR 101572034B1 KR 1020137033678 A KR1020137033678 A KR 1020137033678A KR 20137033678 A KR20137033678 A KR 20137033678A KR 101572034 B1 KR101572034 B1 KR 101572034B1
Authority
KR
South Korea
Prior art keywords
subband signals
frequency
audio signal
coding
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020137033678A
Other languages
English (en)
Other versions
KR20140023389A (ko
Inventor
하랄트 하. 문트
아리지트 비스와스
레구나단 라드하크리시난
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
돌비 인터네셔널 에이비
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션, 돌비 인터네셔널 에이비 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20140023389A publication Critical patent/KR20140023389A/ko
Application granted granted Critical
Publication of KR101572034B1 publication Critical patent/KR101572034B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 오디오 포렌식, 특히, 파라메트릭 오디오 인코딩/디코딩의 트레이스들의 블라인드 검출에 관한 것이다. 특히, 본 발명은 PCM(펄스 코드 변조) 인코딩된 파형들과 같은 비압축된 파형들로부터의, 스펙트럼 대역 복제(SBR) 또는 스펙트럼 확장(SPX)과 같은 파라메트릭 주파수 확장 오디오 코딩의 검출에 관한 것이다. 시간 도메인 오디오 신호에서 주파수 확장 코딩 이력을 검출하기 위한 방법이 기술된다. 상기 방법은 시간 도메인 오디오 신호를 주파수 도메인으로 변환함으로써, 저 및 고 주파수 서브대역들을 포함하는 대응하는 복수의 서브대역들에서 복수의 서브대역 신호들을 생성하는 단계; 저 주파수 서브대역들에서의 서브대역 신호들 및 고 주파수 서브대역들에서의 서브대역 신호들 간의 관계도를 결정하는 단계로서, 상기 관계도는 복수의 서브대역 신호들에 기초하여 결정되는, 상기 관계도를 결정하는 단계; 및 관계도가 관련 임계치보다 크다면 주파수 확장 코딩 이력을 결정하는 단계를 포함한다.

Description

파라메트릭 오디오 코딩 방식들의 포렌식 검출{FORENSIC DETECTION OF PARAMETRIC AUDIO CODING SCHEMES}
본 발명은, 참조로서 완전히 본 발명에 통합되는, 2011년 5월 19일 출원된 미국 가출원 제 61/488,122 호에 대한 우선권을 청구한다.
본 발명은 오디오 포렌식, 특히, 오디오 신호들에서 파라메트릭 오디오 인코딩/디코딩의 트레이스들을 블라인드 검출하는 것과 관련된다. 특히, 본 발명은 스펙트럼 대역 복제(SBR; spectral band replication) 또는 스펙트럼 확장(SPX; spectral extension)과 같은 파라메트릭 주파수 확장 오디오 코딩의 검출, 및/또는 PCM(pulse code modulation) 인코딩된 파형들과 같은 비압축된 파형들로부터의 파라메트릭 스테레오 코딩의 검출과 관련된다.
HE-AAC(high efficiency-advanced audio coding)는 저 및 중간 비트레이트들(예를 들어, 스테레오 콘텐트에 대해 24kb/s 내지 96kb/s)에서의 유효 음악 오디오 코덱이다. HE-AAC에서, 오디오 신호는 2의 인자에 의해 다운-샘플링되고, 결과적인 저대역 신호는 AAC 파형 코딩된다. 제거된 고 주파수들은 낮은 부가적인 비트레이트에서(일반적으로, 오디오 채널 당 3kb/s에서) SBR을 사용하여 파라메트릭 코딩된다. 결과적으로, 총 비트레이트는 오디오 신호의 전체 스펙트럼 대역에 걸쳐 플레인 AAC 파형 코딩에 비해 상당히 감소될 수 있다.
전송되는 SBR 파라미터들은, 고 주파수 대역들이 AAC 디코딩된 저 대역 출력으로부터 발생되는 방식을 기술한다. 고주파수 대역들의 이러한 발생 처리는 저대역 신호로부터 고 주파수 대역들로의 패치들의 복사-붙이기(copy-and-paste) 또는 복사-업(copy-up) 처리를 포함한다. HE-AAC에서, 패치는 AAC 코딩되지 않은 고주파수 콘텐트를 재생성하기 위해서 고 주파수들로 복사-업되는 인접하는 서브대역들의 그룹을 기술한다. 일반적으로, 2개 내지 3개의 패치들이 코딩 비트레이트 조건들에 의존하여 적용된다. 일반적으로, 패치 파라미터들은 하나의 코딩 비트레이트 조건에 대해 시간에 따라 변하지 않는다. 그러나, MPEG 표준은 시간에 따라 패치 파라미터들을 변경하는 것을 가능하게 한다. 인위적으로 발생된 고주파수 대역들의 스펙트럼 인벨로프들은 인코딩된 비트스트림 내에서 송신되는 인벨로프 파라미터들에 기초하여 수정된다. 복사-업 처리 및 인벨로프 조정의 결과로서, 원래의 오디오 신호의 특성들이 지각적으로 유지될 수도 있다.
SBR 코딩은, 잡음 및/또는 톤 부가/제거에 의해, 확장된 주파수 범위에서의 신호를 더 조정하기 위해서, 즉, 고-대역 신호를 조정하기 위해서 다른 SBR 파라미터들을 사용할 수 있다.
본 발명은 MPEG SBR 기술과 같은 파라메트릭 주파수 확장 오디오 코딩을 사용하여(예를 들어, HE-AAC를 사용하여) PCM 오디오 신호가 코딩(인코딩 및 디코딩)되었는지를 평가하기 위한 수단을 제공한다. 다시 말해서, 본 발명은 비압축된 도메인에서 소정의 오디오 신호를 분석하고 소정의 오디오 신호에 이전에 파라메트릭 주파수 확장 오디오 코딩이 행해졌는지를 결정하기 위한 수단을 제공한다. 다시 말해서, (예를 들어, PCM 포맷의) (디코딩된) 오디오 신호를 고려해 볼 때, 오디오 신호가 특정 인코딩/디코딩 방법을 사용하여 이전에 인코딩되었는지 그렇지 않은지를 아는 것이 바람직할 수 있다. 특히, 오디오 신호의 고-주파수 스펙트럼 성분들이 스펙트럼 대역폭 복제 처리에 의해 발생되었는지 그렇지 않은지를 아는 것이 바람직할 수 있다. 또한, 스테레오 신호가 송신된 모노 신호에 기초하여 생성되었는지 아니면 스테레오 신호의 특정 시간/주파수 영역들이 동일한 모노 신호의 시간/주파수 데이터로부터 비롯되었는지를 아는 것이 바람직할 수 있다.
본 발명에서 개략적으로 서술되는 방법들이 오디오 코딩과 관련하여 기술되더라도, 그 방법들은 시간/주파수 데이터의 중복(duplication)을 통합하는 임의의 형태의 오디오 처리에 적용될 수 있다는 것을 유념해야 한다. 특히, 이 방법들은 SBR 파라미터들이 전송되지 않는 오디오 코딩에서의 특별한 경우인 블라인드 SBR과 관련하여 적용될 수 있다.
가능한 사용 경우는 SBR 관련 지적재산권들의 보호, 예를 들어, MPEG SBR 기술 또는 본질적으로 SBR, 예를 들어, MPEG-D USAC(Universal Speech and Audio Codec)에서의 인핸스드 SBR(eSBR)에 기초한 임의의 다른 새로운 파라메트릭 주파수 확장 코딩 툴의 무단 사용의 모니터링일 수도 있다. 또한, 트랜스-코딩 및/또는 재-인코딩은 (디코딩된) PCM 오디오 신호 이외의 정보가 더 이상 이용 가능하지 않을 때 개선될 수도 있다. 예로서, 디코딩된 PCM 오디오 신호의 고-주파수 스펙트럼 성분들이 대역폭 확장 처리에 의해 발생되었다는 것을 알고 있다면, 이 정보는 오디오 신호를 재-인코딩할 때 사용될 수 있다. 특히, 재-인코더의 파라미터들(예를 들어, 교차 주파수 및 패치 파라미터들)은 고-주파수 스펙트럼 성분들이 SBR 인코딩되도록 설정될 수 있지만, 저대역 신호는 파형 인코딩된다. 이것은 결과적으로 플레인 파형 코딩 및 고 품질 대역폭 확장에 비해 비트-레이트 절약을 유발할 수도 있다. 또한, (디코딩된) 오디오 신호의 인코딩 이력에 관한 지식은 고 비트-레이트 파형 인코딩된(예를 들어, AAC 또는 돌비 디지털) 콘텐트의 품질 보장을 위해 사용될 수 있다. 이것은 투명한 코딩 방법이 아닌 SBR 코딩 또는 일부 다른 파라메트릭 코딩 방식이 과거에 (디코딩된) 오디오 신호에 적용되지 않도록 함으로써 달성될 수 있다. 또한, 인코딩 이력에 관한 지식은, 예를 들어, (디코딩된) 오디오 신호 내에서 검출된 SBR 패치들의 수 및 크기를 고려함으로써, (디코딩된) 오디오 신호의 사운드 품질 평가에 기초할 수 있다.
이와 같이, 본 발명은 PCM 인코딩된 파형들에서의 파라메트릭 오디오 코딩 방식들의 검출과 관련된다. 검출은 주파수 및/또는 오디오 채널들에 대한 각각의 패턴들의 분석에 의해 수행될 수 있다. 확인된 파라메트릭 코딩 방식들은 HE-AACv1 또는 v2에서의 MPEG 스펙트럼 대역 복제(SBR), HE-AAVv2에서의 파라메트릭 스테레오(PS; Parametric Stereo), 돌비 디지털 플러스에서의 스펙트럼 확장(SPX) 및 돌비 디지털 또는 돌비 디지털 플러스에서의 커플링일 수도 있다. 분석은 신호 위상 정보에 기초할 수 있기 때문에, 제안된 방법들은 일반적으로 파라메트릭 오디오 코딩에 적용될 때 크기 수정들에 대해 견고하다. SBR 코딩 방식들에 있어서, 고 주파수 콘텐트는 저 주파수 서브대역들을 고 주파수 영역들에 복사하고 지각적인 면에서 에너지 인벨로프를 조정함으로써 오디오 디코더에서 발생된다. 파라메트릭 스펙트럼 오디오 코딩 방식들(예를 들어, PS, 커플링)에 있어서, 다중 오디오 채널들에서의 데이터는 단지 단일 오디오 채널과 관련된 송신된 데이터로부터 발생될 수 있다. 데이터의 중복은 주파수 서브대역들에서 위상 정보를 분석함으로써 PCM 파형들로부터 강건하게 트랙백될 수 있다.
일 양태에 따르면, 오디오 신호, 예를 들어, 시간 도메인 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법이 기술된다. 다시 말해서, 본 발명에서 기술되는 방법은 시간 도메인 오디오 신호(예를 들어, 펄스 코드 변조된 오디오 신호)에 적용될 수 있다. 상기 방법은 (시간 도메인) 오디오 신호에 과거에 주파수 확장 인코딩/디코딩 방식이 행해졌는지를 결정할 수 있다. 이러한 주파수 확장 코딩/디코딩 방식들에 대한 예들은 HE-AAC 및 DD+ 코덱들에서 가능하게 된다.
상기 방법은 시간 도메인 오디오 신호를 주파수 도메인으로 변환함으로써, 대응하는 복수의 서브대역들에서 복수의 서브대역 신호들을 발생시키는 것을 포함할 수도 있다. 대안적으로, 복수의 서브대역 신호들이 제공될 수도 있으며, 즉, 상기 방법은 변환을 적용하지 않고 복수의 서브대역 신호들을 얻을 수 있다. 복수의 서브대역들은 저 및 고 주파수 서브대역들을 포함할 수 있다. 이를 위해서, 상기 방법은 직교 미러 필터(QMF; quadrature mirror filter) 뱅크, 수정된 이산 코사인 변환, 및/또는 고속 푸리에 변환과 같이 사운드 인코더에서 일반적으로 이용되는 주파수 도메인 변환에 시간 도메인을 적용할 수도 있다. 이러한 변환의 결과로서, 복수의 서브대역 신호들이 얻어질 수 있고, 각 서브대역 신호는 오디오 신호의 주파수 스펙트럼의 상이한 발췌부, 즉, 상이한 서브대역에 대응할 수 있다. 특히, 서브대역 신호들은 저 주파수 서브대역들 또는 대안적으로는 고 주파수 서브대역들에 기인할 수 있다. 저 주파수 서브대역에서의 복수의 서브대역 신호들의 서브대역 신호들은 교차 주파수에서의 또는 그 아래에서의 주파수들을 포함하거나 그에 대응할 수도 있지만, 고 주파수 서브대역에서의 복수의 서브대역 신호들의 서브대역 신호들은 교차 주파수 위의 주파수들을 포함하거나 그에 대응할 수도 있다. 다시 말해서, 교차 주파수는 주파수 확장 코더 내에서 정의된 주파수일 수 있지만, 교차 주파수 위의 오디오 신호의 주파수 성분들은 교차 주파수에서 또는 그 아래에서 오디오 신호의 주파수 성분들로부터 발생된다.
이와 같이, 복수의 서브대역 신호들은 복수의 필터들을 포함하는 필터 뱅크를 사용하여 발생될 수 있다. 주파수 확장 방식의 패치 파라미터들의 정확한 식별을 위해서, 필터 뱅크는 주파수 확장 코더의 디코더에 사용되는 필터 뱅크(예를 들어, HE-AAC에 대한 홀수로 적층된 64 개의 필터들 및 DD+에 대한 홀수로 적층된 256 개의 필터들)와 동일한 주파수 특성들(예를 들어, 동일한 수의 채널들, 동일한 중심 주파수들 및 대역폭들)을 가질 수 있다. 견고성이 향상된 패치 분석을 위해서, 저지 대역 감쇄를 증가시킴으로써 인접 대역들로의 누설을 최소화하는 것이 유리할 수 있다. 이것은, 예를 들어, 디코더에서 사용되는 원래의 필터 뱅크에 비해 높은 필터 차수(예를 들어, 2배의 필터 차수)로 달성될 수 있다. 다시 말해서, 필터 뱅크의 높은 주파수 선택도를 보장하기 위해서, 필터 뱅크의 각 필터는 각각의 필터의 저지 대역 내에 있는 주파수들에 대한 미리 결정된 롤-오프 임계치를 초과하는 롤-오프를 가질 수 있다. 예로서, (HE-AAC에서 사용되는 필터들에 대한 경우에서와 같이) 약 60㏈의 저지 대역 감쇄를 갖는 필터들을 사용하는 대신, 오디오 확장 코딩을 검출하기 위해 사용되는 필터들의 저지 대역 감쇄는 70㏈ 또는 80㏈로 증가될 수도 있음으로써, 검출 성능을 향상시킨다. 이것은 롤-오프 임계치가 70㏈ 또는 80㏈ 감쇄에 대응할 수도 있다는 것을 의미한다. 이와 같이, 필터 뱅크는 상이한 서브대역 신호들 내에서 오디오 신호의 상이한 주파수 성분들을 분리하기 위해서 충분히 선택적이라는 것이 보장될 수 있다. 높은 선택도는 최소 수의 필터 계수들을 포함하는 필터들을 사용함으로써 달성될 수 있다. 예로서, 복수의 필터들의 필터들은 M 개의 필터 계수들을 포함할 수 있고, 여기서, M은 640보다 클 수도 있다.
오디오 신호는 복수의 채널들을 포함할 수도 있으며, 예를 들어, 오디오 신호는 5.1 또는 7.1 오디오 신호와 같은 스테레오 오디오 신호 또는 멀티-채널 오디오 신호일 수도 있다는 것을 유념해야 한다. 상기 방법은 오디오 채널들 중 하나 이상의 오디오 채널들에 적용될 수 있다. 대안적으로 또는 부가적으로, 상기 방법은 다운믹싱된 시간 도메인 오디오 신호를 결정하기 위해 복수의 오디오 채널들을 다운믹싱하는 것을 포함할 수 있다. 이와 같이, 상기 방법은 다운믹싱된 시간 도메인 오디오 신호에 적용될 수 있다. 특히, 복수의 서브대역 신호들은 다운믹싱된 시간 도메인 오디오 신호로부터 발생될 수 있다.
상기 방법은 오디오 신호의 최대 주파수를 결정하는 단계를 포함할 수도 있다. 다시 말해서, 상기 방법은 시간 도메인 오디오 신호의 대역폭을 결정하는 단계를 포함할 수 있다. 오디오 신호의 최대 주파수는 주파수 도메인에서의 오디오 신호의 파워 스펙트럼을 분석함으로써 결정될 수 있다. 최대 주파수는, 최대 주파수보다 큰 모든 주파수들에 대해, 파워 스펙트럼이 파워 임계치 미만이 되도록 결정될 수 있다. 오디오 신호의 대역폭의 결정 결과로서, 코딩 이력 검출을 위한 방법은 오디오 신호의 주파수 스펙트럼에 최대 주파수까지 제한될 수 있다. 이와 같이, 복수의 서브대역 신호들은 단지 최대 주파수에서의 또는 그 아래에서의 주파수들만을 포함할 수 있다.
상기 방법은 저 주파수 서브대역들에서의 서브대역 신호들 및 고 주파수 서브대역들에서의 서브대역 신호들 간의 관계도를 결정하는 단계를 포함할 수 있다. 관계도는 복수의 서브대역 신호들에 기초하여 결정될 수 있다. 예로서, 관계도는 저 주파수 서브대역들에서의 서브대역 신호들의 그룹 및 고 주파수 서브대역들에서의 서브대역 신호들의 그룹 간의 유사성을 나타낼 수 있다. 이러한 관계도는 오디오 신호의 분석을 통해 및/또는 주파수 확장 코딩 이력을 갖는 오디오 신호들의 트레이닝 세트로부터 유도되는 확률 모델의 사용을 통해 결정될 수 있다.
복수의 서브대역 신호들은 복소수 값들일 수 있으며, 즉, 복수의 서브대역 신호들은 복수의 복소 서브대역 신호들에 대응할 수 있다는 것을 유념해야 한다. 이와 같이, 복수의 서브대역 신호들은 각각 대응하는 복수의 위상 신호들 및/또는 대응하는 복수의 크기 신호들을 포함할 수 있다. 이러한 경우들에 있어서, 관계도는 복수의 위상 신호들에 기초하여 결정될 수 있다. 또한, 관계도는 복수의 크기 신호들에 기초하여 결정되지 않을 수 있다. 파라메트릭 코딩 방법들에 있어서, 위상 신호들을 분석하는 것이 유리하다는 것이 발견되었다. 또한, 복소 파형 신호들은 유용한 정보를 제공한다. 특히, 복소 및 위상 데이터로부터 얻어진 정보는 검출 방법의 견고성을 증가시키기 위해 함께 사용될 수도 있다. 이것은 특히 파라메트릭 코딩 방식이 (변조 스펙트럼 코덱에서와 같이) 주파수에 따른 크기 데이터의 복사-업 처리를 수반하는 경우이다.
또한, 관계도를 결정하는 단계는 저 주파수 서브대역들에서의 서브대역 신호들의 그룹으로부터 발생된 고 주파수 서브대역들에서의 서브대역 신호들의 그룹을 결정하는 단계를 포함할 수 있다. 이러한 서브대역 신호들의 그룹은 연속하는 서브대역들, 즉, 바로 인접한 서브대역들로부터의 서브대역 신호들을 포함할 수 있다.
상기 방법은 관계도가 관계 임계치보다 크면 주파수 확장 코딩 이력을 결정하는 것을 포함할 수 있다. 관계 임계치는 실험적으로 결정될 수 있다. 특히, 관계 임계치는 주파수 확장 코딩 이력을 갖는 오디오 신호들의 세트 및/또는 주파수 확장 코딩 이력을 갖지 않는 오디오 신호들의 추가 세트로부터 결정될 수 있다.
관계도를 결정하는 단계는 복수의 서브대역 신호들 간의 교차-상관 값들의 세트를 결정하는 단계를 포함할 수 있다. 제 1 및 제 2 서브대역 신호 간의 상관 값은 미리-결정된 시간 래그에서 제 1 및 제 2 서브대역 신호들의 대응하는 샘플들의 곱들의 시간에 따른 평균으로서 결정될 수 있다. 미리-결정된 시간 래그는 0일 수 있다. 다시 말해서, 소정의 시간 인스턴트에서(및 미리-결정된 시간 래그에서) 제 1 및 제 2 서브대역 신호들의 대응하는 샘플들은 곱해질 수 있어서, 소정의 시간 인스턴트에서 곱셈 결과를 산출한다. 곱셈 결과들은 특정 시간 간격에 걸쳐 평균화될 수도 있어서, 교차-상관 값을 결정하기 위해 사용될 수도 있는 평균화된 곱셈 결과를 산출한다.
멀티-채널 신호들(예를 들어, 스테레오 또는 5.1/7.1 신호들)의 경우에, 멀티-채널 신호는 다운믹싱될 수도 있고 교차-상관 값들의 세트는 다운믹싱된 오디오 신호에 따라 결정될 수도 있다는 것을 유념해야 한다. 대안적으로, 교차-상관 값들의 상이한 세트들은 멀티-채널 신호의 일부 또는 모든 채널들에 대해 결정될 수 있다. 교차-상관 값들의 상이한 세트들은 복사-업 패치들의 검출을 위해 사용될 수도 있는 교차-상관 값들의 평균 세트를 결정하기 위해 평균화될 수 있다. 특히, 복수의 서브대역 신호들은 K개의 서브대역 신호들을 포함할 수 있고, K>0(예를 들어, K>1, K는 64보다 작거나 같음)이다. 파라미터 K는 손실 고 주파수 서브대역들을 발생시키기 위해 주파수 확장 코덱의 디코더에서 사용된 채널들의 수와 같을 수 있다. 스펙트럼 확장의 단순 검출을 위해서, 64개의 대역들이면 충분할 수 있다(주파수 패치들은 일반적으로 64개의 채널들의 경우의 대역폭들보다 넓다). DD+에서의 SPX의 정확한 패치 식별을 위해서, 증가된 수(K)의 서브대역들이 사용될 수 있다(예를 들어, K=256). 이와 같이, 교차-상관 값들의 세트는 복수의 서브대역 신호들로부터의 상이한 서브대역 신호들의 모든 조합들에 대응하는 (K-1)!개의 교차-상관 값들을 포함할 수 있다. 오디오 신호에서 주파수 확장 코딩 이력을 결정하는 단계는, 교차-상관 값들의 세트로부터의 적어도 하나의 최대 교차-상관 값이 관계 임계치를 초과한다는 것을 결정하는 단계를 포함할 수 있다.
본 발명에서 개괄되는 분석 방법들은 시간 의존 방식으로 수행될 수도 있다는 것을 유념해야 한다. 상술된 것과 같이, 주파수 확장 코덱들은 일반적으로 시간-의존 패치 파라미터들을 사용한다. 그러나, 주파수 확장 코덱들은 시간에 따라 패치 파라미터들을 변경하도록 구성될 수 있다. 이것은 오디오 신호의 윈도우들을 분석함으로써 고려될 수 있다. 오디오 신호들의 윈도우들은 미리 결정된 길이(예를 들어, 10 내지 20초 이하)를 가질 수 있다. 시간에 따라 변경되지 않는 패치 파라미터들의 경우에, 본 발명에 기술된 분석 방법들의 견고성은 오디오 신호의 상이한 윈도우들에 대해 얻어진 교차-상관 값들의 세트를 평균화함으로써 증가될 수 있다. 분석 방법들의 복잡도를 감소시키기 위해서, 오디오 신호의 상이한 윈도우들(즉, 오디오 신호의 상이한 세그먼트들)은 오디오 신호의 평균화된 윈도우들에 기초한 교차-상관 값들의 세트를 결정하기 전에 평균화될 수 있다.
교차-상관 값들의 세트는 대칭 K×K 상관 매트릭스로 배열될 수 있다. 상관 매트릭스의 주 대각선은 임의 값들, 예를 들어, 제로에 대응하는 값들 또는 복수의 서브대역 신호들에 대한 자기-상관 값들에 대응하는 값을 가질 수 있다. 상관 매트릭스는 특정 구조들 또는 패턴들이 결정될 수 있는 이미지로서 고려될 수 있다. 이들 패턴들은 복수의 서브대역 신호들 간의 관계도에 대한 표시를 제공할 수 있다. 상관 매트릭스가 대칭이라는 사실을 고려하여, 상관 매트릭스의 단 하나의 "삼각형"(주 대각선 아래 또는 위 중 어느 하나)이 분석되어야 할 수 있다. 이와 같이, 본 발명에서 기술되는 방법 단계들은 단지 상관 매트릭스의 하나의 이러한 "삼각형"에 적용될 수 있다.
상술된 것과 같이, 상관 매트릭스는 저 주파수 서브대역들 및 고 주파수 서브대역들 간의 관계를 나타내는 패턴들을 포함하는 이미지로서 고려될 수도 있다. 검출될 패턴들은 상관 매트릭스의 주 대각선에 평행한 국부적으로 증가된 상관의 대각선들일 수 있다. 상관 매트릭스에서 로컬 최대 교차-상관 값들의 하나 이상의 이러한 대각선들을 강조하기 위해서 선 향상 방식들이 상관 매트릭스(또는 상관 매트릭스의 경사 버전(tilted version), 여기서, 상관 매트릭스는 대각선 구조들이 수직 또는 수평 구조들로 바뀌도록 경사질 수도 있다)에 적용될 수 있다. 예시적인 선 향상 방식은 상관 매트릭스를 향상 매트릭스
Figure 112013115996818-pct00001
로 콘볼빙(convolving)하여, 향상된 상관 매트릭스를 산출하는 것을 포함할 수 있다. 선 향상 또는 임의의 다른 패턴 향상 기술이 적용되면, 주파수 확장 코딩 이력을 결정하는 단계는, 주 대각선을 제외하고, 향상된 상관 매트릭스로부터 적어도 하나의 최대 교차-상관 값이 관계 임계치를 초과하는 것으로 결정하는 단계를 포함할 수 있다. 다시 말해서, 관계도의 결정은 향상된 상관 매트릭스(및 교차-상관 값들의 향상된 세트)에 기초할 수 있다.
상기 방법은 시간 도메인 오디오 신호에 적용된 주파수 확장 코딩 방식의 특정 파라미터들을 결정하도록 구성될 수 있다. 이러한 파라미터들은, 예를 들어, 주파수 확장 코딩 방식의 서브대역 복사-업 처리와 관련된 파라미터들일 수 있다. 특히, 저 주파수 서브대역들(소스 서브대역들)에서의 서브대역 신호들이 고 주파수 서브대역들(타겟 서브대역들)에서의 서브대역 신호들로 복사 업되었다는 것이 결정될 수 있다. 이 정보는 패칭 정보로서 불릴 수 있고, 상관 매트릭스 내의 로컬 최대 교차-상관 값들의 대각선들로부터 결정될 수 있다.
이와 같이, 상기 방법은 로컬 최대 교차-상관 값들의 하나 이상의 대각선들을 검출하기 위해 상관 매트릭스를 분석하는 단계를 포함할 수 있다. 이러한 하나 이상의 대각선들을 검출하기 위해서, 다음 기준들 중 하나 이상이 적용될 수 있다: 로컬 최대 교차-상관 값들의 대각선은 상관 매트릭스의 주 대각선 상에 놓이지 않을 수 있고; 및/또는 로컬 최대 교차-상관 값들의 대각선은 하나 이상의 로컬 최대 교차-상관 값들을 포함할 수 있거나 포함해야 하며, 하나 이상의 로컬 최대 교차-상관 값들 각각은 최소 상관 임계치를 초과한다. 최소 상관 임계치는 일반적으로 관계 임계치보다 작다.
하나 이상의 로컬 최대 교차-상관 값들이 상관 매트릭스의 주 대각선에 평행한 대각선 방식으로 배열되는 경우; 및/또는 상관 매트릭스의 소정의 행에서의 하나 이상의 로컬 최대 교차-상관 값들 각각에 대해, 동일한 행 및 바로 인접한 왼쪽 열에서의 교차-상관 값이 최소 상관 임계치에 또는 그 아래에 있는 경우 및/또는 동일한 행 및 바로 인접한 오른쪽 열에서의 교차-상관 값이 최소 상관 임계치에 또는 그 아래에 있는 경우, 대각선이 검출될 수 있다.
위에서 개괄된 것과 같이, 상관 매트릭스의 분석은 상관 매트릭스의 단 하나의 "삼각형"으로 제한될 수 있다. 로컬 최대 교차-상관 값들의 하나 이상의 대각선이 주 대각선 위 또는 아래 중 어느 하나에서 검출되는 것이 발생할 수 있다. 이것은 복수의 복사-업 패치들이 주파수 확장 코딩 방식 내에 적용되었다는 표시일 수도 있다. 한편, 로컬 최대 교차-상관 값들의 2개 이상의 대각선들이 검출되면, 2개 이상의 대각선들 중 적어도 하나는 복사-업 패치들 간의 상관들을 나타낼 수도 있다. 이러한 대각선들은 복사-업 패치를 나타내지 않고 식별되어야 한다. 이러한 패치-간 상관들은 검출 방식의 견고성을 향상시키기 위해 이용될 수 있다.
상관 매트릭스는 상관 매트릭스이 행이 소스 서브대역을 나타내고 상관 매트릭스의 열이 타겟 서브대역을 나타내도록 배열될 수 있다. 소스 서브대역들을 나타내는 상관 매트릭스의 열들 및 타겟 서브대역들을 나타내는 상관 매트릭스의 행들을 갖는 배치가 마찬가지로 가능하다는 것을 유념해야 한다. 이 경우에, 상기 방법은 "행들" 및 "열들"을 교환하여 적용될 수 있다.
적절한 복사-업 패치들을 구분하기 위해서, 방법은 상관 매트릭스의 동일한 소스 서브대역에 대한 로컬 최소 교차-상관 값들을 갖는 적어도 2개의 리던던트 대각선들을 검출하는 것을 포함할 수 있다. 각각의 최저 타겟 서브대역들을 갖는 적어도 2개의 리던던트 대각선들의 대각선은 복수의 소스 서브대역들로부터 복수의 타겟 서브대역들로의 인증된 복사-업 패치로서 식별될 수 있다. 다른 대각선(들)은 상이한 복사-업 패치들 간의 상관을 나타낼 수 있다.
복사-업 대각선(들)이 식별되면, 대각선의 소스 및 타겟 서브대역들의 쌍들은 고 주파수 서브대역들로 복사 업된 저 주파수 서브대역들을 나타낸다.
복사-업 대각선들의 에지들(즉, 그 시작 및/또는 끝 지점들)이 대각선의 다른 상관 지점들에 대해 감소된 최대 교차-상관 값을 갖는다는 것을 알 수도 있다. 이것은 복수의 서브대역 신호들을 결정하기 위해 사용된 변환이 시간 도메인 오디오 신호에 적용된 주파수 확장 코딩 방식 내에서 사용된 변환과는 상이한 주파수 분해능을 갖는다는 사실로 인한 것일 수 있다. 이와 같이, 대각선의 "약한(weak)" 에지들의 검출은 필터 뱅크 특성들의 불일치(예를 들어, 서브대역들의 수의 불일치, 중심 주파수들의 불일치, 및/또는 서브대역들의 대역폭의 불일치)를 나타낼 수도 있고, 따라서, 시간 도메인 오디오 신호에 적용된 주파수 확장 코딩 방식의 종류에 대한 정보를 제공할 수 있다.
상술된 관찰을 활용하기 위해서, 상기 방법은 검출된 대각선의 시작 및/또는 끝에서의 검출된 대각선의 로컬 최대 교차-상관 값들이 블러링(blurring) 임계치 미만이라는 것을 검출하는 단계를 포함할 수 있다. 블러링 임계치는 일반적으로 최소 상관 임계치보다 크다. 상기 방법은 변환 단계의 파라미터들을 복수의 주파수 확장 코딩 방식들에 대해 사용되는 변환 단계들의 파라미터들과 비교하는 것으로 진행할 수 있다. 특히, 변환 순서들(즉, 서브대역들의 수)이 비교될 수 있다. 비교 단계에 기초하여, 오디오 신호에 적용된 주파수 확장 코딩 방식은 복수의 주파수 확장 코딩 방식들로부터 결정될 수 있다. 예로서, 더 많은 수의 서브대역들(또는 채널들)을 갖는 필터 뱅크를 사용할 때 및 패치 경계가 HE-AAC에서 사용되는 필터 뱅크의 그리드 상에 정확히 속하지 않는 경우, 주파수 확장 코딩 방식은 HE-AAC가 아닌 것으로 결론내릴 수 있다.
주파수 확장 코딩 방식에 의해 적용되는 특정 디코딩 모드를 검출하기 위해서, 상관 매트릭스가 분석될 수 있다. 이것은, 예를 들어, 저 파워(LP; lower power) 또는 고 품질(HQ; High Quality) 디코딩을 가능하게 하는 HE-AAC에 적용한다. 이를 위해서, 다양한 상관 임계치들이 정의될 수도 있다. 특히, 교차-상관 값들의 세트로부터의 최대 교차-상관 값이 디코딩 모드 임계치 미만 또는 이상으로 결정될 수 있어서, 오디오 신호에 적용되는 주파수 확장 코딩 방식의 디코딩 모드를 검출한다. 디코딩 모드 임계치는 최소 상관 임계치보다 클 수 있다. 또한, 디코딩 모드 임계치는 관계 임계치보다 클 수 있다. LP 또는 HQ 디코딩의 경우에, LP 디코딩은 최대 교차-상관 값이 디코딩 모드 임계치 미만(그러나 관계 임계치 이상)인 경우에 검출될 수 있다. HQ 디코딩은 최대 교차-상관 값이 디코딩 모드 임계치보다 큰 경우에 검출될 수 있다.
상술된 것과 같이, 저 주파수 서브대역들에서의 서브대역 신호들 및 고 주파수 서브대역들에서의 서브대역 신호들 간의 관계도는 확률 모델의 사용을 수반할 수 있다. 이와 같이, 상기 방법은 주파수 확장 코딩 이력을 갖는 트레이닝 오디오 신호들로부터 유도된 트레이닝 벡터들의 세트로부터 결정된 확률 모델을 제공하는 단계를 포함할 수 있다. 확률 모델은 복수의 고 주파수 서브대역들 및 저 주파수 서브대역들에 걸치는 벡터 공간에서의 벡터들 간의 확률 관계를 기술할 수 있다. 복수의 서브대역들이 K개의 서브대역들을 포함하는 것으로 가정하면, 벡터 공간은 K의 차원을 가질 수 있다. 대안적으로 또는 부가적으로, 확률 모델은 복수의 서브대역들 및 저 주파수 서브대역들에 걸치는 벡터 공간에서의 벡터들 간의 확률 관계를 기술할 수 있다. 복수의 서브대역들이 K l 이 저 주파수 서브대역들인 K개의 서브대역들을 포함하는 것으로 가정하면, 벡터 공간은 K+K l 의 차원을 가질 수 있다. 다음에서, 후자의 확률 모델이 더 상세히 기술된다. 그러나, 방법은 제 1 확률 모델에 동일하게 적용 가능하다.
확률 모델은 가우시안 혼합 모델(Gaussian Mixture Model)일 수도 있다. 특히, 확률 모델은 복수의 혼합 성분들을 포함할 수 있고, 각 혼합 성분은 벡터 공간에서의 평균 벡터(μ) 및 벡터 공간에서의 공분산 매트릭스(C)를 갖는다. i번째 혼합 성분의 평균 벡터(μi)는 벡터 공간에서의 클러스터의 중심을 나타낼 수 있고; i번째 혼합 성분의 공분산 매트릭스(Ci)는 벡터 공간에서의 상이한 차원들 간의 상관을 나타낼 수 있다. 평균 벡터들(μi) 및 공분산 매트릭스들(Ci), 즉, 확률 모델의 파라미터들은 벡터 공간에서의 트레이닝 벡터들의 세트를 사용하여 결정될 수 있고, 트레이닝 벡터들은 주파수 확장 코딩 이력을 갖는 트레이닝 오디오 신호들의 세트로부터 결정될 수 있다.
방법은 저 주파수 서브대역에서의 서브대역 신호들을 고려하여 복수의 서브대역 신호들의 추정치를 제공하는 단계를 포함할 수 있다. 추정치는 확률 모델에 기초하여 결정될 수 있다. 특히, 추정치는 확률 모델의 평균 벡터들(μi) 및 공분산 매트릭스들(Ci)에 기초하여 결정될 수 있다. 특히, 추정치는 다음과 같이 결정될 수 있고,
Figure 112013115996818-pct00002
여기서,
Figure 112013115996818-pct00003
는 저 주파수 서브대역들에서의 서브대역 신호들(x)을 고려한 복수의 서브대역 신호들(y)의 추정치이고,
Figure 112013115996818-pct00004
는 서브대역 신호들(x)을 고려한 가우시안 혼합 모델의 i번째 혼합 성분의 관련성을 나타내고,
Figure 112013115996818-pct00005
는 복수의 서브대역들의 서브공간에 대응하는 평균 벡터(μi)의 성분이고,
Figure 112013115996818-pct00006
는 저 주파수 서브대역들의 서브공간에 대응하는 평균 벡터(μi)의 성분이고,
Figure 112013115996818-pct00007
는 가우시안 혼합 모델의 성분들의 수이고,
Figure 112013115996818-pct00008
및
Figure 112013115996818-pct00009
는 공분산 매트릭스(C i )로부터의 서브-매트릭스들이다. 관련성 표시자(
Figure 112013115996818-pct00010
)는 저 주파수 서브대역들에서의 서브대역 신호들(x)이 가우시안 혼합 모델의 i번째 혼합 성분 내에 속하는 확률로서, 즉, 다음과 같이 결정될 수도 있고,
Figure 112013115996818-pct00011
여기서,
Figure 112013115996818-pct00012
이다. 추정치가 제공되면, 관계도는 복수의 서브대역 신호들의 추정치로부터 유도된 추정 에러 및 복수의 서브대역 신호들에 기초하여 결정될 수 있다. 추정 에러는 평균 제곱 에러일 수 있다.
오디오 신호는, 예를 들어, 제 1 및 제 2 채널을 포함하는 멀티-채널 신호일 수 있다. 제 1 및 제 2 채널들은 각각 왼쪽 및 오른쪽 채널들일 수 있다. 이 경우에, DD(+)(또는 MPEG 인텐시티 스테레오)에 의해 사용되는 MPEG 파라메트릭 스테리오 인코딩 또는 커플링과 같이, 멀티-채널 신호들에 적용되는 특정 파라메트릭 인코딩 방식들을 결정하는 것이 바람직할 수 있다. 이 정보는 제 1 및 제 2 채널들의 복수의 서브대역 신호들로부터 검출될 수 있다. 제 1 및 제 2 채널들의 복수의 서브대역 신호들을 결정하기 위해서, 방법은 제 1 및 제 2 채널들을 주파수 도메인으로 변환함으로써, 복수의 제 1 서브대역 신호들 및 복수의 제 2 서브대역 신호를 발생시키는 단계를 포함할 수 있다. 제 1 및 제 2 서브대역 신호들은 복소수-값일 수도 있고 각각 제 1 및 제 2 위상 신호들을 포함할 수 있다. 결과적으로, 복수의 위상 차 서브대역 신호들은 대응하는 제 1 및 제 2 서브대역 신호들의 차로서 결정될 수 있다.
상기 방법은 복수의 위상 차 값들을 결정하는 것으로 진행할 수도 있고, 각 위상 차 값은 대응하는 위상 차 서브대역 신호의 샘플들의 시간에 따른 평균으로서 결정될 수 있다. 오디오 신호의 코딩 이력에서의 파라메트릭 스테레오 인코딩은 복수의 위상 차 값들 내에서 주기적 구조를 검출함으로써 결정될 수 있다. 특히, 주기적 구조는 포지티브 및 네거티브 위상 차 값들 사이에서의 인접 서브대역들의 위상 차 값들의 진동을 포함할 수 있고, 진동하는 위상 차 값들의 크기는 진동 임계치를 초과한다.
제 1 및 제 2 채널의 커플링 또는 일반적인 멀티-채널 신호들의 경우에서의 다중 채널들 간의 커플링을 검출하기 위해서, 상기 방법은 각 위상 차 서브대역 신호에 대해, 위상 차 임계치보다 작은 위상 차를 갖는 샘플들의 부분을 결정하는 단계를 포함할 수 있다. 오디오 신호의 코딩 이력에서의 제 1 및 제 2 채널의 커플링은, 특히, 고 주파수 서브대역들에서의 서브대역 신호들에 대해 부분이 부분 임계치를 초과하는 것을 검출할 때 결정될 수 있다.
또 다른 양태에 따르면, 오디오 신호의 코딩 이력에서 파라메트릭 오디오 코딩 툴(예를 들어, 파라메트릭 스테레오 코딩 또는 커플링)의 사용을 검출하기 위한 방법이 기술된다. 오디오 신호는, 예를 들어, 왼쪽 및 오른쪽 채널을 포함하는 제 1 및 제 2 채널을 포함하는 멀티-채널 신호일 수 있다. 상기 방법은 복수의 제 1 서브대역 신호들 및 복수의 제 2 서브대역 신호들을 제공하는 단계를 포함할 수 있다. 복수의 제 1 서브대역 신호들은 멀티-채널 신호의 제 1 채널의 시간/주파수 도메인 표현에 대응할 수 있다. 복수의 제 2 서브대역 신호들은 멀티-채널 신호의 제 2 채널의 시간/주파수 도메인 표현에 대응할 수 있다. 이와 같이, 복수의 제 1 및 제 2 서브대역 신호들은 시간 도메인-주파수 도메인 변환(예를 들어, QMF)을 사용하여 발생될 수도 있다. 복수의 제 1 및 제 2 서브대역 신호들은 복소수-값일 수도 있고 각각 복수의 제 1 및 제 2 위상 신호들을 포함할 수 있다.
상기 방법은 복수의 위상 차 서브대역 신호들을 복수의 제 1 및 제 2 위상 신호들로부터의 대응하는 제 1 및 제 2 위상 신호들의 차로서 결정하는 단계를 포함할 수 있다. 오디오 신호의 코딩 이력에서 파라메트릭 오디오 코딩 툴을 사용하는 것이 복수의 위상 차 서브대역 신호들로부터 검출될 수 있다.
특히, 상기 방법은 복수의 위상 차 값들을 결정하는 단계를 포함할 수 있고, 각 위상 차 값은 대응하는 위상 차 서브대역 신호의 샘플들의 시간에 따른 평균으로서 결정될 수 있다. 오디오 신호의 코딩 이력에서의 파라메트릭 스테레오 인코딩은 복수의 위상 차 값들 내에서 주기적 구조를 검출함으로써 검출될 수 있다.
대안적으로 또는 부가적으로, 방법은 각 위상 차 서브대역 신호에 대해, 위상 차 임계치보다 작은 위상 차를 갖는 샘플들의 일 부분을 결정하는 단계를 포함할 수 있다. 오디오 신호의 코딩 이력에서의 제 1 및 제 2 채널의 커플링은, 상기 부분이 교차 주파수(커플링과 관련하여 커플링 시작 주파수라고도 함) 이상의 주파수들에서의 서브대역 신호들에 대한, 예를 들어, 고 주파수 서브대역들에서의 서브대역 신호들에 대한 부분 임계치(fraction threshold)를 초과하는 것을 검출함으로써 검출될 수도 있다.
또 다른 양태에 따르면, 컴퓨팅 디바이스 상에서 수행될 때, 처리기 상에서 실행되도록 및 본 발명에서 개괄된 방법 단계들을 수행하도록 적응되는 소프트웨어 프로그램이 기술된다.
또 다른 양태에 따르면, 컴퓨팅 디바이스 상에서 수행될 때, 처리기 상에서 실행되도록 및 본 발명에서 개괄된 방법 단계들을 수행하도록 적응되는 소프트웨어 프로그램을 포함하는 저장 매체가 기술된다.
또 다른 양태에 따르면, 컴퓨터 상에서 실행될 때, 본 발명에서 개괄된 방법을 수행하기 위한 실행 가능 명령들을 포함하는 컴퓨터 프로그램 제품이 기술된다.
본 발명에서 개괄된 바람직한 실시예들을 포함하는 방법들 및 시스템들은 본 발명에 개시된 다른 방법들 및 시스템들과 함께 또는 단독으로 사용될 수도 있다는 것을 유념해야 한다. 또한, 본 발명에서 개괄되는 방법들 및 시스템들의 모든 양태들은 임의적으로 조합될 수도 있다. 특히, 청구항들의 특징들은 서로 임의적인 방식으로 조합될 수도 있다.
본 발명은 이하 첨부 도면들을 참조하여 예시적인 방식으로 설명된다.
본 발명은 디코딩된 오디오 신호를 분석하기 위한 방법들 및 시스템들을 제공한다.
도 1a 내지 도 1f는 크기, 복소 및/또는 위상 데이터를 사용하는 예시적인 상관 기반 분석을 도시하는 도면.
도 2a 내지 도 2d는 복소 및 위상-한정(phase-only) 데이터에 기초한 예시적인 최대 교차-상관 값들 및 확률 밀도 함수들을 도시하는 도면.
도 3은 상관 기반 분석을 위해 사용될 수 있는 프로토타입 필터들의 예시적인 주파수 응답들을 도시하는 도면.
도 4a 및 도 4b는 상이한 분석 필터 뱅크들을 사용하여 결정되는 예시적인 유사성 매트릭스들 간의 비교를 도시하는 도면.
도 5는 상이한 분석 필터 뱅크들을 사용하여 결정되는 예시적인 최대 교차-상관 값들을 도시하는 도면.
도 6a 내지 도 6c는 상이한 분석 필터 뱅크들을 사용하여 결정되는 예시적인 확률 밀도 함수들을 도시하는 도면.
도 7은 패치 검출을 위해 사용되는 예시적인 왜곡된 유사성 매트릭스들을 도시하는 도면.
도 8은 표 1의 코딩 조건 6에 따른 HE-AAC 재-인코딩된 데이터에 대한 예시적인 유사성 매트릭스를 도시하는 도면.
도 9는 SPX와의 DD+ 인코딩된 데이터에 대한 예시적인 유사성 매트릭스를 도시하는 도면.
도 10a 및 도 10b는 파라메트릭 스테레오 및 커플링 검출을 위해 사용되는 예시적인 위상 차 그래프들을 도시하는 도면.
위에서 개괄된 것과 같이, MPEG SBR 인코딩에서, 오디오 신호는 감소된 샘플-레이트 및 대역폭에서 파형 인코딩된다. 손실된 상위 주파수들은 송신측 정보를 사용하여 저 주파수 부분들을 고 주파수 부분들에 복사함으로써 디코더에서 재구성된다. 송신측 정보(예를 들어, 스펙트럼 포락선 파라미터들, 잡음 파라미터들, 톤 부가/제거 파라미터들)가 저대역 신호로부터의 패치들에 적용되고, 여기서, 패치들은 고 주파수들로 복사-업 또는 바뀐다. 이 복사-업 처리의 결과로서, 저대역 신호의 특정 스펙트럼 부분들과 고대역 신호의 복사-업된 스펙트럼 부분들 간에 상관들이 있어야 한다. 이들 상관들은 디코딩된 오디오 신호 내에서 스펙트럼 대역 복제 기반 인코딩을 검출하기 위한 기초일 수 있다.
저대역 신호의 스펙트럼 부분들과 고대역 신호의 스펙트럼 부분들 간의 상관은 사이드 정보, 즉, SBR 파라미터들을 복사-업된 패치들에 적용함으로써 감소되거나 제거되었을 수 있다. 그러나, 복사-업된 패치들에 대해 SBR 파라미터들을 적용하는 것은 복사-업된 패치들의 위상 특성들(즉, 복소수 값 서브대역 계수들의 위상들)에 크게 영향을 미치지 않는다는 것을 알게 되었다. 다시 말해서, 복사-업된 저 주파수 대역들의 위상 특성들은 주로 상위 주파수 대역들에서 유지된다. 유지 정도는 일반적으로 인코딩된 신호의 비트레이트 및 인코딩된 오디오 신호의 특성들에 의존한다. 이와 같이, (디코딩된) 오디오 신호의 스펙트럼 부분들에서의 위상 데이터의 상관은 SBR 인코딩에 대해 수행되는 주파수 패칭 동작들을 역추적하기 위해 사용될 수 있다.
다음에서, PCM 파형들의 몇몇 상관 기반 분석 방법들이 기술된다. 이들 방법들은 MPEG HE-AAC에서의 SBR 또는 돌비 디지털 플러스(DD+)에서의 SPX와 같은 파라메트릭 주파수 확장 툴들을 이용하는 오디오 코딩의 자취들을 검출하기 위해 사용될 수 있다. 또한, 특정 파라미터들, 구체적으로, 주파수 확장 처리의 패칭 정보가 추출될 수 있다. 이 정보는 효율적인 재-인코딩을 위해 사용될 수 있다. 또한, HE-AACv2에서 사용되는 것과 같은 MPEG 파라메트릭 스테레오(PS)의 존재 및 DD(+)에서 사용되는 것과 같은 커플링의 존재를 나타내는 부가적인 측정들이 기술된다.
DD+에서 사용되는 것과 같은 대역폭 확장의 기본 원리는 MPEG SBR과 유사하다는 것을 유념해야 한다. 결과적으로, MPEG SBR 인코딩된 오디오 신호들과 관련하여 본 발명에서 개괄된 분석 기술들은 이전에 DD+ 인코딩된 오디오 신호들에 대해 동일하게 적용될 수 있다. 이것은 분석 방법들이 HE-AAC에 대해 개괄되었더라도, 방법들은 또한 DD+와 같은 다른 대역폭 확장 기반 인코더들에 대해 적용할 수 있다는 것을 의미한다.
오디오 신호 분석 방법들은 오디오 인코더들/디코더들의 다양한 동작 모드들에 대해 동작 가능해야 한다. 또한, 분석 방법들은 이들 상이한 동작 모드들을 구별할 수 있어야 한다. 예로서, HE-AAC 코덱들은 2개의 상이한 HE-AAC 디코딩 모드들인 고 품질(HQ) 및 저 전력(LP) 디코딩을 사용한다. LP 모드에서, 디코더 복잡도는 HQ 모드에서 사용되는 복소 오버샘플링된 필터 뱅크에 비해 실수 값의 임계적으로 샘플링된 필터 뱅크를 사용하여 감소된다. 일반적으로, LP 모드를 사용하여 디코딩된 오디오 신호들에 작은 비가청 앨리어싱 산출물들이 존재할 수도 있다. 이들 앨리어싱 산출물들은 오디오 품질에 영향을 미칠 수도 있고, 따라서, 분석된 PCM 오디오 신호를 디코딩하기 위해 사용된 디코딩 모드를 검출하는 것이 바람직하다. 유사한 방식으로, 상이한 디코딩 모드들 또는 복잡도 모드들은 또한 SBR에 기초하여 USAC와 같은 다른 주파수 확장 코덱들에서 식별되어야 한다.
PS(파라메트릭 스테레오)를 적용하는 HE-AACv2에 있어서, 디코더는 일반적으로 HQ 모드를 사용한다. PS는 20kb/s 내지 32kb/s와 같은 저 비트레이트들에서는 향상된 오디오 품질을 가능하게 하지만, 일반적으로 64kb/s와 같은 고 비트레이트들에서는 HE-AACv1의 스테레오 품질에 필적할 수는 없다. HE-AACv1은 32kb/s 내지 96kb/s의 비트레이트들에서 가장 효율적이지만, 더 높은 비트레이트들에서는 명백하지 않다. 다시 말해서, 64kb/s에서의 PS(HE-AACv2)는 일반적으로 64kb/s에서의 HE-AACv1보다 나쁜 오디오 품질을 제공한다. 한편, 32kb/s에서의 PS는 보통 64kb/s에서의 HE-AACv1보다 단지 조금 나쁠 것이지만 32kb/s에서의 HE-AACv1보다는 훨씬 양호할 것이다. 따라서, 실제 코딩 조건들에 관한 지식은 (디코딩된) 오디오 신호의 개략적인 오디오 품질 평가를 제공하기 위한 유용한 표시자일 수 있다.
예를 들어, 돌비 디지털(DD) 및 DD+에서 사용되는 것과 같은 커플링은 고 주파수들에서의 청력 위상 무감각(hearing phase insensitivity)을 이용한다. 개념적으로, 커플링은 MPEG 인텐시티 스테레오(IS, Intensity Stereo) 툴과 관련되고, 여기서, 단지 단일 오디오 채널(또는 단 하나의 오디오 채널의 스케일 인자 대역과 관련된 계수들)이 채널 간 레벨 차 파라미터들에 따른 비트스트림에서 송신된다. 이들 파라미터들의 시간/주파수 공유로 인해, 인코딩된 비트스트림의 비트레이트는 특히 멀티-채널 오디오에 대해 상당히 감소될 수 있다. 이와 같이, 재구성된 오디오 채널들의 주파수 빈들은 공유된 사이드 레벨 정보에 대해 상관되고, 이 정보는 커플링을 이용하는 오디오 코덱을 검출하기 위해 사용될 수 있다.
제 1 접근법에서, (디코딩된) 오디오 신호, 예를 들어, PCM 파형 신호는 분석 필터 뱅크를 사용하여 시간/주파수 도메인으로 변환될 수 있다. 이 실시예에 있어서, 분석 필터 뱅크는 HE-AAC 인코더에서 사용되는 것과 동일한 분석 필터 뱅크이다. 예로서, (2의 인자로 오버샘플링되는) 64 대역 복소수 값 필터 뱅크는 오디오 신호를 시간/주파수 도메인으로 변환하기 위해 사용될 수 있다. 멀티-채널 오디오 신호의 경우에, 다운믹싱된 오디오 신호를 산출하기 위해서, 복수의 채널들이 필터 뱅크 분석 이전에 다운믹싱될 수 있다. 이와 같이, (예를 들어, QMF 필터 뱅크를 사용하는) 필터 뱅크 분석이 다운믹싱된 오디오 신호에 대해 수행될 수 있다. 대안적으로, 필터 뱅크 분석은 복수의 채널들 중 일부 또는 모두에 대해 수행될 수 있다.
필터 뱅크 분석의 결과로서, 복수의 복소 서브대역 신호들이 복수의 필터 뱅크 서브대역들에 대해 획득된다. 이 복수의 복소 서브대역 신호들은 오디오 신호의 분석을 위한 기초가 될 수 있다. 특히, 복수의 복소 서브대역 신호들 또는 복수의 복소 QMF 빈들의 위상각들이 결정될 수 있다.
또한, 오디오 신호의 대역폭은 파워 스펙트럼 분석을 사용하여 복수의 복소 서브대역 신호들로부터 결정될 수 있다. 예로서, 각 서브대역 내에서의 평균 에너지가 결정될 수 있다. 이어서, 차단 주파수는 고 주파수들에서의 모든 서브대역들이 미리-결정된 에너지 임계 값 아래의 평균 에너지를 갖는 서브대역으로서 결정될 수 있다. 이것은 오디오 신호의 대역폭의 기준을 제공할 것이다. 또한, 오디오 신호의 서브대역들 간의 상관의 분석은 (다음에서 기술될 것과 같이) 차단 서브대역 이하의 주파수들을 갖는 서브대역들로 제한될 수도 있다.
또한, 분석 시간 범위에 걸친 모든 QMF 대역들 간의 제로 래그에서의 교차-상관이 결정될 수도 있음으로써, 자기-유사성(self-similarity) 매트릭스를 제공한다. 다시 말해서, 모든 쌍들의 서브대역 신호들 간의 (제로의 시간 래그에서의) 교차-상관이 결정될 수 있다. 이것은 결과적으로, 예를 들어, 64 QMF 대역들의 경우에 64×64 매트릭스에서 대칭 자기-유사성 매트릭스를 발생시킨다. 이 자기-유사성 매트릭스는 주파수-도메인에서 반복 구조들을 검출하기 위해 사용될 수 있다. 특히, 자기-유사성 매트릭스 내에서의 최대 상관 값(또는 복수의 최대 상관 값들)은 오디오 신호 내에서 스펙트럼 대역 복제를 검출하기 위해 사용될 수 있다. 하나 이상의 최대 상관 값들의 결정을 위해서, 주 대각선 내의 자기-상관 값들은 (자기-상관 값들이 상이한 서브대역들 간의 상관의 표시를 제공하지 않기 때문에) 제외되어야 한다. 또한, 최대 값의 결정은 미리 결정된 오디오 대역폭의 한계들로 제한될 수 있고, 즉, 자기-유사성 매트릭스의 결정은 차단 서브대역 및 저 주파수들에서의 서브대역들로 제한될 수도 있다.
멀티-채널 오디오 신호들의 경우에, 상기 절차는 독립적으로 멀티-채널 오디오 신호의 모든 채널들에 적용될 수 있다는 것을 유념해야 한다. 이 경우에, 자기-유사성 매트릭스는 멀티-채널 신호의 각 채널에 대해 결정될 수 있다. 모든 오디오 채널들에 대한 최대 상관 값은 멀티-채널 오디오 신호 내에 SBR 기반 인코딩이 존재한다는 것에 대한 표시자로서 간주될 수 있다. 특히, 최대 교차-상관 값이 미리-결정된 상관 임계치를 초과하면, 파형 신호는 주파수 확장 툴에 의해 코딩된 것으로서 분류될 수 있다.
상기 절차는 또한 (위상 각 QMF 데이터와는 대조적으로) 복소 또는 크기 QMF 데이터에 기초할 수도 있다는 것을 유념해야 한다. 그러나, 주파수 확장 코딩에서, 패치된 저대역 신호들의 크기 포락선들은 원래의 고 주파수 데이터에 따라 수정되기 때문에, 크기 데이터에 기초한 분석시 감소된 상관이 예상될 수도 있다.
도 1a 내지 도 1f에서, 자기-유사성 매트릭스들은 HE-AAC(왼쪽 열) 및 플레인 AAC(오른쪽 열) 코덱들에 제출된 오디오 신호에 대해 검사된다. 모든 이미지들은 0과 1 사이에서 스케일링되고, 여기서, 1은 검정색에 0은 흰색에 대응한다. 도 1의 매트릭스들에서의 x축과 y축은 서브대역 인덱스들에 대응한다. 이들 이미지들에서의 주 대각선들은 특정 QMF 대역의 자기-상관에 대응한다. 최대의 분석된 QMF 대역은 일반적으로 플레인 AAC 조건에 대한 것보다 HE-AAC 조건에 대해 더 높은 추정된 오디오 대역폭에 대응한다. 다시 말해서, (디코딩된) 오디오 신호의 대역폭 또는 차단 주파수는, 예를 들어, 파워 스펙트럼 분석에 기초하여 추정될 수 있다. 차단 주파수보다 높은 오디오 신호의 스펙트럼 대역들은 일반적으로 대량의 잡음을 포함할 것이기 때문에, 차단 주파수보다 높은 스펙트럼 대역들에 대한 교차-상관 계수들은 일반적으로 합리적인 결과들을 산출하지 않을 것이다. 예시된 예들에서, 64개의 QMF 대역들 중에서 62개의 대역들은 HE-AAC 인코딩된 신호에 대해 분석되고, 64개의 QMF 대역들 중에서 50개의 대역들은 AAC 인코딩된 신호에 대해 분석된다.
주 대각선에 평행하게 되는 높은 상관의 선들은 QMF 대역들 간의 상관 또는 유사성의 정도가 높은 것을 나타내고, 따라서, 잠재적으로는 주파수 패치들을 나타낸다. 이들 선들이 존재하는 것은 주파수 확장 툴이 (디코딩된) 오디오 신호에 적용된다는 것을 암시한다.
도 1a 및 도 1b에는, 복소 QMF 서브대역 신호들의 크기 정보에 기초하여 결정되는 자기-유사성 매트릭스들(100, 101)이 도시되어 있다. QMF 서브대역들의 크기에만 기초하는 분석은 결과적으로 비교적 작은 동적 범위를 갖는 상관 계수들(다시 말해서, 낮은 콘트라스트를 갖는 이미지들)을 유발한다는 것을 알 수 있다. 결과적으로, 크기-한정 분석(magnitude-only analysis)은 견고한 주파수 확장 분석에는 적합하지 않을 수 있다. 그럼에도 불구하고, (중앙 대각선의 측면들을 따르는 대각선들에 의해 예시되는) HE-AAC 패치 정보는 QMF 서브대역들의 크기만을 사용하여 자기-유사성 매트릭스를 결정할 때 가시적이다.
위상 기반 분석에 대한 동적 범위(도 1c 및 도 1d의 중간 행)는 더 높고 따라서 주파수 확장의 분석에 더 적합하다는 것을 알 수 있다. 특히, 위상-한정 기반 자기-유사성 매트릭스들(110, 111)이 각각 HE-AAC 및 AAC 인코딩된 오디오 신호들에 대해 도시되어 있다. 주 대각선(115)은 QMF 서브대역들의 위상 값들의 자기-상관 계수들을 나타낸다. 또한, 대각선들(112, 113)은 각각 11 내지 28 범위의 서브대역 인덱스들을 갖는 저대역들 및 29 내지 46 및 47 내지 60 범위의 인덱스들을 갖는 고대역들 간의 증가된 상관을 나타낸다. 대각선들(112, 113)은 약 11 내지 28의 인덱스들을 갖는 저대역들로부터 약 29 내지 46의 인덱스들을 갖는 고대역들로의 복사-업 패치(참조부호 112), 및 약 15 내지 28의 인덱스들을 갖는 저대역들로부터 약 47 내지 60의 인덱스들을 갖는 고대역들로의 복사-업 패치(참조부호 113)를 나타낸다. 그러나, 제 2 HE-AAC 패치(113)의 상관 값들은 비교적 약하다는 것을 유념해야 한다. 또한, 대각선(114)은 오디오 신호 내에서 복사-업 패치를 식별하지 않는다는 것을 유념해야 한다. 오히려, 대각선(114)은 2개의 복사-업 패치들(112, 113) 간의 유사성 또는 상관을 나타낸다.
도 1d 및 도 1e에서의 자기-유사성 매트릭스들(120, 121)은 복소 QMF 서브대역 데이터(즉, 크기 및 위상 정보)를 사용하여 결정되었다. 모든 HE-AAC 패치들은 분명히 가시적이지만, 높은 상관을 나타내는 선들은 조금 덜 급격하고 매트릭스들(110, 111)에서 나타낸 위상-한정 기반 분석에서보다 전체 동적 범위가 작다.
상술된 분석 방법의 추가적인 평가를 위해서, 자기-유사성 매트릭스들(110, 111, 120, 121)로부터 유도된 최대 교차-상관 값은 160개의 음악 파일들 및 13개의 상이한 코딩 조건들에 대해 구성되었다. 13개의 상이한 코딩 조건들은 표 1에 나타낸 것과 같은 파라메트릭 주파수 확장(SBR/SPX) 툴들을 갖고 있는 및 갖고 있지 않은 코더들을 포함한다.
비트레이트 코덱(들)
64kb/s HE-AACv1(HQ)
64kb/s HE-AACv1(LP)
48kb/s HE-AACv1(HQ)
48kb/s HE-AACv1(LP)
32kb/s HE-AACv2
64kb/s+192kb/s HE-AACv1(HQ)+AAC-LC
48kb/s+192kb/s HE-AACv1(HQ)+AAC-LC
32kb/s+192kb/s HE-AACv2+AAC-LC
192kb/s AAC-LC
0 96kb/s AAC-LC
1 128kb/s DD+(SPX 없음, 커플링 없음)
2 128kb/s DD+(SPX 있음)
3 128kb/s DD+(커플링 있음)
표 1은 분석된 상이한 코딩 조건들을 보여준다. 복사-업 패치들 및 그에 따른 주파수 확장 기반 코딩은 타당한 확신도(degree of certainty)로 검출될 수 있다는 것을 알게 되었다. 이것은 또한 도 2a 및 도 2d에서 볼 수 있고, 여기서, 최대 상관 값들(200, 220) 및 확률 밀도 함수들(210, 230)은 표 1에 열거된 오디오 조건 1 내지 13에 대해 예시된다. 파라메트릭 주파수 확장 코딩 사용의 전체 검출 신뢰성은 도 5b 및 도 6b와 관련하여 나타내는 것과 같이 검출 임계치를 적절히 선택할 때 100%에 가깝다.
도 2a 및 도 2b에 도시되어 있는 분석 결과들은 복소 서브대역 데이터(즉, 위상 및 크기)에 기초하지만, 도 2c 및 도 2d에 도시된 분석 결과들은 QMF 서브대역들의 위상에만 기초한다. 이것은 파라메트릭 주파수 확장 기반 인코딩(SBR 또는 SPX) 방식(코덱들 Nr.1 내지 8, 및 Nr.12)에 제출된 오디오 신호들이, 임의의 파라메트릭 주파수 확장 인코딩(코덱들 Nr.9 내지 11 및 Nr.13)을 수반하지 않는 인코딩 방식들에 제출된 오디오 신호들보다 높은 최대 상관 값들(201)을 갖는 것을 도표(200)로부터 알 수 있다(참조부호 202 참조). 이것은 또한 도표 210에서 (SBR/SPX 기반 코덱들 Nr.1 내지 8, 및 Nr.12에 대한) 확률 밀도 함수들(211) 및 (비 SBR/SPX 기반 코덱들 Nr.9 내지 11 및 Nr.13에 대한) 확률 밀도 함수들(212)에서 도시된다. 유사한 결과들이 도 2c 및 도 2d에 도시되어 있는 위상-한정 분석에 대해 얻어진다(도표 220은 최대 상관 값들(221, 222)을 도시하고, 도표 230은 SBR/SPX 및 비 SBR 기반 코덱들에 대한 확률 밀도 함수들(231, 232)을 도시한다).
상관 기반 분석 방법의 견고성은 적절한 분석 필터 뱅크의 선택과 같이 다양한 척도들에 의해 향상될 수도 있다. (수정된) 인접 QMF 대역들로부터의 누설은 원래의 저 주파수 대역 위상 특성들을 변경할 수 있다. 이것은 상이한 QMF 대역들의 위상들 간에 결정될 수 있는 상관도에 영향을 미칠 수 있다. 이와 같이, 급격한 주파수 분리를 제공하는 분석 필터 뱅크를 선택하는 것이 유리할 수 있다. 분석 필터 뱅크의 주파수 분리는 길이가 증가된 프로토타입 필터들을 사용하는 변조된 분석 필터 뱅크들을 설계함으로써 분명해질 수도 있다. 일 예에서, (도 2a 내지 도 2d의 결과들에 대해 사용된 필터의 640 샘플 길이와 비교하여) 1280 샘플 길이를 갖는 프로토타입 필터가 설계되고 구현된다. 더 긴 프로토타입 필터(302)의 주파수 응답 및 원래의 프로토타입 필터(301)의 주파수 응답이 도 3에 도시되어 있다. 새로운 필터(302)의 증가된 저지 대역 감쇄가 분명히 가시적이다.
도 4a 및 도 4b는 QMF 서브대역들의 위상-한정 데이터에 기초하여 결정된 자기-유사성 매트릭스들(400, 410)을 도시한다. 매트릭스(400)에 대해서는 더 짧은 필터(301)가 사용되었지만, 매트릭스(410)에 대해서는 더 긴 필터(302)가 사용되었다. 제 1 주파수 패치(401)는 QMF 대역 3(x-축)에서 시작하는 대각선으로 표시되고 대역 인덱스 20 내지 35(y-축)로부터의 타겟 QMF 대역들을 커버한다. 매트릭스(410)에 대해 사용되는 높은 선택형 필터에 있어서, 제 2 주파수 패치(412)는 QMF 대역 Nr.8에서 시작하여 가시적이 된다. 이 제 2 주파수 패치(412)는 원래의 필터(301)를 사용하여 유도된 매트릭스(400)에서는 식별되지 않는다.
제 2 패치(412)의 존재는 x-축 상에서 QMF 대역 25에서 시작하는 대각선(403)으로부터 추정될 수 있다는 것을 유념해야 한다. 그러나, 대역 25는 제 1 패치의 타겟 QMF 대역이기 때문에, 대각선(403)은 두 패치들에서 이용되는 QMF 소스 대역들에 대한 패치-간 유사성을 나타낸다. 또한, QMF 소스 대역 영역들은 중첩할 수 있지만, 타겟 QMF 대역 영역들은 그렇지 않을 수 있다는 것을 유념해야 한다. 이것은 QMF 소스 대역들이 복수의 타겟 QMF 대역들로 패치될 수도 있지만, 일반적으로 모든 타겟 QMF 대역은 유일한 대응하는 QMF 소스 대역을 갖는다는 것을 의미한다. 또한, 높은 분리 분석 필터 뱅크들(302)을 사용함으로써, 도 4b의 선들(401, 412)을 나타내는 유사성은 (더 적은 선택형 분석 필터 뱅크(301)를 사용하여 결정되는) 도 4a에서의 선(401)을 나타내는 유사성과 비교하여 증가된 콘트라스트 및 증가된 선명도(sharpness)를 갖는다는 것을 알 수 있다.
높은 선택형 프로토타입 필터(302)는 도 5a 및 도 5b에 도시되어 있는 것과 같이 위상-한정 데이터 및 복소 데이터 기반 분석에 대해 평가된다. 복소 데이터 기반 최대 상관 값들(500)은 더 적은 선택형 원래의 필터(301)를 사용하여 결정되는 상관 값들(200)과 유사하다(도 2a 참조). 그러나, 위상-한정 기반 최대 상관 값들(501)은 명백히 2개의 클러스터들(502, 503)로 분리되고, 클러스터(502)는 주파수 확장과 함께 인코딩된 오디오 신호들을 나타내고, 클러스터(503)는 주파수 확장 없이 인코딩된 오디오 신호들을 나타낸다. 또한, 저 파워 SBR 디코딩(코딩 조건 2, 4)의 사용은 고 품질 SBR 디코딩(코딩 조건들 1, 3, 5)을 사용하는 것과 구별될 수 있다. 이것은 (코딩 조건들 6, 7, 8에서와 같이) 적어도 후속하는 재-인코딩이 수행되지 않는 경우이다.
복소 데이터에 기초하여 및 위상-한정 데이터에 기초하여 결정된 최대 상관 값들에 대응하는 확률 밀도 함수들(600, 610)이 각각 도 6a 및 도 6b에 도시되어 있다. 또한, 도 6c는 HQ SBR 디코딩(참조 부호 621) 및 LQ SBR 디코딩(참조 부호 622)의 가능한 검출을 도시하기 위해서 도 6b의 발췌부(620)를 도시한다. 복소 데이터를 사용할 때, 주파수 확장이 없는 코딩 방식들에 대한 확률 밀도 함수(6O2)는 주파수 확장이 있는 코딩 방식들에 대한 확률 밀도 함수(601)와 부분적으로 중첩한다는 것을 알 수 있다. 한편, 위상-한정 데이터를 사용할 때, 확률 밀도 함수(612)(주파수 확장이 없는 코딩 방식들) 및 확률 밀도 함수(611)(주파수 확장이 있는 코딩 방식들)는 중첩하지 않음으로써, SBR/SPX 인코딩을 위한 강건한 검출 방식을 가능하게 한다. 또한, 도 6c로부터, 위상-한정 분석 방법은 특정 코딩 모드들 간의 구분을 가능하게 한다는 것을 알 수 있다. 특히, 위상-한정 분석 방법은 LP 디코딩(참조부호 622) 및 HQ 디코딩(참조부호 621) 간의 구분을 가능하게 한다.
이와 같이, 높은 선택형 분석 필터 뱅크들을 사용하는 것은 유사성 매트릭스 기반 주파수 확장 검출 방식들의 견고성을 향상시킬 수 있다. 대안적으로 또는 부가적으로, 선 향상 방식들은 유사성 매트릭스 내에서 대각선 구조들(즉, 주파수 패치들에 대한 표시자들)을 더욱 명백히 분리시키기 위해서 적용될 수 있다. 예시적인 선 향상 방식은 향상 매트릭스(h)를 유사성 매트릭스(C)에 적용할 수 있으며, 예를 들어, 다음과 같고,
Figure 112013115996818-pct00013
여기서, 선 향상 유사성 매트릭스는 향상 매트릭스(h)를 유사성 매트릭스(C)에 콘볼빙함으로써 결정될 수 있다. 선 향상된 유사성 매트릭스의 최대 값은 오디오 신호 내에 주파수 확장이 존재한다는 것의 표시자로서 이해될 수도 있다.
서브대역들 간의 교차-상관 계수들을 포함하는 자기-유사성 매트릭스들은 주파수 확장 파라미터들, 즉, 오디오 신호를 인코딩할 때 주파수 확장을 위해 사용된 파라미터들을 결정하기 위해 사용될 수 있다. 특정 주파수 패칭 파라미터들의 확장은 자기-유사성 매트릭스에서 선 검출 방식들에 기초할 수 있다. 특히, 고대역들로 패치된 저대역들이 결정될 수 있다. 이 대응성 정보는, 저대역들 및 고대역들 간의 동일하거나 유사한 대응성이 사용될 수 있기 때문에, 재-인코딩에 유용할 수 있다.
그레이 레벨 이미지로서 자기-유사성 매트릭스(예를 들어, 매트릭스(410))를 고려하면, 이미지 처리로부터 공지되어 있는 임의의 선 검출 방법(예를 들어, 허프 변환들(Hough Transforms)로 이어지는 에지 검출)이 적용될 수 있다. 예시적인 목적들을 위해서, 도 7에 도시되어 있는 것과 같이 평가를 위한 예시적인 방법이 구현되었다.
적절한 선 검출 방식을 설계하기 위해서, 분석 방법을 더 견고하게 하기 위해서 코덱 고유 정보가 사용될 수 있다. 예를 들어, 저 주파수 대역들이 고 주파수 대역들을 패치하기 위해 사용되고 그 반대는 그렇지 않은 것으로 가정될 수 있다. 또한, 패치된 QMF 대역은 단 하나의 소스 대역으로부터 비롯될 수도 있는 것으로 가정될 수 있다(즉, 패치들이 중첩하지 않는 것으로 가정될 수 있다). 한편, 동일한 QMF 소스 대역이 복수의 패치들에서 사용될 수도 있다. 이것은 (예를 들어, 도 4b의 대각선(403)과 같이) 패치된 고대역들 간의 상관이 증가되도록 할 수 있다. 따라서, 방법은 실제 패치들 및 패치-간 유사성들을 구별하도록 구성되어야 한다. 추가적인 가정으로서, 표준 듀얼-레이트 (비-오버샘플링된) SBR에 있어서, QMF 소스 대역들이 서브대역 인덱스들 1 내지 32의 범위 내에 있는 것으로 가정될 수 있다.
상기 가정들 중 일부 또는 모두를 사용하면, 예시적인 선 검출 방식은 다음의 단계들 중 임의의 단계를 적용할 수 있다:
ㆍ (예를 들어, 높은 선택형 필터(302)를 사용하여) QMF-도메인에서 위상-한정 기반 자기-유사성 매트릭스(410)를 연산한다;
ㆍ 주 대각선에 평행한 모든 선이 수직선으로 표현되도록 유사성 매트릭스(410)를 기울인다; 결과적으로, 대응하는 타겟 QMF 대역을 결정하기 위해서 x-축은 소스 QMF 대역들(y 축)에 적용되는 (다수의 서브대역들로서의) 주파수 이동에 대응한다;
ㆍ 패치-대-패치 유사성을 나타내는 선들을 제거한다; 이것은 소스 대역들의 범위와 관련된 지식을 적용함으로써 달성될 수 있다;
ㆍ 오디오 대역폭 밖의 선들을 제거한다; 이것은, 예를 들어, 파워 스펙트럼 분석을 사용하여 오디오 신호의 대역폭을 결정함으로써 달성될 수 있다;
ㆍ 주 대각선(즉, 자기-상관들)을 제거한다; 유사성 매트릭스(410)를 기울인 후에, 주 대각선은 x=0에서, 즉, 주파수 이동이 없을 때 수직선에 대응한다;
ㆍ 수평 방향에서 하나 이상의 로컬 최대치들을 검출하고 경사진 매트릭스 내의 모든 다른 상관 값들을 제로로 설정한다;
ㆍ (적응적) 임계값 아래에 있는 모든 상관 값들을 제로로 설정한다;
ㆍ 수직선들(즉, 임계치보다 크고 하나의 대역보다 긴 상관 값들을 갖는 선)을 검출한다.
도 7은 각각 선 처리 전(참조부호 700) 및 선 처리 후(참조부호 710)의 왜곡된 유사성 매트릭스들을 도시한다. 블러링된 수직 패치 선들(701, 702)은 상기 방법을 사용하여 분명히 분리될 수도 있어서, 각각 패치 선들(711, 712)을 생성하는 것을 알 수 있다.
상기 접근법(또는 유사한 선 검출 방법들)을 사용하여, 패치 검출이 수행될 수 있다. 특히, 상기 접근법은 표 1에 나타낸 HE-AAC 코딩(코딩 조건 1 내지 8)에 대해 평가되었다. 검출 성능은 모든 패치 파라미터들이 정확히 식별된 오디오 파일들의 백분율로서 결정될 수도 있다. 위상-한정 데이터 기반 분석은 복소 데이터 기반 분석보다 재인코딩되지 않은 HE-AAC(코딩 조건들 1 내지 5)에 대해 상당히 양호한 검출 결과들을 산출한다는 것을 알게 되었다. 이들 코딩 조건들에 있어서, 패칭 파라미터들(특히 소스 및 타겟 대역들 간의 매핑)이 높은 신뢰도로 결정될 수 있다. 이와 같이, 추정된 패칭 파라미터들은 오디오 신호를 재-인코딩할 때 사용될 수도 있어서, 재-인코딩 처리로 인한 추가적인 신호 열화를 회피하거나 감소시킨다.
패치 파라미터 검출 레이트는 HQ-SBR 디코딩된 신호들에 비해 LP-SBR 디코딩된 신호들에 대해 감소한다. AAC 재-인코딩된 신호들(코딩 조건들 6 내지 8)에 있어서, 검출 레이트들은 두 방법들(위상-한정 데이터 기반 및 복소 데이터 기반)에 대해 저 레벨로 상당히 감소한다. 이것이 더 상세히 분석된다. 조건 6에 대해서, 유사성 매트릭스(800)가 도 8에 도시되어 있다. 제 1 패치(801)는 상당히 두드러지고 상술된 선 검출 방법에 의해 정확히 식별될 수 있다는 것을 알 수 있다. 한편, 제 2 패치(802)는 덜 두드러진다. 제 2 패치(802)에 대해서, 소스 및 타겟 QMF 대역들은 정확히 검출되었지만, 선 검출 방식에 의해 결정된 QMF 대역들의 수는 너무 적었다. 도 8에서 알 수 있는 것과 같이, 이것은 고 대역들 쪽으로의 감소하는 상관 때문일 수 있다. 이러한 페이딩되는 선들은 위에서 개괄된 임계치 기반 알고리즘에 의해서는 잘 검출되지 않을 수 있다. 그러나, 적응적 임계치 선 검출 방법들, 예를 들어, (그레이 이미지를 바이너리 이미지로 변환하기 위해 사용되는) 노보유키 오츠(Noboyuki Ostu)의 "그레이-레벨 히스토그램들로부터의 임계치 선택 방법(A Threshold Selection Method from Gray-Level Histograms)", IEEE Transactions on Systems, Man and Cybernetics, Vol.SMC-9, No.1, 1979년 1월, 62 내지 66쪽에 기술된 방법이 패치 파라미터 결정 방식의 견고성을 증가시키기 위해 사용될 수 있다. 상기 문서는 참조로서 통합된다.
이미 위에서 나타낸 것과 같이, 본 발명에서 기술되는 방법들은 SPX 인코딩을 포함하는 다양한 주파수 확장 방식들에 적용될 수 있다. 이와 같이, 유사성 매트릭스는, 오디오 신호에 적용된 주파수 대역 방식 내에서 사용되는 필터 뱅크 분해능에 반드시 대응하지는 않는 분석 필터 뱅크 분해능에 기초하여 결정될 수 있다. 이것은 도 9에 도시되어 있다. 예시적인 유사성 매트릭스(900)는 DD+ 코딩에 제출된 오디오 신호의 64 대역 복소 QMF 분석에 기초하여 결정되었다. 주파수 패치(901)는 명백히 가시적이다. 그러나, 패치 시작 및 끝 지점들은 쉽게 검출되지 않는다. 이것은 DD+에서 사용되는 SPX 방식이 유사성 매트릭스(900)를 결정하기 위해 사용되는 64 대역 QMF보다 좋은 분해능을 갖는 필터 뱅크를 이용한다는 사실 때문일 수 있다. 더 정확한 결과들은 더 많은 채널들을 갖는 필터 뱅크, 예를 들어, (DD/DD+에서 사용되는 256 계수 MDCT에 따르는) 256 대역 QMF 뱅크를 사용하여 달성될 수 있다. 다시 말해서, 더 정확한 결과들은 주파수 확장 코딩 방식의 채널들의 수에 대응하는 다수의 채널들을 사용할 때 달성될 수 있다.
전반적으로, (주파수 확장 코딩의 실제 검출에 대한 및 패치 파라미터들의 결정에 대한) 더욱 정확한 분석 결과들은 증가된 주파수 분해능, 예를 들어, 주파수 확장 코딩에 사용되는 필터 뱅크의 주파수 분해능과 같거나 높은 주파수 분해능을 갖는 분석 필터 뱅크들을 사용할 때 달성될 수 있다고 말할 수도 있다.
상기 언급된 것과 같이, DD+ 코딩은 주파수 확장에 대해 HE-AAC와는 상이한 주파수 분해능을 사용한다. 주파수 확장에 실제로 사용된 주파수 분해능와는 상이한 주파수 확장 검출을 위해 주파수 분해능을 사용할 때, 패치 경계들, 즉, 패치의 최저 및/또는 최고 대역들이 블러링될 수 있는 것으로 나타났다. 이 정보는 오디오 신호에 적용된 코딩 시스템에 관한 정보를 결정하기 위해 사용될 수 있다. 다시 말해서, 주파수 패치 경계들을 평가함으로써, 코딩 방식이 결정될 수 있다. 예로서, 패치 경계들이 유사성 매트릭스를 결정하기 위해 사용되는 64 QMF 대역 그리드 상에 정확히 놓이지 않으면, 코딩 방식이 HE-AAC가 아닌 것으로 결론내릴 수도 있다.
또한, HE-AACv2에서 파라메트릭 스테레오(PS) 인코딩을 사용하고 DD/DD+에서 커플링을 사용하는 것을 검출하기 위한 척도를 제공하는 것이 바람직할 수 있다. PS는 단지 스테레오 콘텐트와 관련되고, 커플링은 스테레오 및 멀티-채널 오디오에 적용된다. 두 툴들의 경우에, 단일 채널에 따른 데이터만이, 송신된 채널로부터 다른 채널들(즉, 제 2 스테레오 채널 또는 멀티-채널들)을 발생시키기 위해서 디코더에서 사용되는 적은 양의 사이드 정보와 함께 비트스트림 내에서 송신된다. PS는 전체 오디오 대역폭에 대해 활성화되지만, 커플링은 고 주파수들에서만 적용된다. 커플링은 인텐시티 스테레오(IS) 코딩의 개념과 관련되고, 채널-간 상관 분석으로부터 또는 왼쪽 및 오른쪽 채널들에서의 위상 정보를 비교함으로써 검출될 수 있다. PS는 비상관 방식에 의해 원래의 신호의 채널 간 상관 특성들을 유지하고, 따라서, PS에서의 왼쪽 및 오른쪽 채널들 간의 위상 관계는 복잡하다. 그러나, PS 비상관은 도 10a에 도시되어 있는 것과 같이 평균 채널-간 위상 차에 특성 핑거프린트를 남긴다. 이 특성 핑거프린트가 검출될 수 있다.
PS 인코딩의 사용을 검출하기 위한 예시적인 방법은 다음 단계들 중 임의의 단계를 적용할 수 있다;
ㆍ (디코딩된) 오디오 신호의 두 채널들의 복소 64 대역 QMF 분석을 수행한다:
ㆍ QMF 빈마다 왼쪽-오른쪽 위상 각 차를 연산한다; 다시 말해서, QMF 빈 내의 복소 샘플들의 위상이 평가된다; 특히, 오른쪽 및 왼쪽 채널에서의 대응하는 샘플들의 위상의 차가 결정된다;
ㆍ 모든 QMF 프레임들에 대해 평균 위상 각 차들을 결정한다; 상이하게 인코딩된 신호들에 대한 예시적인 평균 위상 각 차들(1000)이 도 10a에 도시되어 있다;
ㆍ PS는 고 주파수들에서의 특유의 주기적 구조(1001)를 나타낸다; 이 특유의 구조는, 예를 들어, 피크 필터링 및 에너지 연산에 의해 검출될 수 있다.
(스테레오 콘텐트의 경우에) 커플링의 사용을 검출하기 위한 예시적인 방법은 다음의 단계들 중 임의의 단계를 적용할 수 있다:
ㆍ (디코딩된) 오디오 신호의 두 채널들의 복소 64 대역 QMF 분석을 수행한다;
ㆍ QMF 빈마다 왼쪽-오른쪽 위상 각 차들을 연산한다;
ㆍ QMF 빈마다, 모든 QMF 대역에 대해 저 위상 각 차, 즉, 미리 결정된 임계치 미만의 위상 각 차(일반적으로는 위상 각 차<π/100)를 갖는 샘플들의 수를 연산한다; 상이하게 인코딩된 신호들에 대해 저 위상 각 차(1010)를 갖는 서브대역 샘플들의 예시적인 부분들/백분율들(1010)이 도 10b에 도시되어 있다;
ㆍ 도 10b에서 그래프(1011)로 나타낸 것과 같이 QMF 대역들에 따른 상당한 증가는 커플링의 사용을 나타낼 수 있다.
위에서 개괄된 것과 같이, 스펙트럼 대역폭 복제 방법은 저 주파수 계수들에서의 정보에 기초한 고 주파수 계수들을 발생시킨다. 이것은 대역폭 복제 방법이 저 및 고 주파수 계수들 간에 특정 관계 또는 상관을 도입한다는 것을 암시한다. 다음에서, (디코딩된) 오디오 신호에 스펙트럼 대역폭 복제가 행해졌다는 것을 검출하기 위한 추가적인 접근법이 기술된다. 이 접근법에서, 저-주파수 계수 및 고-주파수 계수 간의 특정 관계를 캡처하는 확률 모델이 세워진다.
저-주파수 계수 및 고-주파수 계수 간의 관계를 캡처하기 위해서, N개의 스펙트럼 저대역 벡터들{x1,x2...xN}을 포함하는 트레이닝 데이터세트가 생성될 수 있다. 저대역 벡터들{x1,x2...xN}은 미리 결정된 최대 주파수(Fnarrow)(예를 들어, 8㎑)를 갖는 오디오 신호들로부터 연산될 수 있는 스펙트럼 벡터들이다. 즉, {x1,x2...xN}는, 예를 들어, 16㎑의 샘플링 레이트에서 오디오로부터 연산된 스펙트럼 벡터들이다. 저대역 벡터들은, 예를 들어, HE-AAC 또는 MPEG SBR 인코딩된 오디오 신호들의, 즉, 주파수 확장 코딩 이력을 갖는 오디오 신호들의 저 주파수 대역들에 기초하여 결정될 수 있다.
또한, 이들 N개의 스펙트럼 벡터들{x1,x2...xN}의 대역폭 확장된 버전들은 대역폭 복제 방법(예를 들어, MPEG SBR)을 사용하여 결정될 수 있다. 벡터들{x1,x2...xN}의 대역폭 확장된 버전들은 {y1,y2...yN}로서 언급될 수 있다. {y1,y2...yN}에서의 최대 주파수 콘텐트는 미리 결정된 최대 주파수(Fwide)(예를 들어, 16㎑)일 수 있다. 이것은 Fnarrow(예를 들어, 8㎑) 및 Fwide(예를 들어, 16㎑) 간의 주파수 계수들이 {x1,x2...xN}에 기초하여 발생된다는 것을 암시한다.
이 트레이닝 데이터 세트를 고려할 때, 벡터들의 세트들{z1,z2...zN}의 결합 밀도(여기서, zj={xjyj})(즉, 협대역 스펙트럼 벡터 및 광대역 스펙트럼 벡터의 연결(concatenation))는 다음과 같이 결정될 수도 있고:
Figure 112013115996818-pct00014
(1)
여기서, n은 벡터들(zi)의 차원수이다. Q는 결합 밀도(
Figure 112013115996818-pct00015
)를 근사화하기 위해 사용되는 가우시안 혼합 모델(GMM, Gaussian Mixture Model)의 성분들의 수이고, μi는 i번째 혼합 성분의 평균이고 Ci는 GMM에서의 i번째 혼합 성분의 공분산이다.
z의 공분산 매트릭스(즉, Ci)는 다음과 같이 쓰여질 수 있다는 것을 유념해야 하고,
Figure 112013115996818-pct00016
여기서,
Figure 112013115996818-pct00017
는 저대역 스펙트럼 벡터의 공분산 매트릭스를 나타내고,
Figure 112013115996818-pct00018
는 광대역 스펙트럼 벡터의 공분산 매트릭스를 나타내고,
Figure 112013115996818-pct00019
는 저대역 및 광대역 스펙트럼 벡터 간의 교차-공분산 매트릭스를 나타낸다.
유사하게, z(μi)의 평균 벡터는 다음과 같이 쓰여질 수 있고,
Figure 112013115996818-pct00020
여기서,
Figure 112013115996818-pct00021
는 i번째 혼합 성분의 저대역 스펙트럼 벡터의 평균이고,
Figure 112013115996818-pct00022
는 i번째 혼합 성분의 광대역 스펙트럼 벡터의 평균이다.
결합 밀도에 기초하여, 즉, 결정된 평균 벡터들(μ i ) 및 공분산 매트릭스들(C i )에 기초하여, 저대역 스펙트럼 벡터들(xi)을 광대역 스펙트럼 벡터들(yi)에 매핑하는 함수 F(x)가 정의될 수 있다. 이 예에서, F(x)는 원래의 광대역 스펙트럼 벡터 및 재구성된 스펙트럼 벡터 간의 평균 제곱 에러를 최소화하도록 선택된다. 이 가정 하에서, F(x)는 다음과 같이 결정될 수 있다.
Figure 112013115996818-pct00023
(2)
여기서,
Figure 112013115996818-pct00024
는 관측된 저대역 스펙트럼 벡터(x)를 고려한 y의 조건부 예측을 나타낸다. 항 h i (x)는 관측된 저대역 스펙트럼 벡터(x)가 추정된 GMM의 i번째 혼합 성분으로부터 발생되는 확률을 나타낸다(식 (1) 참조).
항 h i (x)는 다음과 같이 연산될 수 있다.
Figure 112013115996818-pct00025
상술된 통계적 모델을 사용하면, SBR 검출 방식은 다음과 같이 기술될 수 있다. 식 (1) 및 식 (2)에 기초하여, 저 주파수 성분 및 고 주파수 성분 간의 관계는 저대역 스펙트럼 벡터들 및 그들의 대응하는 광대역 스펙트럼 벡터들을 포함하는 트레이닝 데이터 세트를 사용하여 캡처될 수 있다.
새로운 (디코딩된) 오디오 신호로부터 결정되는 새로운 광대역 스펙트럼 벡터(u)를 고려할 때, 통계적 모델은 (디코딩된) 오디오 신호의 고 주파수 스펙트럼 성분들이 대역폭 복제 방법에 기초하여 발생되었는지를 결정하기 위해 사용될 수 있다. 다음의 단계들은 대역폭 복제가 수행되었는지를 검출하기 위해서 수행될 수 있다:
입력 광대역 스펙트럼 벡터(u)는 2개의 부분들 u=[uxuhi]로 나뉠 수도 있고, 여기서, ux는 저대역 스펙트럼 벡터에 대응하고, uhi는 대역폭 복제 방법에 의해 생성될 수 있거나 그렇지 않을 수도 있는 오디오 신호의 스펙트럼의 고 주파수 부분에 대응한다.
확률 모델을 사용하여 및 특히, 식(2)를 사용하여, 광대역 벡터(F( u x ))는 ux에 기초하여 추정될 수도 있다. 예측 에러 ∥u-F( u x )∥는, 고 주파수 성분들이 식 (1)에서의 확률 모델에 따라 발생되었다면 작아질 것이다. 그렇지 않으면, 고 주파수 성분들이 대역폭 복제 방법에 의해 발생되지 않았다는 것을 나타내는 경우에는 예측 에러가 클 것이다. 결과적으로, 예측 에러 ∥u-F( u x )∥를 적절한 에러 임계치와 비교함으로써, SBR이 입력 벡터 "u"에 대해 수행되었는지의 여부, 즉, (디코딩된) 오디오 신호에 SBR 처리가 행해졌는지가 검출될 수 있다.
상기 통계적 모델은 대안적으로 저대역 벡터들 {x1,x2...xN} 및 대응하는 고대역 벡터들 {y1,y2...yN}을 사용하여 결정될 수 있다는 것을 유념해야 하고, 여기서, 고대역 벡터들 {y1,y2...yN}은 대역폭 복제 방법(예를 들어, MPEG SBR)을 사용하여 {x1,x2...xN}로부터 결정되었다. 이것은 벡터들 {y1,y2...yN}이 대역폭 복제 방법을 사용하여 발생된 고대역 성분들만을 포함하고 고대역 성분들이 발생된 저대역 성분들을 포함하지 않는다는 것을 의미한다. 벡터들의 세트 {z1,z2...zN}(여기서, zj={xjyj})는 저 대역 스펙트럼 벡터 및 고 대역 스펙트럼 벡터의 연결로서 결정된다. 이를 행함으로써, 가우시안 혼합 모델(GMM)의 차원이 감소될 수 있어서, 전체 복잡도가 감소된다. 상술된 식들은 또한 고대역 벡터들인 {y1,y2...yN}를 갖는 경우에 적용 가능하다는 것을 유념해야 한다.
본 발명에서는, (디코딩된) 오디오 신호를 분석하기 위한 방법들 및 시스템들이 기술되었다. 방법들 및 시스템들은 오디오 신호가 HE-AAC 또는 DD+와 같은 주파수 확장 기반 코덱에 제출되었는지를 결정하기 위해 사용될 수 있다. 또한, 방법들 및 시스템들은, 저 주파수 서브대역들 및 고 주파수 서브대역들의 대응하는 쌍들, 디코딩 모드들(LP 또는 HQ 디코딩), 파라메트릭 스테리오 인코딩의 사용, 커플링의 사용 등과 같이, 주파수 확장 기반 코덱에 의해 사용된 특정 파라미터들을 검출하기 위해 사용될 수 있다. 기술된 방법 및 시스템들은 (디코딩된) 오디오 신호만으로부터, 즉, (디코딩된) 오디오 신호(예를 들어, PCM 오디오 신호)의 이력과 관련된 임의의 추가적인 정보 없이, 상술된 정보를 결정하도록 적응된다.
본 발명에서 기술되는 방법 및 시스템은 소프트웨어, 펌웨어 및/또는 하드웨어로서 구현될 수 있다. 특정 구성요소들은, 예를 들어, 디지털 신호 처리기 또는 마이크로프로세서 상에서 구동하는 소프트웨어로서 구현될 수 있다. 다른 구성요소들은, 예를 들어, 하드웨어로서 및/또는 응용 고유 집적 회로들로서 구현될 수 있다.

Claims (38)

  1. 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법에 있어서:
    저 및 고 주파수 서브대역들을 포함하는 대응하는 복수의 서브대역들에서의 복수의 서브대역 신호들을 제공하는 단계로서, 상기 복수의 서브대역 신호들은 상기 오디오 신호의 시간/주파수 도메인 표현에 대응하는, 상기 복수의 서브대역 신호들을 제공하는 단계;
    상기 저 주파수 서브대역들에 속한 서브대역 신호들의 그룹과 상기 고 주파수 서브대역들에 속한 서브대역 신호들의 그룹 간의 관계도를 결정하는 단계로서, 상기 관계도는 상기 복수의 서브대역 신호들에 기초하여 결정되고,
    상기 관계도를 결정하는 단계는 상기 복수의 서브대역 신호들 사이의 교차-상관 값들의 세트를 결정하는 단계를 포함하고,
    제 1 및 제 2 서브대역 신호 사이의 상관 값을 결정하는 단계는 제로 시간 지연에서 상기 제 1 및 제 2 서브대역 신호들의 대응하는 샘플들의 곱들의 시간에 따른 평균을 결정하는 단계를 포함하는, 상기 관계도를 결정하는 단계; 및
    상기 관계도가 관계 임계치보다 큰 경우, 주파수 확장 코딩 이력을 결정하는 단계를 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 복수의 서브대역 신호들은,
    복소수 값 의사 직교 미러 필터 뱅크(a complex valued pseudo quadrature mirror filter bank);
    수정된 이산 코사인 변환;
    수정된 이산 사인 변환
    이산 푸리에 변환
    변조된 랩핑된 변환(modulated lapped transform);
    복소 변조된 랩핑된 변환(complex modulated lapped transform); 또는
    고속 푸리에 변환, 중 하나를 사용하여 발생되는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 복수의 서브대역 신호들은 복수의 필터들을 포함하는 필터 뱅크를 사용하여 발생되고, 각 필터는 각각의 필터의 저지대역 내에 있는 주파수들에 대한 미리 결정된 롤-오프 임계치를 초과하는 롤-오프를 갖는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  4. 제 3 항에 있어서,
    상기 복수의 필터들의 상기 필터들은 M 개의 필터 계수들을 포함하고, M은 검출될 상기 주파수 확장 코딩에 의해 사용된 필터 계수들의 수보다 큰, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  5. 제 1 항 또는 제 2 항에 있어서,
    상기 오디오 신호는 복수의 오디오 채널들을 포함하고;
    상기 방법은 다운믹싱된 시간 도메인 오디오 신호를 결정하기 위해 상기 복수의 오디오 채널들을 다운믹싱하는 단계를 포함하고;
    상기 복수의 서브대역 신호들은 상기 다운믹싱된 시간 도메인 오디오 신호로부터 발생되는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  6. 제 1 항 또는 제 2 항에 있어서,
    상기 오디오 신호의 최대 주파수를 결정하는 단계를 추가로 포함하고;
    상기 복수의 서브대역 신호들은 단지 상기 최대 주파수에서의 또는 그 아래에서의 주파수들만을 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  7. 제 6 항에 있어서,
    상기 최대 주파수를 결정하는 단계는,
    상기 주파수 도메인에서 상기 오디오 신호의 파워 스펙트럼을 분석하는 단계; 및
    상기 최대 주파수보다 큰 모든 주파수들에 대해, 상기 파워 스펙트럼이 파워 임계치 아래에 있도록 상기 최대 주파수를 결정하는 단계를 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  8. 제 1 항 또는 제 2 항에 있어서,
    상기 복수의 서브대역 신호들은 각각 복수의 위상 신호들 및 대응하는 복수의 크기 신호들을 포함하는 복수의 복소 서브대역 신호들이고;
    상기 관계도는 상기 복수의 크기 신호들에 기초하지 않고 상기 복수의 위상 신호들에 기초하여 결정되는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  9. 제 1 항 또는 제 2 항에 있어서,
    상기 관계도를 결정하는 단계는 상기 저 주파수 서브대역들에서의 서브대역 신호들의 그룹으로부터 발생된 상기 고 주파수 서브대역들에서의 서브대역 신호들의 그룹을 결정하는 단계를 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  10. 제 1 항 또는 제 2 항에 있어서,
    상기 복수의 서브대역 신호들은 K개의 서브대역 신호들을 포함하고;
    상기 교차-상관 값들의 세트는 상기 복수의 서브대역 신호들과 상이한 서브대역 신호들의 모든 조합들에 대응하는 (K-1)! 교차-상관 값들을 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  11. 제 1 항 또는 제 2 항에 있어서,
    상기 주파수 확장 코딩 이력을 결정하는 단계는 상기 교차-상관 값들의 세트로부터의 적어도 하나의 최대 교차-상관 값이 상기 관계 임계치를 초과하는 것을 결정하는 단계를 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  12. 제 10 항에 있어서,
    상기 교차-상관 값들의 세트는 임의의 값들을 갖는 주 대각선을 갖는 대칭적인 K×K 상관 매트릭스(410)로 배열되는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  13. 제 12 항에 있어서,
    상기 상관 매트릭스(410)에서 로컬 최대 교차-상관 값들의 하나 이상의 대각선들을 강조하기 위해서 선 향상(line enhancement)을 상기 상관 매트릭스(410)에 적용하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  14. 제 13 항에 있어서,
    상기 선 향상은 상기 상관 매트릭스를 향상 매트릭스
    Figure 112013116080510-pct00054
    로 콘볼빙(convolving)함으로써, 향상된 상관 매트릭스를 산출하는 것을 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  15. 제 14 항에 있어서,
    상기 주파수 확장 코딩 이력을 결정하는 단계는, 상기 주 대각선을 제외하고, 상기 향상된 상관 매트릭스로부터 적어도 하나의 최대 교차-상관 값이 상기 관계 임계치를 초과하는 것을 결정하는 단계를 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  16. 제 12 항에 있어서,
    로컬 최대 교차-상관 값들의 하나 이상의 대각선들을 검출하기 위해 상기 상관 매트릭스를 분석하는 단계를 추가로 포함하고,
    로컬 최대 교차-상관 값들의 하나의 대각선은 상기 상관 매트릭스의 상기 주 대각선 상에 놓이지 않고;
    로컬 최대 교차-상관 값들의 하나의 대각선은 하나보다 많은 로컬 최대 교차-상관 값을 포함하고, 상기 하나보다 많은 로컬 최대 교차-상관 값들 각각은 최소 상관 임계치를 초과하고;
    상기 하나보다 많은 로컬 최대 교차-상관 값들은 상기 상관 매트릭스의 상기 주 대각선에 평행한 대각선 방식으로 배열되고;
    상기 상관 매트릭스의 소정의 행에서의 상기 하나보다 많은 로컬 최대 교차-상관 값들 각각에 대해, 동일한 행 및 바로 인접한 왼쪽 열에서의 교차-상관 값은 최소 상관 임계치에 또는 그 아래에 있고 및/또는 동일한 행 및 바로 인접한 오른쪽 열에서의 교차-상관 값은 상기 최소 상관 임계치에 또는 그 아래에 있는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  17. 제 16 항에 있어서,
    로컬 최대 교차-상관 값들의 2개보다 많은 대각선들은 상기 주 대각선 위에 또는 아래에서 검출되고; 상기 상관 매트릭스의 행은 소스 서브대역을 나타내고 상기 상관 매트릭스의 열은 타겟 서브대역을 나타내고;
    상기 방법은,
    상기 상관 매트릭스의 동일한 소스 서브대역에 대해 로컬 최대 교차-상관 값들을 갖는 적어도 2개의 리던던트 대각선들을 검출하는 단계; 및
    복수의 소스 서브대역들로부터 복수의 타겟 서브대역들로의 복사-업 패치(copy-up patch)로서 상기 적어도 2개의 리던던트 대각선들 중에서 상기 각각의 최저 타겟 서브대역들을 갖는 상기 대각선을 식별하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  18. 제 16 항에 있어서,
    검출된 대각선의 시작 및/또는 끝에서의 상기 검출된 대각선의 로컬 최대 교차-상관 값들이 블러링 임계치 미만인 것을 검출하는 단계;
    상기 변환 단계의 파라미터들을 복수의 주파수 확장 코딩 방식들에 사용되는 변환 단계들의 파라미터들과 비교하는 단계; 및
    상기 비교 단계에 기초하여, 상기 복수의 주파수 확장 코딩 방식들 중에서 상기 오디오 신호에 적용된 상기 주파수 확장 코딩 방식을 결정하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  19. 제 1 항 또는 제 2 항에 있어서,
    상기 교차-상관 값들의 세트로부터의 최대 교차-상관 값이 디코딩 모드 임계치 아래에 있는지 아니면 위에 있는지를 결정함으로써, 상기 오디오 신호에 적용된 주파수 확장 코딩 방식의 디코딩 모드를 검출하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  20. 제 1 항 또는 제 2 항에 있어서,
    상기 오디오 신호는 제 1 및 제 2 채널을 포함하는 멀티-채널 신호이고, 상기 방법은,
    상기 제 1 및 상기 제 2 채널을 상기 주파수 도메인으로 변환함으로써, 복수의 제 1 서브대역 신호들 및 복수의 제 2 서브대역 신호들을 생성하는 단계로서, 상기 제 1 및 상기 제 2 서브대역 신호들은 복소수 값이고 각각 제 1 및 제 2 위상 신호들을 포함하는, 상기 생성 단계; 및
    대응하는 제 1 및 제 2 서브대역 신호들의 차로서 복수의 위상 차 서브대역 신호들을 결정하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  21. 제 20 항에 있어서,
    복수의 위상 차 값들을 결정하는 단계로서, 각 위상 차 값은 상기 대응하는 위상 차 서브대역 신호의 샘플들의 시간에 따른 평균으로서 결정되는, 상기 결정 단계; 및
    상기 복수의 위상 차 값들 내에서 주기적 구조를 검출함으로써, 상기 오디오 신호의 상기 코딩 이력에서 파라메트릭 스테레오 인코딩을 검출하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  22. 제 21 항에 있어서,
    상기 주기적 구조는 포지티브 및 네거티브 위상 차 값들 사이에서의 인접 서브대역들의 위상 차 값들의 진동을 포함하고; 진동하는 위상 차 값들의 크기는 진동 임계치를 초과하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  23. 제 20 항에 있어서,
    각 위상 차 서브대역 신호에 대해서, 위상 차 임계치보다 작은 위상 차를 갖는 샘플들의 부분을 결정하는 단계; 및
    상기 부분이 상기 고 주파수 서브대역들에서의 서브대역 신호들에 대한 부분 임계치를 초과하는 것을 검출함으로써, 상기 오디오 신호의 상기 코딩 이력에서 상기 제 1 및 상기 제 2 채널의 커플링을 검출하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  24. 오디오 신호의 코딩 이력에서 파라메트릭 오디오 코딩 툴의 사용을 검출하기 위한 방법으로서, 상기 오디오 신호는 제 1 및 제 2 채널을 포함하는 멀티-채널 신호인, 상기 방법에 있어서:
    복수의 제 1 서브대역 신호들 및 복수의 제 2 서브대역 신호들을 제공하는 단계로서, 상기 복수의 제 1 서브대역 신호들은 상기 멀티-채널 신호의 상기 제 1 채널의 시간/주파수 도메인 표현에 대응하고; 상기 복수의 제 2 서브대역 신호들은 상기 멀티-채널 신호의 상기 제 2 채널의 시간/주파수 도메인 표현에 대응하고; 상기 복수의 제 1 및 제 2 서브대역 신호들은 복소수 값이고 각각 복수의 제 1 및 제 2 위상 신호들을 포함하는, 상기 제공 단계;
    상기 복수의 제 1 및 제 2 위상 신호들로부터 복수의 위상 차 서브대역 신호들을 결정하는 단계로서, 각각의 위상 차 서브대역 신호는 대응하는 제 1 및 제 2 위상 신호들 사이의 차를 나타내는, 상기 복수의 위상 차 서브대역 신호들을 결정하는 단계; 및
    상기 복수의 위상 차 서브대역 신호들로부터 상기 오디오 신호의 상기 코딩 이력에서 파라메트릭 오디오 코딩 툴의 사용을 검출하는 단계를 포함하는, 오디오 신호의 코딩 이력에서 파라메트릭 오디오 코딩 툴의 사용을 검출하기 위한 방법.
  25. 제 24 항에 있어서,
    복수의 위상 차 값들을 결정하는 단계로서, 각 위상 차 값은 상기 대응하는 위상 차 서브대역 신호의 샘플들의 시간에 따른 평균으로서 결정되는, 상기 복수의 위상 차 값들을 결정하는 단계; 및
    상기 복수의 위상 차 값들 내에서 주기적 구조를 검출함으로써, 상기 오디오 신호의 상기 코딩 이력에서 파라메트릭 스테레오 인코딩을 검출하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 파라메트릭 오디오 코딩 툴의 사용을 검출하기 위한 방법.
  26. 제 24 항 또는 제 25 항에 있어서,
    각각의 위상 차 서브대역 신호에 대해, 위상 차 임계치보다 작은 위상 차를 갖는 샘플들의 부분을 결정하는 단계; 및
    상기 부분이 교차 주파수보다 높은 주파수들에서 서브대역 신호들에 대한 부분 임계치를 초과하는 것을 검출함으로써, 상기 오디오 신호의 상기 코딩 이력에서 상기 제 1 및 제 2 채널의 커플링을 검출하는 단계를 추가로 포함하는, 오디오 신호의 코딩 이력에서 파라메트릭 오디오 코딩 툴의 사용을 검출하기 위한 방법.
  27. 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법에 있어서:
    저 및 고 주파수 서브대역들을 포함하는 대응하는 복수의 서브대역들에서의 복수의 서브대역 신호들을 제공하는 단계로서, 상기 복수의 서브대역 신호들은 상기 오디오 신호의 시간/주파수 도메인 표현에 대응하는, 상기 복수의 서브대역 신호들을 제공하는 단계;
    상기 저 주파수 서브대역들에 속한 서브대역 신호들의 그룹과 상기 고 주파수 서브대역들에 속한 서브대역 신호들의 그룹 간의 관계도를 결정하는 단계로서, 상기 관계도는 상기 복수의 서브대역 신호들에 기초하여 결정되고,
    상기 관계도를 결정하는 단계는:
    주파수 확장 코딩 이력을 갖는 트레이닝 오디오 신호들로부터 유도되는 트레이닝 벡터들의 세트로부터 결정되는 확률 모델을 제공하는 단계로서, 상기 확률 모델은 상기 복수의 고 주파수 서브대역들 및 상기 저 주파수 서브대역들이 미치는 벡터 공간에서의 벡터들 간의 확률 관계를 기술하는, 상기 확률 모델을 제공하는 단계,
    상기 저 주파수 서브대역들에서의 상기 서브대역 신호들이 주어졌을 때, 상기 고 주파수 서브대역들에서의 상기 복수의 서브대역 신호들의 추정치를 제공하는 단계로서, 상기 추정치는 상기 확률 모델에 기초하여 결정되는, 상기 복수의 서브대역 신호들의 추정치를 제공하는 단계, 및
    상기 고 주파수 서브대역들에서의 상기 복수의 서브대역 신호들이 주어졌을의 추정치 및 상기 고 주파수 서브대역들에서의 상기 복수의 서브대역 신호들로부터 유도되는 추정 에러에 기초하여 관계도를 결정하는 단계를 포함하는, 상기 관계도를 결정하는 단계; 및
    상기 관계도가 관계 임계치보다 큰 경우, 주파수 확장 코딩 이력을 결정하는 단계를 포함하는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  28. 제 27 항에 있어서,
    상기 확률 모델은 상기 복수의 서브대역들 및 상기 저 주파수 서브대역들이 미치는 벡터 공간에서의 벡터들 간의 확률 관계를 기술하고;
    상기 복수의 서브대역 신호들의 추정치는, 상기 저 주파수 서브대역들에서의 상기 서브대역 신호들이 주어졌을 때, 제공되고;
    상기 관계도는 상기 복수의 서브대역 신호들의 추정치 및 상기 복수의 서브대역 신호들로부터 유도된 추정 에러에 기초하여 결정되는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  29. 제 28 항에 있어서,
    상기 확률 모델은 가우시안 혼합 모델인, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  30. 제 29 항에 있어서,
    상기 확률 모델은 복수의 혼합 성분들을 포함하고, 각 혼합 성분은 상기 벡터 공간에서의 평균 벡터(μ) 및 상기 벡터 공간에서의 공분산 매트릭스(C)를 갖는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  31. 제 30 항에 있어서,
    i번째 혼합 성분의 평균 벡터(μi)는 상기 벡터 공간에서 클러스터의 중심을 나타내고;
    상기 i번째 혼합 성분의 상기 공분산 매트릭스(Ci)는 상기 벡터 공간에서의 상이한 차원들 간의 상관을 나타내는, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  32. 제 31 항에 있어서,
    상기 추정치는 다음과 같이 결정될 수도 있고,
    Figure 112015065379325-pct00055

    여기서,
    Figure 112015065379325-pct00056
    는, 상기 저 주파수 서브대역들에서의 상기 서브대역 신호들(x)이 주어졌을 때, 상기 복수의 서브대역 신호들(y)의 상기 추정치이고, hi (x)는, 상기 서브대역 신호들(x)이 주어졌을 때, 상기 가우시안 혼합 모델의 상기 i번째 혼합 성분의 관련성을 나타내고,
    Figure 112015065379325-pct00057
    는 상기 복수의 서브대역들의 서브공간에 대응하는 상기 평균 벡터(μi)의 성분이고,
    Figure 112015065379325-pct00058
    는 상기 저 주파수 서브대역들의 서브공간에 대응하는 상기 평균 벡터(μi)의 성분이고, Q는 상기 가우시안 혼합 모델의 성분들의 수이고,
    Figure 112015065379325-pct00059
    및
    Figure 112015065379325-pct00060
    는 상기 공분산 매트릭스(Ci )로부터의 서브-매트릭스들인, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  33. 제 32 항에 있어서,
    hi(x)는 상기 저 주파수 서브대역들에서의 서브대역 신호들(x)이 상기 가우시안 혼합 모델의 상기 i번째 혼합 성분 내에 있을 확률이고,
    Figure 112013116080510-pct00061

    여기서,
    Figure 112013116080510-pct00062
    인, 오디오 신호의 코딩 이력에서 주파수 확장 코딩을 검출하기 위한 방법.
  34. 삭제
  35. 컴퓨팅 디바이스 상에서 수행될 때, 처리기 상에서 실행되도록 및 제 1 항, 제 2 항, 제 24 항, 제 25 항, 또는 제 27 항 내지 제 33 항 중 어느 한 항에 따른 방법의 단계들을 수행하도록 적응되는 소프트웨어 프로그램을 포함하는, 저장 매체.
  36. 컴퓨터상에서 실행될 때, 제 1 항, 제 2 항, 제 24 항, 제 25 항, 또는 제 27 항 내지 제 33 항 중 어느 한 항에 따른 방법을 수행하기 위한 실행 가능 명령들을 포함하는 컴퓨터 프로그램이 기록된, 컴퓨터 판독가능 기록 매체.
  37. 삭제
  38. 삭제
KR1020137033678A 2011-05-19 2012-04-30 파라메트릭 오디오 코딩 방식들의 포렌식 검출 Expired - Fee Related KR101572034B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161488122P 2011-05-19 2011-05-19
US61/488,122 2011-05-19
PCT/US2012/035785 WO2012158333A1 (en) 2011-05-19 2012-04-30 Forensic detection of parametric audio coding schemes

Publications (2)

Publication Number Publication Date
KR20140023389A KR20140023389A (ko) 2014-02-26
KR101572034B1 true KR101572034B1 (ko) 2015-11-26

Family

ID=46149720

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137033678A Expired - Fee Related KR101572034B1 (ko) 2011-05-19 2012-04-30 파라메트릭 오디오 코딩 방식들의 포렌식 검출

Country Status (6)

Country Link
US (1) US9117440B2 (ko)
EP (1) EP2710588B1 (ko)
JP (1) JP5714180B2 (ko)
KR (1) KR101572034B1 (ko)
CN (1) CN103548077B (ko)
WO (1) WO2012158333A1 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2549953T3 (es) * 2012-08-27 2015-11-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y método para la reproducción de una señal de audio, aparato y método para la generación de una señal de audio codificada, programa de ordenador y señal de audio codificada
TWI546799B (zh) 2013-04-05 2016-08-21 杜比國際公司 音頻編碼器及解碼器
KR102243688B1 (ko) 2013-04-05 2021-04-27 돌비 인터네셔널 에이비 인터리브된 파형 코딩을 위한 오디오 인코더 및 디코더
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2830064A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding and encoding an audio signal using adaptive spectral tile selection
CN105637584B (zh) 2013-09-12 2020-03-03 杜比国际公司 基于qmf的处理数据的时间对齐
ES2932422T3 (es) 2013-09-17 2023-01-19 Wilus Inst Standards & Tech Inc Método y aparato para procesar señales multimedia
WO2015060654A1 (ko) 2013-10-22 2015-04-30 한국전자통신연구원 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
JP6151866B2 (ja) 2013-12-23 2017-06-21 ウィルス インスティテュート オブ スタンダーズ アンド テクノロジー インコーポレイティド オーディオ信号のフィルタ生成方法およびそのためのパラメータ化装置
CN108600935B (zh) 2014-03-19 2020-11-03 韦勒斯标准与技术协会公司 音频信号处理方法和设备
US9542955B2 (en) * 2014-03-31 2017-01-10 Qualcomm Incorporated High-band signal coding using multiple sub-bands
KR101856540B1 (ko) 2014-04-02 2018-05-11 주식회사 윌러스표준기술연구소 오디오 신호 처리 방법 및 장치
US9306606B2 (en) * 2014-06-10 2016-04-05 The Boeing Company Nonlinear filtering using polyphase filter banks
EP2963646A1 (en) * 2014-07-01 2016-01-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and method for decoding an audio signal, encoder and method for encoding an audio signal
EP2963948A1 (en) * 2014-07-02 2016-01-06 Thomson Licensing Method and apparatus for encoding/decoding of directions of dominant directional signals within subbands of a HOA signal representation
TWI758146B (zh) * 2015-03-13 2022-03-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
EP3271918B1 (en) 2015-04-30 2019-03-13 Huawei Technologies Co., Ltd. Audio signal processing apparatuses and methods
EP3223279B1 (en) * 2016-03-21 2019-01-09 Nxp B.V. A speech signal processing circuit
CN106097317A (zh) * 2016-06-02 2016-11-09 南京康尼机电股份有限公司 一种基于离散余弦相位信息的多光斑检测和定位方法
CN107731238B (zh) 2016-08-10 2021-07-16 华为技术有限公司 多声道信号的编码方法和编码器
CN115719592A (zh) * 2016-08-15 2023-02-28 中兴通讯股份有限公司 一种语音信息处理方法和装置
US10803119B2 (en) * 2017-01-02 2020-10-13 Gracenote, Inc. Automated cover song identification
EP3382704A1 (en) 2017-03-31 2018-10-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for determining a predetermined characteristic related to a spectral enhancement processing of an audio signal
US10733998B2 (en) * 2017-10-25 2020-08-04 The Nielsen Company (Us), Llc Methods, apparatus and articles of manufacture to identify sources of network streaming services
US10629213B2 (en) 2017-10-25 2020-04-21 The Nielsen Company (Us), Llc Methods and apparatus to perform windowed sliding transforms
US11049507B2 (en) 2017-10-25 2021-06-29 Gracenote, Inc. Methods, apparatus, and articles of manufacture to identify sources of network streaming services
US10740889B2 (en) * 2017-12-29 2020-08-11 Huizhou China Star Optoelectronics Technology Co., Ltd. Method and system for detection of in-panel mura based on hough transform and gaussian fitting
CN108074238B (zh) * 2017-12-29 2020-07-24 惠州市华星光电技术有限公司 基于霍夫变换及高斯拟合的面内mura检测方法及检测系统
US12205348B2 (en) 2018-08-02 2025-01-21 Veritone, Inc. Neural network orchestration
CN109584890A (zh) * 2018-12-18 2019-04-05 中央电视台 音频水印嵌入、提取、电视节目互动方法及装置
GB2582749A (en) * 2019-03-28 2020-10-07 Nokia Technologies Oy Determination of the significance of spatial audio parameters and associated encoding
CN113409804B (zh) * 2020-12-22 2024-08-09 声耕智能科技(西安)研究院有限公司 一种基于变张成广义子空间的多通道频域语音增强算法
US11568884B2 (en) * 2021-05-24 2023-01-31 Invictumtech, Inc. Analysis filter bank and computing procedure thereof, audio frequency shifting system, and audio frequency shifting procedure
CN115116469B (zh) * 2022-05-25 2024-03-15 腾讯科技（深圳）有限公司 特征表示的提取方法、装置、设备、介质及程序产品

Family Cites Families (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0149759B1 (ko) 1995-11-20 1998-11-02 김광호 디지탈신호 처리칩을 이용한 디티엠프 검출기 및 구현방법
DE10000934C1 (de) * 2000-01-12 2001-09-27 Fraunhofer Ges Forschung Vorrichtung und Verfahren zum Bestimmen eines Codierungs-Blockrasters eines decodierten Signals
JP3511502B2 (ja) 2000-09-05 2004-03-29 インターナショナル・ビジネス・マシーンズ・コーポレーション データ加工検出システム、付加情報埋め込み装置、付加情報検出装置、デジタルコンテンツ、音楽コンテンツ処理装置、付加データ埋め込み方法、コンテンツ加工検出方法、記憶媒体及びプログラム伝送装置
SE0004163D0 (sv) 2000-11-14 2000-11-14 Coding Technologies Sweden Ab Enhancing perceptual performance of high frequency reconstruction coding methods by adaptive filtering
SE0004818D0 (sv) 2000-12-22 2000-12-22 Coding Technologies Sweden Ab Enhancing source coding systems by adaptive transposition
US7469206B2 (en) 2001-11-29 2008-12-23 Coding Technologies Ab Methods for improving high frequency reconstruction
EP1318611A1 (en) * 2001-12-06 2003-06-11 Deutsche Thomson-Brandt Gmbh Method for retrieving a sensitive criterion for quantized spectra detection
US7240001B2 (en) * 2001-12-14 2007-07-03 Microsoft Corporation Quality improvement techniques in an audio encoder
US20040002856A1 (en) * 2002-03-08 2004-01-01 Udaya Bhaskar Multi-rate frequency domain interpolative speech CODEC system
KR100462615B1 (ko) 2002-07-11 2004-12-20 삼성전자주식회사 적은 계산량으로 고주파수 성분을 복원하는 오디오 디코딩방법 및 장치
BRPI0311601B8 (pt) 2002-07-19 2018-02-14 Matsushita Electric Industrial Co Ltd "aparelho e método decodificador de áudio"
SE0202770D0 (sv) 2002-09-18 2002-09-18 Coding Technologies Sweden Ab Method for reduction of aliasing introduces by spectral envelope adjustment in real-valued filterbanks
WO2004093494A1 (en) 2003-04-17 2004-10-28 Koninklijke Philips Electronics N.V. Audio signal generation
AU2003222397A1 (en) * 2003-04-30 2004-11-23 Nokia Corporation Support of a multichannel audio extension
EP1672618B1 (en) 2003-10-07 2010-12-15 Panasonic Corporation Method for deciding time boundary for encoding spectrum envelope and frequency resolution
CN1918634A (zh) 2004-02-16 2007-02-21 皇家飞利浦电子股份有限公司 代码转换器以及用于其的代码转换方法
TWI393121B (zh) 2004-08-25 2013-04-11 杜比實驗室特許公司 處理一組n個聲音信號之方法與裝置及與其相關聯之電腦程式
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
KR100657916B1 (ko) * 2004-12-01 2006-12-14 삼성전자주식회사 주파수 대역간의 유사도를 이용한 오디오 신호 처리 장치및 방법
WO2006075563A1 (ja) 2005-01-11 2006-07-20 Nec Corporation オーディオ符号化装置、オーディオ符号化方法およびオーディオ符号化プログラム
KR101194902B1 (ko) 2005-02-24 2012-10-25 파나소닉 주식회사 데이터 재생장치
KR100818268B1 (ko) 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
CN101288117B (zh) 2005-10-12 2014-07-16 三星电子株式会社 对音频数据和扩展数据进行编码/解码的方法和设备
US8194754B2 (en) 2005-10-13 2012-06-05 Lg Electronics Inc. Method for processing a signal and apparatus for processing a signal
AU2006300102B2 (en) 2005-10-13 2010-09-16 Lg Electronics Inc. Method and apparatus for signal processing
KR100717058B1 (ko) 2005-11-28 2007-05-14 삼성전자주식회사 고주파 성분 복원 방법 및 그 장치
CN101140759B (zh) * 2006-09-08 2010-05-12 华为技术有限公司 语音或音频信号的带宽扩展方法及系统
US8036903B2 (en) 2006-10-18 2011-10-11 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Analysis filterbank, synthesis filterbank, encoder, de-coder, mixer and conferencing system
US20080243518A1 (en) 2006-11-16 2008-10-02 Alexey Oraevsky System And Method For Compressing And Reconstructing Audio Files
JP4967618B2 (ja) 2006-11-24 2012-07-04 富士通株式会社 復号化装置および復号化方法
JP5377974B2 (ja) 2006-11-30 2013-12-25 パナソニック株式会社 信号処理装置
US8015368B2 (en) 2007-04-20 2011-09-06 Siport, Inc. Processor extensions for accelerating spectral band replication
CA2704807A1 (en) 2007-11-06 2009-05-14 Nokia Corporation Audio coding apparatus and method thereof
CN101868821B (zh) * 2007-11-21 2015-09-23 Lg电子株式会社 用于处理信号的方法和装置
CN101471072B (zh) 2007-12-27 2012-01-25 华为技术有限公司 高频重建方法、编码装置和解码装置
ATE518224T1 (de) * 2008-01-04 2011-08-15 Dolby Int Ab Audiokodierer und -dekodierer
EP2301028B1 (en) 2008-07-11 2012-12-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus and a method for calculating a number of spectral envelopes
MX2011000372A (es) 2008-07-11 2011-05-19 Fraunhofer Ges Forschung Sintetizador de señales de audio y codificador de señales de audio.
CN101836253B (zh) 2008-07-11 2012-06-13 弗劳恩霍夫应用研究促进协会 一种使用频谱倾斜控制成帧技术来计算带宽扩展数据的装置及方法
WO2010028292A1 (en) * 2008-09-06 2010-03-11 Huawei Technologies Co., Ltd. Adaptive frequency prediction
EP2224433B1 (en) 2008-09-25 2020-05-27 Lg Electronics Inc. An apparatus for processing an audio signal and method thereof
BRPI0917762B1 (pt) 2008-12-15 2020-09-29 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V Codificador de áudio e decodificador de extensão de largura de banda
JP5232121B2 (ja) * 2009-10-02 2013-07-10 株式会社東芝 信号処理装置

Also Published As

Publication number Publication date
EP2710588A1 (en) 2014-03-26
WO2012158333A1 (en) 2012-11-22
JP5714180B2 (ja) 2015-05-07
JP2014513819A (ja) 2014-06-05
US9117440B2 (en) 2015-08-25
CN103548077A (zh) 2014-01-29
KR20140023389A (ko) 2014-02-26
EP2710588B1 (en) 2015-09-09
CN103548077B (zh) 2016-02-10
US20140088978A1 (en) 2014-03-27

Similar Documents

Publication Publication Date Title
KR101572034B1 (ko) 파라메트릭 오디오 코딩 방식들의 포렌식 검출
CN100466471C (zh) 信号的光谱包络调整装置以及方法
RU2536679C2 (ru) Передатчик сигнала активации с деформацией по времени, кодер звукового сигнала, способ преобразования сигнала активации с деформацией по времени, способ кодирования звукового сигнала и компьютерные программы
EP2207169B1 (en) Audio decoding with filling of spectral holes
RU2733533C1 (ru) Устройство и способы для обработки аудиосигнала
EP3343560B1 (en) Audio coding device and audio coding method
KR102380487B1 (ko) 오디오 신호 디코더에서의 개선된 주파수 대역 확장
KR20080059279A (ko) 오디오 압축
CN110832581A (zh) 用于使用瞬态位置检测后处理音频信号的装置
KR100970446B1 (ko) 주파수 확장을 위한 가변 잡음레벨 결정 장치 및 그 방법
JP6790114B2 (ja) 音声スペクトログラムに基づく構造テンソルを使用して位相情報を復元することによるエンコーディング
US7707030B2 (en) Device and method for generating a complex spectral representation of a discrete-time signal
CN107221334B (zh) 一种音频带宽扩展的方法及扩展装置
CN110709926A (zh) 用于使用基于预测的整形后处理音频信号的装置和方法
CA3081781A1 (en) Temporal noise shaping
RU2409874C2 (ru) Сжатие звуковых сигналов
Scagliola et al. High-rate data-hiding robust to linear filtering for colored hosts

Legal Events

Date Code Title Description
A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20181121

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20181121

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000