[go: up one dir, main page]

CN112863528B - 用于音频信号的高频重建的谐波转置器的后向兼容集成 - Google Patents

用于音频信号的高频重建的谐波转置器的后向兼容集成 Download PDF

Info

Publication number
CN112863528B
CN112863528B CN202110086189.0A CN202110086189A CN112863528B CN 112863528 B CN112863528 B CN 112863528B CN 202110086189 A CN202110086189 A CN 202110086189A CN 112863528 B CN112863528 B CN 112863528B
Authority
CN
China
Prior art keywords
audio
bitstream
audio signal
metadata
esbr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110086189.0A
Other languages
English (en)
Other versions
CN112863528A (zh
Inventor
L·维尔蒙斯
H·普尔纳根
P·埃克斯特兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dolby International AB
Original Assignee
Dolby International AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dolby International AB filed Critical Dolby International AB
Priority to CN202110086189.0A priority Critical patent/CN112863528B/zh
Publication of CN112863528A publication Critical patent/CN112863528A/zh
Application granted granted Critical
Publication of CN112863528B publication Critical patent/CN112863528B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/22—Mode decision, i.e. based on audio signal content versus external parameters
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Algebra (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Peptides Or Proteins (AREA)
  • Stereophonic System (AREA)
  • Detergent Compositions (AREA)
  • Micro-Organisms Or Cultivation Processes Thereof (AREA)
  • Materials For Photolithography (AREA)
  • Lubricants (AREA)
  • Seasonings (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本申请涉及用于音频信号的高频重建的谐波转置器的后向兼容集成。本申请揭示一种用于解码经编码音频位流的方法。所述方法包含接收所述经编码音频位流，及解码音频数据以产生经解码低带音频信号。所述方法进一步包含提取高频重建元数据，及使用分析滤波器组对所述经解码低带音频信号进行滤波以产生经滤波低带音频信号。所述方法还包含提取指示将对所述音频数据执行频谱变换还是谐波转置的旗标，及根据所述旗标使用所述经滤波低带音频信号及所述高频重建元数据再生所述音频信号的高带部分。

Description

用于音频信号的高频重建的谐波转置器的后向兼容集成
分案申请的相关信息
本案是分案申请。该分案的母案是申请日为2018年3月19日、申请号为201880006745.5、发明名称为“用于音频信号的高频重建的谐波转置器的后向兼容集成”的发明专利申请案。
技术领域
实施例涉及音频信号处理，且更具体来说，实施例涉及音频位流的编码、解码或转码，其中控制数据指定将对音频数据执行高频重建(“HFR”)的基础形式或HFR的增强形式。
背景技术
典型音频位流包含指示音频内容的一或多个通道的音频数据(例如，经编码音频数据)及指示音频数据或音频内容的至少一个特性的元数据两者。用于产生经编码音频位流的一个熟知格式是MPEG标准ISO/IEC 14496-3:2009中所描述的MPEG-4高级音频译码(AAC)格式。在MPEG-4标准中，AAC表示“高级音频译码”且HE-AAC表示“高效高级音频译码”。
MPEG-4 AAC标准定义若干音频配置文件，其确定哪些对象及译码工具存在于合规编码器或解码器中。这些音频配置文件中的三者是(1)AAC配置文件、(2)HE-AAC配置文件，及(3)HE-AAC v2配置文件。AAC配置文件包含AAC低复杂性(或“AAC-LC”)对象类型。AAC-LC对象是MPEG-2 AAC低复杂性配置文件的对应物，具有一些调整，且既不包含频谱带复制(“SBR”)对象类型，又不包含参数立体声(“PS”)对象类型。HE-AAC配置文件是AAC配置文件的超集且另外包含SBR对象类型。HE-AAC v2配置文件是HE-AAC配置文件的超集且另外包含PS对象类型。
SBR对象类型含有频谱带复制工具，其是显著改进感知音频编解码器的压缩效率的重要高频重建(“HFR”)译码工具。SBR在接收器侧上(例如，在解码器中)重建音频信号的高频分量。因此，编码器需要仅编码及传输低频分量，从而允许在低数据速率下高得多的音频质量。SBR是基于从获自编码器的可用带宽限制信号及控制数据复制谐波序列，所述谐波序列先前经截断以减小数据速率。音调分量与类噪声分量之间的比率是通过自适应逆滤波以及噪声及正弦波的任选相加来维持。在MPEG-4 AAC标准中，SBR工具执行频谱修补(也被称为线性变换或频谱变换)，其中将数个连续正交镜像滤波器(QMF)子带从音频信号的传输低带部分复制(或“修补”)到解码器中所产生的所述音频信号的高带部分。
对于例如具有相对低交越频率的音乐内容的某些音频类型来说，频谱修补或线性变换可能并不理想。因此，需要用于改进频谱带复制的技术。
发明内容
第一类实施例涉及一种用于解码经编码音频位流的方法。所述方法包含接收所述经编码音频位流，及解码音频数据以产生经解码低带音频信号。所述方法进一步包含提取高频重建元数据，及使用分析滤波器组对所述经解码低带音频信号进行滤波以产生经滤波低带音频信号。所述方法进一步包含提取指示将对所述音频数据执行频谱变换还是谐波转置的旗标，及根据所述旗标使用所述经滤波低带音频信号及所述高频重建元数据再生所述音频信号的高带部分。最后，所述方法包含组合所述经滤波低带音频信号及所述经再生高带部分以形成宽带音频信号。
第二类实施例涉及一种用于解码经编码音频位流的音频解码器。所述解码器包含：输入接口，其用于接收所述经编码音频位流，其中所述经编码音频位流包含表示音频信号的低带部分的音频数据；及核心解码器，其用于解码所述音频数据以产生经解码低带音频信号。所述解码器还包含：解格式化器，其用于从所述经编码音频位流提取高频重建元数据，其中所述高频重建元数据包含用于将连续数目个子带从所述音频信号的低带部分线性变换到所述音频信号的高带部分的高频重建过程的操作参数；及分析滤波器组，其用于对所述经解码低带音频信号进行滤波以产生经滤波低带音频信号。所述解码器进一步包含：解格式化器，其用于从所述经编码音频位流提取指示将对所述音频数据执行线性变换还是谐波转置的旗标；及高频再生器，其用于根据所述旗标使用所述经滤波低带音频信号及所述高频重建元数据再生所述音频信号的高带部分。最后，所述解码器包含合成滤波器组，其用于组合所述经滤波低带音频信号及所述经再生高带部分以形成宽带音频信号。
其它类实施例涉及编码及转码含有识别是否将执行增强频谱带复制(eSBR)处理的元数据的音频位流。
附图说明
图1是可经配置以执行本发明方法的实施例的系统的实施例的框图。
图2是作为本发明音频处理单元的实施例的编码器的框图。
图3是包含是本发明音频处理单元的实施例的解码器且任选地还包含耦合到解码器的后处理器的系统的框图。
图4是作为本发明音频处理单元的实施例的解码器的框图。
图5是作为本发明音频处理单元的另一实施例的解码器的框图。
图6是本发明音频处理单元的另一实施例的框图。
图7是MPEG-4 AAC位流的块的图解，所述位流包含其被划分成的片段。
注释及命名
在本发明通篇中，包含在权利要求书中，“对”信号或数据执行操作的表达(例如，对信号或数据进行滤波、缩放、变换或应用增益)在广义上用于表示直接对信号或数据或对信号或数据的处理版本(例如，对在对信号执行操作之前已经历初步滤波或预处理的信号版本)执行操作。
在本发明通篇中，包含在权利要求书中，表达“音频处理单元”或“音频处理器”在广义上用于表示经配置以处理音频数据的系统、装置或设备。音频处理单元的实例包含但不限于编码器、转码器、解码器、编解码器、预处理系统、后处理系统及位流处理系统(有时被称为位流处理工具)。实际上所有消费型电子产品，例如移动电话、电视、膝上型计算机及平板计算机，都含有音频处理单元或音频处理器。
在本发明通篇中，包含在权利要求书中，术语“耦合”在广义上用于意指直接或间接连接。因此，如果第一装置耦合到第二装置，那么所述连接可通过直接连接或通过经由其它装置及连接件的间接连接。此外，集成到其它组件中或与其它组件集成的组件也彼此耦合。
具体实施方式
MPEG-4 AAC标准预期到，经编码MPEG-4 AAC位流包含元数据，所述元数据指示将由解码器应用(如果将应用任何处理)以解码所述位流的音频内容的每一类型的高频重建(“HFR”)处理，及/或控制此类HFR处理，及/或指示将用以解码所述位流的音频内容的至少一个HFR工具的至少一个特性或参数。在本文中，我们使用表达“SBR元数据”来表示MPEG-4AAC标准中所描述或提及的此类型的元数据以与频谱带复制(“SBR)”一起使用。如所属领域的技术人员所了解，SBR是一种形式的HFR。
SBR优选地用作双速率系统，其中基础编解码器以原始取样速率的一半操作，而SBR以原始取样速率操作。SBR编码器与基础核心编解码器并行地工作，即使是以较高取样速率。尽管SBR主要是解码器中的后过程，但在编码器中提取重要参数以确保解码器中的最准确高频重建。编码器估计适合于当前输入信号片段特性的时间及频率范围/分辨率的SBR范围的频谱包络。频谱包络是通过复杂QMF分析及后续能量计算来估计。频谱包络的时间及频率分辨率可以高自由度来选择，以确保给定输入片段的最合适时间频率分辨率。包络估计需要考虑到，在包络调整之前，主要位于高频区域(例如，高峰)中的原始来源中的瞬时将在微小程度上存在于SBR产生高带中，这是因为解码器中的高带是基于所述瞬时相较于高带不太显著的低带。相较于如用于其它音频译码算法中的普通频谱包络估计，此方面针对频谱包络数据的时间频率分辨率提出不同要求。
除频谱包络之外，还针对不同时间及频率区域提取表示输入信号的频谱特性的若干额外参数。因为鉴于控制参数的特定集合，编码器自然能够存取原始信号以及关于解码器中的SBR单元将如何创建高带的信息，所以有可能使系统处置低带构成强谐波级数且待重新创建的高带主要构成随机信号分量的情形，以及强音调分量存在于原始高带中而在低带中无对应物的情形，高带区域是基于所述对应物。另外，SBR编码器的工作与基础核心编解码器密切相关以评估哪个频率范围应由SBR在给定时间覆盖。就立体声信号来说，SBR数据在通过利用熵译码以及控制数据的通道相依性而传输之前被有效地译码。
控制参数提取算法通常需要以给定位速率及给定取样速率仔细调谐到基础编解码器。这是由于以下事实：较低位速率通常暗示相较于高位速率的较大SBR范围，且不同取样速率对应于SBR帧的不同时间分辨率。
SBR解码器通常包含若干不同部件。SBR解码器包括位流解码模块、高频重建(HFR)模块、额外高频分量模块及包络调整器模块。系统是基于复数值QMF滤波器组。在位流提取模块中，从位流读取控制数据并解码控制数据。在从位流读取包络数据之前，针对当前帧获得时间频率格网。基础核心解码器解码当前帧的音频信号(即使是以较低取样速率)以产生时域音频样本。由HFR模块使用音频数据的所得帧以用于高频重建。接着，使用QMF滤波器组来分析经解码低带信号。随后，对QMF滤波器组的子带样本执行高频重建及包络调整。基于给定控制参数而以灵活方式从低带重建高频。此外，根据控制数据在子带通道基础上对经重建高带进行自适应滤波以确保给定时间/频率区域的适当频谱特性。
MPEG-4 AAC位流的顶层是一系列数据块(“raw_data_block”元素)，所述数据块中的每一者是含有音频数据(通常用于1024或960个样本的时段)及相关信息及/或其它数据的数据片段(在本文中被称为“块”)。在本文中，我们使用术语“块”来表示包括确定或指示一个(但不超过一个)“raw_data_block”元素的音频数据(及对应元数据且任选地还有其它相关数据)的MPEG-4 AAC位流的片段。
MPEG-4 AAC位流的每一块可包含数个语法元素(所述语法元素中的每一者还在位流中被具体化为数据片段)。MPEG-4 AAC标准中定义了七种类型的此类语法元素。每一语法元素由数据元素“id_syn_ele”的不同值识别。语法元素的实例包含“single_channel_element()”、“channel_pair_element()”及“fill_element()”。单通道元素是包含单音频通道的音频数据(单声道音频信号)的容器。通道对元素包含两个音频通道的音频数据(即，立体声音频信号)。
填充元素是包含标识符(例如，上述元素“id_syn_ele”的值)、其后是被称为“填充数据”的数据的信息的容器。填充元素在历史上已用于调整将经由恒定速率通道传输的位流的瞬时位速率。通过将适当量的填充数据与每一块相加，可实现恒定数据速率。
根据本发明的实施例，填充数据可包含扩展能够在位流中传输的数据(例如，元数据)的类型的一或多个扩展有效负载。接收具有含新型数据的填充数据的位流的解码器可任选地由接收位流的装置(例如，解码器)使用以扩展所述装置的功能性。因此，如所属领域的技术人员可了解，填充元素是特殊类型的数据结构且不同于通常用于传输音频数据(例如，含有通道数据的音频有效负载)的数据结构。
在本发明的一些实施例中，用于识别填充元素的标识符可由具有0×6值的传输最高有效位优先的三位无正负号整数(“uimsbf”)组成。在一个块中，可能会出现相同类型的语法元素的若干例子(例如，若干填充元素)。
用于编码音频位流的另一标准是MPEG统一语音及音频译码(USAC)标准(ISO/IEC23003-3:2012)。MPEG USAC标准描述使用频谱带复制处理(包含如MPEG-4 AAC标准中所描述的SBR处理，且还包含频谱带复制处理的其它增强形式)的音频内容的编码及解码。此处理应用MPEG-4 AAC标准中所描述的SBR工具集合的扩展及增强版本的频谱带复制工具(在本文中有时被称为“增强SBR工具”或“eSBR工具”)。因此，eSBR(如USAC标准中所定义)是对SBR(如MPEG-4 AAC标准中所定义)的改进。
在本文中，我们使用表达“增强SBR处理”(或“eSBR处理”)来表示使用MPEG-4 AAC标准中未描述或提及的至少一个eSBR工具(例如，MPEG USAC标准中所描述或提及的至少一个eSBR工具)的频谱带复制处理。此类eSBR工具的实例是谐波转置及QMF修补额外预处理或“预平坦化”。
整数阶T的谐波转置器将具有频率ω的正弦波映射为具有频率Tω的正弦波，同时保持信号持续时间。三个阶，T＝2、3、4，通常按顺序用于使用最小可能转置阶产生所要输出频率范围的每一部分。如果需要高于四阶转置范围的输出，那么其可通过频移来产生。当可能时，创建近临界取样基带时域以供处理以最小化计算复杂性。
根据MPEG USAC标准产生的位流(在本文中有时被称为“USAC位流”)包含经编码音频内容，且通常包含指示将由解码器应用以解码USAC位流的音频内容的每一类型的频谱带复制处理的元数据，及/或控制此类频谱带复制处理及/或指示将用以解码USAC位流的音频内容的至少一个SBR工具及/或eSBR工具的至少一个特性或参数的元数据。
在本文中，我们使用表达“增强SBR元数据”(或“eSBR元数据”)来表示如下所述的元数据：所述元数据指示将由解码器应用以解码经编码音频位流(例如，USAC位流)的音频内容的每一类型的频谱带复制处理，及/或控制此类频谱带复制处理，及/或指示将用以解码此类音频内容但在MPEG-4 AAC标准中未描述或提及的至少一个SBR工具及/或eSBR工具的至少一个特性或参数。eSBR元数据的实例是在MPEG USAC标准中所描述或提及但在MPEG-4 AAC标准中未描述或提及的元数据(指示或用于控制频谱带复制处理)。因此，本文中的eSBR元数据表示并非SBR元数据的元数据，且本文中的SBR元数据表示并非eSBR元数据的元数据。
USAC位流可包含SBR元数据及eSBR元数据两者。更具体来说，USAC位流可包含控制由解码器执行eSBR处理的eSBR元数据，及控制由解码器执行SBR处理的SBR元数据。根据本发明的典型实施例，eSBR元数据(例如，eSBR特定配置数据)包含(根据本发明)于MPEG-4AAC位流中(例如，SBR有效负载的末端处的sbr_extension()容器中)。
在使用eSBR工具集(包括至少一个eSBR工具)解码经编码位流期间，由解码器执行eSBR处理会基于在编码期间截断的谐波序列的复制而再生音频信号的高频带。此类eSBR处理通常调整所产生的高频带的频谱包络且应用逆滤波，且将噪声及正弦波分量相加以重新创建原始音频信号的频谱特性。
根据本发明的典型实施例，eSBR元数据包含(例如，是eSBR元数据的小数目个控制位包含)于经编码音频位流(例如，MPEG-4 AAC位流)的元数据片段中的一或多者中，所述经编码音频位流还包含其它片段(音频数据片段)中的经编码音频数据。通常，位流的每一块的至少一个此类元数据片段是(或包含)填充元素(包含指示所述填充元素的开始的标识符)，且eSBR元数据在所述标识符之后包含于所述填充元素中。
图1是示范性音频处理链(音频数据处理系统)的框图，其中所述系统的元件中的一或多者可根据本发明的实施例而配置。所述系统包含如所展示而耦合在一起的以下元件：编码器1、输送子系统2、解码器3及后处理单元4。在所展示的系统的变化中，省略所述元件中的一或多者，或包含额外音频数据处理单元。
在一些实施方案中，编码器1(其任选地包含预处理单元)经配置以接受包括音频内容作为输入的PCM(时域)样本，及输出指示音频内容的经编码音频位流(具有符合MPEG-4AAC标准的格式)。指示音频内容的位流的数据在本文中有时被称为“音频数据”或“经编码音频数据”。如果编码器是根据本发明的典型实施例而配置，那么从编码器输出的音频位流包含eSBR元数据(且通常还包含其它元数据)以及音频数据。
从编码器1输出的一或多个经编码音频位流可被断言为经编码音频输送子系统2。子系统2经配置以存储及/或输送从编码器1输出的每一经编码位流。从编码器1输出的经编码音频位流可由子系统2(例如，呈DVD或蓝光光盘的形式)存储，或由子系统2(其可实施传输链路或网络)传输，或可由子系统2存储及传输。
解码器3经配置以解码其经由子系统2接收的经编码MPEG-4 AAC音频位流(由编码器1产生)。在一些实施例中，解码器3经配置以从位流的每一块提取eSBR元数据，及解码位流(包含通过使用所提取的eSBR元数据执行eSBR处理)以产生经解码音频数据(例如，经解码PCM音频样本的流)。在一些实施例中，解码器3经配置以从位流提取SBR元数据(但忽略包含于位流中的eSBR元数据)，及解码位流(包含通过使用所提取的SBR元数据执行SBR处理)以产生经解码音频数据(例如，经解码PCM音频样本的流)。通常，解码器3包含存储(例如，以非暂时性方式)从子系统2接收的经编码音频位流的片段的缓冲器。
图1的后处理单元4经配置以从解码器3接受经解码音频数据的流(例如，经解码PCM音频样本)，及对经解码音频数据的流执行后处理。后处理单元还可经配置以呈现经后处理音频内容(或从解码器3接收的经解码音频)以由一或多个扬声器回放。
图2是作为本发明音频处理单元的实施例的编码器(100)的框图。编码器100的组件或元件中的任何者可在硬件、软件或硬件及软件的组合中被实施为一或多个过程及/或一或多个电路(例如，ASIC、FPGA或其它集成电路)。编码器100包含如所展示而连接的编码器105、填充器(stuffer)/格式化器级107、元数据产生级106及缓冲存储器109。编码器100通常还包含其它处理元件(未展示)。编码器100经配置以将输入音频位流转换为经编码输出MPEG-4 AAC位流。
元数据产生器106经耦合及配置以在将从编码器100输出的经编码位流中产生(及/或传递到级107)将由级107包含的元数据(包含eSBR元数据及SBR元数据)。
编码器105经耦合及配置以编码(例如，通过对输入音频数据执行压缩)输入音频数据，及将所得经编码音频断言到级107以包含于将从级107输出的经编码位流中。
级107经配置以多路复用来自编码器105的经编码音频及来自产生器106的元数据(包含eSBR元数据及SBR元数据)以产生将从级107输出的经编码位流，优选地使得经编码位流具有如由本发明的实施例中的一者所指定的格式。
缓冲存储器109经配置以存储(例如，以非暂时性方式)从级107输出的经编码音频位流的至少一个块，且接着，将经编码音频位流的一系列块从缓冲存储器109断言为从编码器100到输送系统的输出。
图3是包含是本发明音频处理单元的实施例的解码器(200)且任选地还包含耦合到解码器(200)的后处理器(300)的系统的框图。解码器200的组件或元件中的任何者可在硬件、软件或硬件及软件的组合中被实施为一或多个过程及/或一或多个电路(例如，ASIC、FPGA或其它集成电路)。解码器200包括如所展示而连接的缓冲存储器201、位流有效负载解格式化器(剖析器)205、音频解码子系统202(有时被称为“核心”解码级或“核心”解码子系统)、eSBR处理级203及控制位产生级204。解码器200通常还包含其它处理元件(未展示)。
缓冲存储器(缓冲器)201存储(例如，以非暂时性方式)由解码器200接收的经编码MPEG-4 AAC音频位流的至少一个块。在解码器200的操作中，将位流的一系列块从缓冲器201断言到解格式化器205。
在图3实施例(或将描述的图4实施例)的变化中，不是解码器的APU(例如，图6的APU 500)包含存储(例如，以非暂时性方式)由图3或图4的缓冲器201接收的相同类型的经编码音频位流(例如，MPEG-4 AAC音频位流)的至少一个块(即，包含eSBR元数据的经编码音频位流)的缓冲存储器(例如，与缓冲器201相同的缓冲存储器)。
再次参考图3，解格式化器205经耦合及配置以多路分用位流的每一块以从每一块提取SBR元数据(包含经量化包络数据)及eSBR元数据(且通常还提取其它元数据)，以将至少eSBR元数据及SBR元数据断言到eSBR处理级203，且通常还将其它经提取元数据断言到解码子系统202(且任选地还断言到控制位产生器204)。解格式化器205还经耦合及配置以从位流的每一块提取音频数据，及将经提取音频数据断言到解码子系统(解码级)202。
图3的系统任选地还包含后处理器300。后处理器300包含缓冲存储器(缓冲器)301，及包含耦合到缓冲器301的至少一个处理元件的其它处理元件(未展示)。缓冲器301存储(例如，以非暂时性方式)由后处理器300从解码器200接收的经解码音频数据的至少一个块(或帧)。后处理器300的处理元件经耦合及配置以使用从解码子系统202(及/或解格式化器205)输出的元数据及/或从解码器200的级204输出的控制位接收及自适应处理从缓冲器301输出的经编码音频的一系列块(或帧)。
解码器200的音频解码子系统202经配置以解码由剖析器205提取的音频数据(此类解码可被称为“核心”解码操作)以产生经解码音频数据，及将经解码音频数据断言到eSBR处理级203。解码是在频域中执行，且通常包含逆量化、其后是频谱处理。通常，子系统202中的处理的末级将频域到时域变换应用于经解码频域音频数据，使得子系统的输出是时域经解码音频数据。级203经配置以将由eSBR元数据及eSBR(由剖析器205提取)指示的SBR工具及eSBR工具应用于经解码音频数据(即，使用SBR及eSBR元数据对解码子系统202的输出执行SBR及eSBR处理)，以产生从解码器200输出(例如，输出到后处理器300)的经完全解码音频数据。通常，解码器200包含存储从解格式化器205输出的经解格式化音频数据及元数据的存储器(可由子系统202及级203存取)，且级203经配置以在SBR及eSBR处理期间视需要而存取音频数据及元数据(包含SBR元数据及eSBR元数据)。级203中的SBR处理及eSBR处理可被视为对核心解码子系统202的输出的后处理。任选地，解码器200还包含经耦合及配置以对级203的输出执行升混以产生从解码器200输出的经完全解码升混音频的最终升混子系统(其可使用由解格式化器205提取的PS元数据及/或子系统202中所产生的控制位来应用MPEG-4 AAC标准中所定义的参数立体声(“PS”)工具)。替代地，后处理器300经配置以对解码器200的输出执行升混(例如，使用由解格式化器205提取的PS元数据及/或子系统202中所产生的控制位)。
响应于由解格式化器205提取的元数据，控制位产生器204可产生控制数据，且控制数据可用于解码器200内(例如，在最终升混子系统中)及/或被断言为解码器200的输出(例如，输出到后处理器300以供在后处理中使用)。响应于从输入位流提取的元数据(且任选地还响应于控制数据)，级204可产生(及断言到后处理器300)指示从eSBR处理级203输出的经解码音频数据应经历特定类型的后处理的控制位。在一些实施方案中，解码器200经配置以将由解格式化器205从输入位流提取的元数据断言到后处理器300，且后处理器300经配置以使用元数据对从解码器200输出的经解码音频数据执行后处理。
图4是作为本发明音频处理单元的另一实施例的音频处理单元(“APU”)(210)的框图。APU 210是未经配置以执行eSBR处理的旧型解码器。APU 210的组件或元件中的任何者可在硬件、软件或硬件及软件的组合中被实施为一或多个过程及/或一或多个电路(例如，ASIC、FPGA或其它集成电路)。APU 210包括如所展示而连接的缓冲存储器201、位流有效负载解格式化器(剖析器)215、音频解码子系统202(有时被称为“核心”解码级或“核心”解码子系统)及SBR处理级213。APU 210通常还包含其它处理元件(未展示)。APU 210可表示例如音频编码器、解码器或转码器。
APU 210的元件201及202与(图3的)解码器200的相同编号元件相同，且将不重复所述元件的以上描述。在APU 210的操作中，将由APU 210接收的经编码音频位流(MPEG-4AAC位流)的一系列块从缓冲器201断言到解格式化器215。
解格式化器215经耦合及配置以多路分用位流的每一块以从每一块提取SBR元数据(包含经量化包络数据)且通常还从每一块提取其它元数据，但根据本发明的任何实施例忽略可包含于位流中的eSBR元数据。解格式化器215经配置以将至少SBR元数据断言到SBR处理级213。解格式化器215还经耦合及配置以从位流的每一块提取音频数据，且将经提取音频数据断言到解码子系统(解码级)202。
解码器200的音频解码子系统202经配置以解码由解格式化器215提取的音频数据(此类解码可被称为“核心”解码操作)以产生经解码音频数据，及将经解码音频数据断言到SBR处理级213。解码是在频域中执行。通常，子系统202中的处理的末级将频域到时域变换应用于经解码频域音频数据，使得子系统的输出是时域经解码音频数据。级213经配置以将由SBR元数据(由解格式化器215提取)指示的SBR工具(而非eSBR工具)应用于经解码音频数据(即，使用SBR元数据对解码子系统202的输出执行SBR处理)以产生从APU 210输出(例如，输出到后处理器300)的经完全解码音频数据。通常，APU 210包含存储从解格式化器215输出的经解格式化音频数据及元数据的存储器(可由子系统202及级213存取)，且级213经配置以在SBR处理期间视需要而存取音频数据及元数据(包含SBR元数据)。级213中的SBR处理可被视为对核心解码子系统202的输出的后处理。任选地，APU 210还包含经耦合及配置以对级213的输出执行升混以产生从APU 210输出的经完全解码升混音频的最终升混子系统(其可使用由解格式化器215提取的PS元数据来应用MPEG-4 AAC标准中所定义的参数立体声(“PS”)工具)。替代地，后处理器经配置以对APU 210的输出执行升混(例如，使用由解格式化器215提取的PS元数据及/或APU 210中所产生的控制位)。
编码器100、解码器200及APU 210的各种实施方案经配置以执行本发明方法的不同实施例。
根据一些实施例，eSBR元数据包含(例如，是eSBR元数据的小数目个控制位包含)于经编码音频位流(例如，MPEG-4 AAC位流)中，使得旧型解码器(其未经配置以剖析eSBR元数据，或使用eSBR元数据所涉及的任何eSBR工具)可忽略eSBR元数据，但仍在不使用eSBR元数据所涉及的eSBR元数据或任何eSBR工具的情况下(通常在经解码音频质量中无任何显著损失的情况下)在可能程度上解码位流。然而，经配置以剖析位流以识别eSBR元数据及响应于eSBR元数据而使用至少一个eSBR工具的eSBR解码器将获益于使用至少一个此类eSBR工具。因此，本发明的实施例提供一种用于以后向兼容方式有效地传输增强频谱带复制(eSBR)控制数据或元数据的方法。
通常，位流中的eSBR元数据指示以下eSBR工具(其在MPEG USAC标准中被描述，且其在位流的产生期间可或可尚未由编码器应用)中的一或多者(例如，指示以下eSBR工具中的一或多者的至少一个特性或参数)：
·谐波转置；及
·QMF修补额外预处理(预平坦化)。
例如，包含于位流中的eSBR元数据可指示以下参数(描述于MPEG USAC标准及本发明中)的值：sbrPatchingMode[ch]、sbrOversamplingFlag[ch]、sbrPitchInBins[ch]、sbrPitchInBins[ch]及bs_sbr_preprocessing。
在本文中，记号X[ch](其中X是某个参数)表示参数涉及待解码的经编码位流的音频内容的通道(“ch”)。为简单起见，我们有时省略表达[ch]，且假定相关参数涉及音频内容的通道。
在本文中，记号X[ch][env](其中X是某个参数)表示参数涉及待解码的经编码位流的音频内容的通道(“ch”)的SBR包络(“env”)。为简单起见，我们有时省略表达[env]及[ch]，且假定相关参数涉及音频内容的通道的SBR包络。
在经编码位流的解码期间，由以下eSBR元数据参数控制解码的eSBR处理级期间的谐波转置的执行(对于由所述位流指示的音频内容的每一通道“ch”来说)：sbrPatchingMode[ch]；sbrOversamplingFlag[ch]；sbrPitchInBinsFlag[ch]及sbrPitchInBins[ch]。
值“sbrPatchingMode[ch]”指示用于eSBR中的转置器类型：sbrPatchingMode[ch]＝1指示如MPEG-4 AAC标准的章节4.6.18.6.3中所描述的非谐波修补；sbrPatchingMode[ch]＝0指示如MPEG USAC标准的章节7.5.3或7.5.4中所描述的谐波SBR修补。
值“sbrOversamplingFlag[ch]”指示组合使用eSBR中的信号自适应频域过取样及如MPEG USAC标准的章节7.5.3中所描述的基于DFT的谐波SBR修补。此旗标控制用于转置器中的DFT的大小：1指示如MPEG USAC标准的章节7.5.3.1中所描述而启用的信号自适应频域过取样；0指示如MPEG USAC标准的章节7.5.3.1中所描述而停用的信号自适应频域过取样。
值“sbrPitchInBinsFlag[ch]”控制sbrPitchInBins[ch]参数的解释：1指示sbrPitchInBins[ch]中的值有效且大于零；0指示将sbrPitchInBins[ch]的值设置为零。
值“sbrPitchInBins[ch]”控制SBr谐波转置器中的交叉乘积项的相加。值sbrPitchinBins[ch]是在范围[0,127]内的整数值，且表示在核心编码器的取样频率上作用的1536行DFT的频率频格中所测量的距离。
在MPEG-4 AAC位流指示通道未耦合的SBR通道对(而非单SBR通道)的情况下，位流指示上述语法的两个例子(用于谐波转置或非谐波转置)，每个例子用于sbr_channel_pair_element()的每一通道。
eSBR工具的谐波转置通常改进相对低交越频率下的经解码音乐信号的质量。非谐波转置(即，旧型频谱修补)通常改进语音信号。因此，决定哪种类型的转置对于编码特定音频内容是优选的开始点是取决于语音/音乐检测而选择转置方法，其中对音乐内容采用谐波转置且对语音内容采用频谱修补。
就取决于被称为“bs_sbr_preprocessing”的一位eSBR元数据参数的值而执行或不执行预平坦化来说，通过此单一位的值来控制在eSBR处理期间的预平坦化的执行。当使用如MPEG-4 AAC标准的章节4.6.18.6.3中所描述的SBR QMF修补算法时，可在企图避免输入到后续包络调整器(所述包络调整器执行eSBR处理的另一阶段)中的高频信号的频谱包络的形状的不连续性时执行预平坦化步骤(当由“bs_sbr_preprocessing”参数指示时)。预平坦化通常改进后续包络调整阶段的操作，从而产生被感知为更稳定的高带信号。
对包含于指示上述eSBR工具(谐波转置及预平坦化)的MPEG-4 AAC位流eSBR元数据中的总位速率要求被预期为约每秒数百位，这是因为根据本发明的一些实施例仅传输需要执行eSBR处理的差动控制数据。旧型解码器可忽略此信息，这是因为以后向兼容方式包含此信息(如稍后将阐释)。因此，对与包含eSBR元数据相关联的位速率的有害效应因数个原因而是可忽略的，所述原因包含以下各者：
·位速率损失(由于包含eSBR元数据)是总位速率的极小分率，这是因为仅传输需要执行eSBR处理的差动控制数据(而非SBR控制数据的联播)；及
·SBR相关控制信息的调谐通常不取决于转置的细节。
因此，本发明的实施例提供一种用于以后向兼容方式有效地传输增强频谱带复制(eSBR)控制数据或元数据的方法。eSBR控制数据的此有效传输降低了采用本发明的方面的解码器、编码器及转码器中的存储器要求，同时对位速率不产生有形不利效应。此外，还降低了与执行根据本发明的实施例的eSBR相关联的复杂性及处理要求，这是因为SBR数据仅需要被处理一次而非联播，如果eSBR被视为MPEG-4 AAC中的完全分离的对象类型，而非以后向兼容方式集成到MPEG-4 AAC编解码器，那么SBR数据需要被联播。
接着，参考图7，我们描述根据本发明的一些实施例的包含eSBR元数据的MPEG-4AAC位流的块(“raw_data_block”)的元素。图7是MPEG-4 AAC位流的块(“raw_data_block”)的图解，其展示了MPEG-4 AAC位流的一些片段。
MPEG-4 AAC位流的块可包含至少一个“single_channel_element()”(例如，图7中所展示的单通道元素)及/或至少一个“channel_pair_element()”(在图7中未具体展示，但其可存在)，包含音频节目的音频数据。所述块还可包含数个“fill_elements”(例如，图7的填充元素1及/或填充元素2)，其包含与所述节目相关的数据(例如，元数据)。每一“single_channel_element()”包含指示单通道元素的开始的标识符(例如，图7的“ID1”)，且可包含指示多通道音频节目的不同通道的音频数据。每一“channel_pair_element()”包含指示通道对元素的开始的标识符(在图7中未展示)，且可包含指示所述节目的两个通道的音频数据。
MPEG-4 AAC位流的fill_element(在本文中被称为填充元素)包含指示填充元素的开始的标识符(图7的“ID2”)，及在所述标识符之后的填充数据。标识符ID2可由具有0×6值的传输最高有效位优先的三位无正负号整数(“uimsbf”)组成。填充数据可包含语法在MPEG-4 AAC标准的表4.57中展示的extension_payload()元素(在本文中有时被称为扩展有效负载)。存在若干类型的扩展有效负载，且其是通过“extension_type”参数来识别，“extension_type”参数是传输最高有效位优先的四位无正负号整数(“uimsbf”)。
填充数据(例如，填充数据的扩展有效负载)可包含指示填充数据的片段的标头或标识符(例如，图7的“标头1”)，填充数据指示SBR对象(即，标头初始化被称为在MPEG-4 AAC标准中的sbr_extension_data()的“SBR对象”类型)。例如，使用标头中的extension_type字段的“1101”或“1110”的值来识别频谱带复制(SBR)扩展有效负载，其中标识符“1101”识别具有SBR数据的扩展有效负载，且“1110”使用循环冗余检查(CRC)来识别具有SBR数据的扩展有效负载以验证SBR数据的正确性。
当标头(例如，extension_type字段)初始化SBR对象类型时，SBR元数据(在本文中有时被称为“频谱带复制数据”且在MPEG-4 AAC标准中被称为sbr_data())在标头之后，且至少一个频谱带复制扩展元素(例如，图7的填充元素1的“SBR扩展元素”可在SBR元数据之后。此类频谱带复制扩展元素(位流的片段)被称为MPEG-4 AAC标准中的“sbr_extension()”容器。频谱带复制扩展元素任选地包含标头(例如，图7的填充元素1的“SBR扩展标头”)。
MPEG-4 AAC标准预期到，频谱带复制扩展元素可包含节目的音频数据的PS(参数立体声)数据。MPEG-4 AAC标准预期到，当填充元素的(例如，所述填充元素的扩展有效负载的)标头初始化SBR对象类型(图7的“标头1”也初始化SBR对象类型)且填充元素的频谱带复制扩展元素包含PS数据时，所述填充元素(例如，所述填充元素的扩展有效负载)包含频谱带复制数据，且值(即，bs_extension_id＝2)指示PS数据的频谱带复制扩展元素中的“bs_extension_id”参数包含于填充元素的频谱带复制扩展元素中。
根据本发明的一些实施例，eSBR元数据(例如，指示是否将对块的音频内容执行增强频谱带复制(eSBR)处理的旗标)包含于填充元素的频谱带复制扩展元素中。例如，图7的填充元素1中指示此类旗标，其中所述旗标出现在填充元素1的“SBR扩展元素”的标头(填充元素1的“SBR扩展标头”)之后。任选地，此类旗标及额外eSBR元数据在频谱带复制扩展元素的标头之后包含于所述频谱带复制扩展元素中(例如，在图7的填充元素1的SBR扩展元素中，在SBR扩展标头之后)。根据本发明的一些实施例，包含eSBR元数据的填充元素还包含值(例如，bs_extension_id＝3)指示eSBR元数据包含于所述填充元素中且将对相关块的音频内容执行eSBR处理的“bs_extension_id”参数。
根据本发明的一些实施例，除包含于填充元素的频谱带复制扩展元素(SBR扩展元素)中之外，eSBR元数据还包含于MPEG-4 AAC位流的所述填充元素(例如，图7的填充元素2)中。这是因为含有具有SBR数据或含CRC的SBR数据的extension_payload()填充元素不含有任何其它扩展类型的任何其它扩展有效负载。因此，在eSBR元数据存储于其自身的扩展有效负载的实施例中，分离的填充元素用于存储eSBR元数据。此类填充元素包含指示填充元素的开始的标识符(例如，图7的“ID2”)及在所述标识符之后的填充数据。填充数据可包含语法在MPEG-4 AAC标准的表4.57中展示的extension_payload()元素(在本文中有时被称为扩展有效负载)。填充数据(例如，填充数据的扩展有效负载)包含指示eSBR对象的标头(例如，图7的填充元素2的“标头2”)(即，所述标头初始化增强频谱带复制(eSBR)对象类型)，且填充数据(例如，填充数据的扩展有效负载)包含在标头之后的eSBR元数据。例如，图7的填充元素2包含此类标头(“标头2”)且在所述标头之后还包含eSBR元数据(即，填充元素2中的“旗标”，其指示是否将对块的音频内容执行增强频谱带复制(eSBR)处理)。任选地，在标头2之后，额外eSBR元数据还包含于图7的填充元素2的填充数据中。在本段落中所描述的实施例中，标头(例如，图7的标头2)具有并非MPEG-4 AAC标准的表4.57中所指定的常规值中的一者的识别值，且代替地指示eSBR扩展有效负载(使得标头的extension_type字段指示填充数据包含eSBR元数据)。
在第一类实施例中，本发明是一种音频处理单元(例如，解码器)，其包括：
存储器(例如，图3或4的缓冲器201)，其经配置以存储经编码音频位流的至少一个块(例如，MPEG-4 AAC位流的至少一个块)；
位流有效负载解格式化器(例如，图3的元件205或图4的元件215)，其耦合到所述存储器且经配置以多路分用所述位流的所述块的至少一个部分；及
解码子系统(例如，图3的元件202及203，或图4的元件202及213)，其经耦合及配置以解码所述位流的所述块的至少一个部分，其中所述块包含：
填充元素，其包含指示所述填充元素的开始的标识符(例如，MPEG-4 AAC标准的表4.85的具有值0×6的“id_syn_ele”标识符)及在所述标识符之后的填充数据，其中所述填充数据包含：
至少一个旗标，其指示是否将对所述块的音频内容执行增强频谱带复制(eSBR)处理(例如，使用包含于所述块中的频谱带复制数据及eSBR元数据)。
所述旗标是eSBR元数据，且所述旗标的实例是sbrPatchingMode旗标。所述旗标的另一实例是harmonicSBR旗标。这些旗标的两者指示将对所述块的音频数据执行频谱带复制的基础形式还是频谱带复制的增强形式。频谱带复制的所述基础形式是频谱修补，且频谱带复制的所述增强形式是谐波转置。
在一些实施例中，所述填充数据还包含额外eSBR元数据(即，除所述旗标之外的eSBR元数据)。
所述存储器可为存储(例如，以非暂时性方式)所述经编码音频位流的所述至少一个块的缓冲存储器(例如，图4的缓冲器201的实施方案)。
据估计，在包含eSBR元数据(指示这些eSBR工具)的MPEG-4 AAC位流的解码期间，由eSBR解码器执行eSBR处理(使用eSBR谐波转置及预平坦化)的复杂性将如下(对于具有所指示的参数的典型解码来说)：
·谐波转置(16kbps、14400/28800Hz)
ο基于DFT：3.68WMOPS(每秒百万次加权运算)；
ο基于QMF：0.98WMOPS；
·QMF修补预处理(预平坦化)：0.1WMOPS。
众所周知，基于DFT的转置相比于基于QMF的转置通常对于瞬变执行得更好。
根据本发明的一些实施例，包含eSBR元数据的(经编码音频位流的)填充元素还包含值(例如，bs_extension_id＝3)用信号通知eSBR元数据包含于所述填充元素中且将对相关块的音频内容执行eSBR处理的参数(例如，“bs_extension_id”参数)，及/或值(例如，bs_extension_id＝2)用信号通知所述填充元素的sbr_extension()容器包含PS数据的参数(例如，相同“bs_extension_id”参数)。例如，如下文的表1中所指示，具有值bs_extension_id＝2的此类参数可用信号通知所述填充元素的sbr_extension()容器包含PS数据，且具有值bs_extension_id＝3的此类参数可用信号通知所述填充元素的sbr_extension()容器包含eSBR元数据：
表1
bs_extension_id 意义
0 保留
1 保留
2 EXTENSION_ID_PS
3 EXTENSION_ID_ESBR
根据本发明的一些实施例，包含eSBR元数据及/或PS数据的每一频谱带复制扩展元素的语法是如下文的表2中所指示(其中“sbr_extension()”表示是频谱带促织扩展元素中的容器，“bs_extension_id”是如上文的表1中所描述，“ps_data”表示PS数据，且“esbr_data”表示eSBR元数据)：
表2
在示范性实施例中，上文的表2提到的esbr_data()指示以下元数据参数的值：
1.一位元数据参数“bs_sbr_preprocessing”；及
2.对于待解码的经编码位流的音频内容的每一通道(“ch”)来说，上述参数中的每一者：“sbrPatchingMode[ch]”；“sbrOversamplingFlag[ch]”；“sbrPitchInBinsFlag[ch]”；及“sbrPitchInBins[ch]”。
例如，在一些实施例中，esbr_data()可具有表3中所指示的语法以指示这些元数据参数：
表3
上述语法使能够有效地实施频谱带复制的增强形式，例如谐波转置，以作为旧型解码器的扩展。具体来说，表3的eSBR数据仅包含执行位流中已支持或可从位流中已支持的参数直接导出的频谱带复制的所述增强形式所需的参数。执行频谱带复制的所述增强形式所需的所有其它参数及处理数据是从位流中的已定义位置中的既有参数提取。
例如，MPEG-4HE-AAC或HE-AAC v2合规编码器可扩展以包含频谱带复制的增强形式，例如谐波转置。频谱带复制的此增强形式是除已由解码器支持的频谱带复制的基础形式之外。在MPEG-4HE-AAC或HE-AAC v2合规编码器的情境中，频谱带复制的此基础形式是如MPEG-4 AAC标准的章节4.6.18中所定义的QMF频谱修补SBR工具。
当执行频谱带复制的增强形式时，扩展HE-AAC解码器可重新使用已包含于位流的SBR扩展有效负载中的许多位流参数。可重新使用的特定参数包含例如确定主频带表的各种参数。这些参数包含bs_start_freq(确定主频率表参数的开始的参数)、bs_stop_freq(确定主频率表的停止的参数)、bs_freq_scale(确定每倍频程的频带数目的参数)及bs_alter_scale(改变频带的比例的参数)。可重新使用的参数还包含确定噪声频带表的参数(bs_noise_bands)及限制器频带表参数(bs_limiter_bands)。因此，在各种实施例中，USAC标准中所指定的至少一些等效参数从位流省略，由此减少了位流中的控制开销。通常，在AAC标准中所指定的参数具有USAC标准中所指定的等效参数的情况下，USAC标准中所指定的等效参数具有与AAC标准中所指定的参数相同的名称(例如，包络比例因子EOrigMapped)。然而，USAC标准中所指定的等效参数通常具有不同值，其“经调谐”用于USAC标准中所定义的增强SBR处理而非用于AAC标准中所定义的SBR处理。
当执行根据本发明的实施例的频谱带复制的增强形式时，除众多参数之外，其它数据元素还可由扩展HE-AAC解码器重新使用。例如，包络数据及噪声基底数据还可从bs_data_env(包络比例因子)及bs_noise_env(噪声基底比例因子)数据提取且在频谱带复制的所述增强形式期间使用。
本质上，这些实施例利用已由SBR扩展有效负载中的旧型HE-AAC或HE-AAC v2解码器支持的配置参数及包络数据以实现需要尽可能少的额外传输数据的频谱带复制的增强形式。元数据最初针对HFR的基础形式(例如，SBR的频谱修补)予以调谐，但根据实施例，用于HFR的增强形式(例如，eSBR的谐波转置)。如先前所论述，元数据一般表示经调谐及希望与HFR的基础形式(例如，线性变换)一起使用的操作参数(例如，包络比例因子、噪声基底比例因子、时间/频率格网参数、正弦波加成信息、可变交越频率/频带、逆滤波模式、包络分辨率、平滑模式、频率内插模式)。然而，与特定于HFR的增强形式(例如，谐波转置)的额外元数据参数组合的此元数据可用于使用HFR的增强形式来高效且有效地处理音频数据。
因此，支持频谱带复制的增强形式的扩展解码器可通过依靠已定义的位流元素(例如，SBR扩展有效负载中的位流元素)及仅添加支持(填充元素扩展有效负载中的)频谱带复制的所述增强形式所需的参数而以非常有效方式产生。与保留数据字段(例如扩展容器)中的新添加的参数的放置组合的此数据减少特征大体上减少了产生解码器的障碍，所述解码器通过确保位流可与不支持频谱带复制的增强形式的旧型解码器后向兼容来支持频谱带复制的所述增强形式。
在表3中，右列中的数字指示左列中的对应参数的位数。
在一些实施例中，MPEG-4 AAC中所定义的SBR对象类型经更新以获得如SBR扩展元素(bs_extension_id＝＝EXTENSION_ID_ESBR)中用信号通知的SBR工具或增强SBR(eSBR)工具的方面。
在一些实施例中，本发明是一种方法，其包含编码音频数据以产生经编码位流(例如，MPEG-4 AAC位流)的步骤，所述步骤包含通过使eSBR元数据包含于所述经编码位流的至少一个块的至少一个片段中及使音频数据包含于所述块的所述至少另一片段中。在典型实施例中，所述方法包含使用所述经编码位流的每一块中的eSBR元数据多路复用所述音频数据的步骤。在eSBR解码器中的所述经编码位流的典型解码中，所述解码器从所述位流提取eSBR元数据(包含通过剖析及多路分用eSBR元数据及音频数据)且使用eSBR元数据来处理音频数据以产生经解码音频数据的流。
本发明的另一方面是一种eSBR解码器，其经配置以在不包含eSBR元数据的经编码音频位流(例如，MPEG-4 AAC位流)的解码期间执行eSBR处理(例如，使用被称为谐波转置或预平坦化的eSBR工具中的至少一者)。将参考图5描述此类解码器的实例。
图5的eSBR解码器(400)包含如所展示而连接的缓冲存储器201(其与图3及4的存储器201相同)、位流有效负载解格式化器215(其与图4的解格式化器215相同)、音频解码子系统202(有时被称为“核心”解码级或“核心”解码子系统，且其与图3的核心解码子系统202相同)、eSBR控制数据产生子系统401及eSBR处理级203(其与图3的级203相同)。解码器400通常还包含其它处理元件(未展示)。
在解码器400的操作中，将由解码器400接收的增强音频位流(MPEG-4 AAC位流)的一系列块从缓冲器201断言到解格式化器215。
解格式化器215经耦合及配置以多路分用位流的每一块以从块提取SBR元数据(包含经量化包络数据)且通常还从块提取其它元数据。解格式化器215经配置以至少将SBR元数据断言到eSBR处理级203。解格式化器215还经耦合及配置以从位流的每一块提取音频数据，且将经提取音频数据断言到解码子系统(解码级)202。
解码器400的音频解码子系统202经配置以解码由解格式化器215提取的音频数据(此类解码可被称为“核心”解码操作)以产生经解码音频数据，及将经解码音频数据断言到eSBR处理级203。解码是在频域中执行。通常，子系统202中的处理的末级将频域到时域变换应用于经解码频域音频数据，使得子系统的输出是时域经解码音频数据。级203经配置以将由SBR元数据(由解格式化器215提取)及子系统401中所产生的eSBR元数据指示的SBR工具(及eSBR工具)应用于经解码音频数据(即，使用SBR及eSBR元数据对解码子系统202的输出执行SBR及eSBR处理)，以产生从解码器400输出的经完全解码音频数据。通常，解码器400包含存储从解格式化器215(且任选地还有子系统401)输出的经解格式化音频数据及元数据的存储器(可由子系统202及级203存取)，且级203经配置以在SBR及eSBR处理期间视需要而存取音频数据及元数据。级203中的SBR处理可被视为对核心解码子系统202的输出的后处理。任选地，解码器400还包含经耦合及配置以对级203的输出执行升混以产生从APU 210输出的经完全解码升混音频的最终升混子系统(其可使用由解格式化器215提取的PS元数据来应用MPEG-4 AAC标准中定义的参数立体声(“PS”)工具)。
图5的控制数据产生子系统401经耦合及配置以响应于检测步骤的至少一个结果而检测待解码的经编码音频位流的至少一个性质，及产生eSBR控制数据(其可为或包含在根据本发明的其它实施例的经编码音频位流中所包含的类型中的任何者的eSBR元数据)。将eSBR控制数据断言到级203以在检测到位流的特定性质(或性质的组合)后就触发个别eSBR工具或eSBR工具的组合的应用，及/或控制此类eSBR工具的应用。例如，为控制使用谐波转置来执行eSBR处理，控制数据产生子系统401的一些实施例将包含：音乐检测器(例如，常规音乐检测器的简化版本)，其用于响应于检测到位流指示或不指示音乐而设置sbrPatchingMode[ch]参数(及将设置参数断言到级203)；瞬时检测器，其用于响应于检测到由位流指示的音频内容中的瞬时的存在或不存在而设置sbrOversamplingFlag[ch]参数(及将设置参数断言到级203)；及/或音高检测器，其用于响应于检测到由位流指示的音频内容的音高而设置sbrPitchInBinsFlag[ch]及sbrPitchInBins[ch]参数(及将设置参数断言到级203)。本发明的其它方面是由此段落及先前段落中所描述的本发明解码器的任何实施例执行的音频位流解码方法。
本发明的方面包含一种本发明APU、系统或装置的任何实施例经配置(例如，经编程)以执行的类型的编码或解码方法。本发明的其它方面包含一种经配置(例如，经编程)以执行本发明方法的任何实施例的系统或装置，及一种存储代码(例如，以非暂时性方式)以实施本发明方法或本发明方法的步骤的任何实施例的计算机可读媒体(例如，磁盘)。例如，本发明系统可为或包含使用软件或固件及/或以其它方式配置以对数据执行多种操作中的任何者(包含本发明方法或本发明方法的步骤的实施例)的可编程通用处理器、数字信号处理器或微处理器。此类通用处理器可为或包含计算机系统，其包含输入装置、存储器及处理电路，所述处理电路经编程(及/或以其它方式配置)以响应于断言到其的数据而执行本发明方法(或本发明方法的步骤)的实施例。
本发明的实施例可在硬件、固件或软件或两者的组合中实施(例如，实施为可编程逻辑阵列)。除非另有说明，否则包含为本发明的部分的算法或过程原本不与任何特定计算机或其它设备相关。特定来说，各种通用机器可搭配根据本文的教示撰写的程序使用，或其可更便于构造更专业设备(例如，集成电路)以执行所需方法步骤。因此，可在对各自包括至少一个处理器、至少一个数据存储系统(包含易失性及非易失性存储器及/或存储元件)、至少一个输入装置或端口及至少一个输出装置或端口的一或多个可编程计算机系统(例如，图1的元件或图2的编码器100(或编码器100的元件)或图3的解码器200(或解码器200的元件)或图4的解码器210(或解码器210的元件)或图5的解码器400(或解码器400的元件)中的任何者的实施方案)执行的一或多个计算机程序中实施本发明。程序代码应用于输入数据以执行本文中所描述的功能及产生输出信息。输出信息应以已知方式应用于一或多个输出装置。
每一此类程序可以任何所要计算机语言(包含机器语言、汇编语言或高阶程序语言、逻辑语言或面向对象程序设计语言)实施以与计算机系统通信。在任何情况下，语言可为编译或解释语言。
例如，当由计算机软件指令序列实施时，本发明的实施例的各种功能及步骤可由在适合数字信号处理硬件中运行的多线程软件指令序列实施，在所述情况下，实施例的各种装置、步骤及功能可对应于软件指令的部分。
每一此类计算机程序优选地存储于存储媒体或装置上或下载到可由通用或专用可编程计算机读取的存储媒体或装置(例如，固态存储器或媒体，或磁性或光学媒体)，以在存储媒体或装置由计算机系统读取时配置及操作计算机以执行本文中所描述的过程。本发明系统还可被实施为与计算机程序一起配置(即，存储计算机程序)的计算机可读存储媒体，其中如此配置的存储媒体致使计算机系统以特定及预定义方式操作以执行本文中所描述的功能。
已描述了本发明的数个实施例。然而，应理解，可在不脱离本发明的精神及范围的情况下进行各种修改。依据上述教示，本发明的多种修改及变化是可能的。例如，为促进有效实施方案，可与复杂QMF分析及合成滤波器组组合地使用相移。分析滤波器组负责将由核心解码器产生的时域低带信号滤波为多个子带(例如，QMF子带)。合成滤波器组负责组合由选定HFR技术(由所接收的sbrPatchingMode参数所指示)产生的经再生高带及经解码低带以产生宽带输出音频信号。然而，以特定取样速率模式操作(例如，正常双速率操作或降低取样SBR模式)的给定滤波器组实施方案不应具有位流相依的相移。用于SBR中的QMF组是余弦调制滤波器组的理论的复指数扩展。可展示出，别名消除约束在使用复指数调制扩展余弦调制滤波器组时变得过时。因此，对于SBR QMF组来说，分析滤波器hk(n)及合成滤波器fk(n)两者可由以下定义：
其中p0(n)是实数值对称或非对称原型滤波器(通常，低通原型滤波器)，M表示通道的数目，且N是原型滤波器阶数。用于分析滤波器组中的通道的数目可不同于用于合成滤波器组中的通道的数目。例如，分析滤波器组可具有32个通道，而合成滤波器组可具有64个通道。当以降低取样模式操作合成滤波器组时，合成滤波器组可仅具有32个通道。因为来自滤波器组的子带样本具有复数值，所以加成可能通道相依相移步骤可附加到合成滤波器组。在合成滤波器组之前需要补偿这些额外相移。尽管原理上相移项可具有任意值而不会破坏QMF分析/合成链的操作，但相移项还可约束于一致性验证的特定值。SBR信号将受相位因子的选择影响，而来自核心解码器的低通信号将不受相位因子的选择影响。输出信号的音频质量不受影响。
原型滤波器p0(n)的系数可使用640的长度L来定义，如下文的表4中所展示。
表4
还可通过例如舍入、子取样、内插及抽取的一或多个数学运算从表4导出原型滤波器p0(n)。
应理解，在所附权利要求书的范围内，可以如本文中所具体描述之外的方式来实践本发明。含于所附权利要求书中的任何元件符号仅为了说明且不应用用于以任何方式解释或限制权利要求书。

Claims (4)

1.一种用于解码经编码音频位流的方法，所述方法包括：
接收所述经编码音频位流，所述经编码音频位流包含表示音频信号的低带部分的音频数据；
解码所述音频数据以产生经解码低带音频信号；
从所述经编码音频位流提取高频重建元数据，所述高频重建元数据包含用于将若干子带从所述音频信号的低带部分变换到所述音频信号的高带部分的高频重建过程的操作参数；
从所述经编码音频位流提取指示是否将使用信号自适应频域过取样的参数；
使用分析滤波器组对所述经解码低带音频信号进行滤波以产生经滤波低带音频信号；
从所述经编码音频位流提取指示将对所述音频数据执行线性变换还是谐波转置的旗标；
根据所述旗标使用所述经滤波低带音频信号及所述高频重建元数据来再生所述音频信号的高带部分；及
使用合成滤波器组组合所述经滤波低带音频信号及所述经再生高带部分以形成宽带音频信号，
其中所述分析滤波器组包含分析滤波器hk(n)，所述分析滤波器hk(n)是根据下式的原型滤波器p0(n)的调制版本：
其中p0(n)是实数值对称或非对称原型滤波器，M是所述分析滤波器组中的通道的数目，且N是原型滤波器阶数，及
其中所述分析滤波器组中的通道的所述数目不同于所述合成滤波器组中的通道的数目。
2.根据权利要求1所述的方法，其中将相移添加到所述经滤波低带音频信号，且在通过所述合成滤波器组组合所述经滤波低带音频信号及所述经再生高带部分之前对所述相移进行补偿。
3.一种非暂时性计算机可读介质，其含有指令，当所述指令被处理器运行时执行权利要求1所述的方法。
4.一种用于解码经编码音频位流的解码器，所述解码器包括：
输入接口，其用于接收所述经编码音频位流，所述经编码音频位流包含表示音频信号的低带部分的音频数据；
核心解码器，其用于解码所述音频数据以产生经解码低带音频信号；
解格式化器，其用于从所述经编码音频位流提取高频重建元数据和提取指示是否将使用信号自适应频域过取样的参数，所述高频重建元数据包含用于将若干子带从所述音频信号的低带部分变换到所述音频信号的高带部分的高频重建过程的操作参数；
分析滤波器组，其用于对所述经解码低带音频信号进行滤波以产生经滤波低带音频信号；
解格式化器，其用于从所述经编码音频位流提取指示将对所述音频数据执行线性变换还是谐波转置的旗标；
高频再生器，其用于根据所述旗标使用所述经滤波低带音频信号及所述高频重建元数据来再生所述音频信号的高带部分；及
合成滤波器组，其用于组合所述经滤波低带音频信号及所述经再生高带部分以形成宽带音频信号，
其中所述分析滤波器组包含分析滤波器hk(n)，所述分析滤波器hk(n)是根据下式的原型滤波器p0(n)的调制版本：
其中p0(n)是实数值对称或非对称原型滤波器，M是所述分析滤波器组中的通道的数目，且N是原型滤波器阶数，及
其中所述分析滤波器组中的通道的所述数目不同于所述合成滤波器组中的通道的数目。
CN202110086189.0A 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成 Active CN112863528B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110086189.0A CN112863528B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762475619P 2017-03-23 2017-03-23
US62/475,619 2017-03-23
CN201880006745.5A CN110178180B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202110086189.0A CN112863528B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
PCT/US2018/023183 WO2018175347A1 (en) 2017-03-23 2018-03-19 Backward-compatible integration of harmonic transposer for high frequency reconstruction of audio signals

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880006745.5A Division CN110178180B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成

Publications (2)

Publication Number Publication Date
CN112863528A CN112863528A (zh) 2021-05-28
CN112863528B true CN112863528B (zh) 2024-09-13

Family

ID=63585721

Family Applications (8)

Application Number Title Priority Date Filing Date
CN201880006745.5A Active CN110178180B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639044.2A Pending CN118380002A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639310.1A Pending CN118380005A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202411227461.2A Pending CN118898997A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639086.6A Pending CN118380003A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639126.7A Pending CN118380004A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202110086185.2A Active CN112863527B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202110086189.0A Active CN112863528B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成

Family Applications Before (7)

Application Number Title Priority Date Filing Date
CN201880006745.5A Active CN110178180B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639044.2A Pending CN118380002A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639310.1A Pending CN118380005A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202411227461.2A Pending CN118898997A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639086.6A Pending CN118380003A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202410639126.7A Pending CN118380004A (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN202110086185.2A Active CN112863527B (zh) 2017-03-23 2018-03-19 用于音频信号的高频重建的谐波转置器的后向兼容集成

Country Status (26)

Country Link
US (9) US10818306B2 (zh)
EP (3) EP4528729A2 (zh)
JP (4) JP6665354B2 (zh)
KR (8) KR102702697B1 (zh)
CN (8) CN110178180B (zh)
AR (6) AR111047A1 (zh)
AU (6) AU2018237070B2 (zh)
BR (2) BR122019027754B1 (zh)
CA (5) CA3171727A1 (zh)
CL (1) CL2019001981A1 (zh)
CO (1) CO2019008431A2 (zh)
EA (3) EA036090B1 (zh)
EC (1) ECSP19054232A (zh)
GE (1) GEP20217226B (zh)
IL (7) IL305626B2 (zh)
MA (1) MA47232A (zh)
MX (7) MX2022009313A (zh)
NZ (3) NZ755366A (zh)
PE (2) PE20191288A1 (zh)
PH (1) PH12019501658A1 (zh)
SA (1) SA519402434B1 (zh)
SG (1) SG11201906370TA (zh)
TW (2) TWI807562B (zh)
UA (3) UA126393C2 (zh)
WO (1) WO2018175347A1 (zh)
ZA (6) ZA201904559B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI693594B (zh) 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
TWI807562B (zh) * 2017-03-23 2023-07-01 瑞典商都比國際公司 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合
TWI702594B (zh) 2018-01-26 2020-08-21 瑞典商都比國際公司 用於音訊信號之高頻重建技術之回溯相容整合
CN113113032B (zh) * 2020-01-10 2024-08-09 华为技术有限公司 一种音频编解码方法和音频编解码设备
EP4243014A4 (en) 2021-01-25 2024-07-17 Samsung Electronics Co., Ltd. DEVICE AND METHOD FOR PROCESSING A MULTI-CHANNEL AUDIO SIGNAL

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110178180A (zh) * 2017-03-23 2019-08-27 杜比国际公司 用于音频信号的高频重建的谐波转置器的后向兼容集成

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5527024A (en) 1978-08-15 1980-02-26 Mitsui Toatsu Chem Inc Molded tableted catalysts showing high selectivity
SE0001926D0 (sv) * 2000-05-23 2000-05-23 Lars Liljeryd Improved spectral translation/folding in the subband domain
SE0101175D0 (sv) * 2001-04-02 2001-04-02 Coding Technologies Sweden Ab Aliasing reduction using complex-exponential-modulated filterbanks
US6895375B2 (en) * 2001-10-04 2005-05-17 At&T Corp. System for bandwidth extension of Narrow-band speech
PT1423847E (pt) * 2001-11-29 2005-05-31 Coding Tech Ab Reconstrucao de componentes de frequencia elevada
CN1875402B (zh) * 2003-10-30 2012-03-21 皇家飞利浦电子股份有限公司 音频信号编码或解码
KR100571824B1 (ko) 2003-11-26 2006-04-17 삼성전자주식회사 부가정보 삽입된 ｍｐｅｇ-4 오디오 ｂｓａｃ부호화/복호화 방법 및 장치
KR100587953B1 (ko) * 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
EP1638083B1 (en) * 2004-09-17 2009-04-22 Harman Becker Automotive Systems GmbH Bandwidth extension of bandlimited audio signals
CN101055719B (zh) * 2004-09-17 2011-02-02 广州广晟数码技术有限公司 编码和发送多声道数字音频信号的方法
RU2381572C2 (ru) * 2005-04-01 2010-02-10 Квэлкомм Инкорпорейтед Системы, способы и устройство широкополосного речевого кодирования
KR100818268B1 (ko) 2005-04-14 2008-04-02 삼성전자주식회사 오디오 데이터 부호화 및 복호화 장치와 방법
US7783494B2 (en) 2005-08-30 2010-08-24 Lg Electronics Inc. Time slot position coding
KR101565919B1 (ko) 2006-11-17 2015-11-05 삼성전자주식회사 고주파수 신호 부호화 및 복호화 방법 및 장치
US20080208575A1 (en) * 2007-02-27 2008-08-28 Nokia Corporation Split-band encoding and decoding of an audio signal
US7885819B2 (en) * 2007-06-29 2011-02-08 Microsoft Corporation Bitstream syntax for multi-process audio decoding
CN101471072B (zh) 2007-12-27 2012-01-25 华为技术有限公司 高频重建方法、编码装置和解码装置
KR101413968B1 (ko) * 2008-01-29 2014-07-01 삼성전자주식회사 오디오 신호의 부호화, 복호화 방법 및 장치
EP2144230A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme having cascaded switches
MX2011000365A (es) 2008-07-11 2011-02-25 Ten Forschung Ev Fraunhofer Aparato y metodo para generar una señal de ancho de banda ampliado.
AU2009328247B9 (en) * 2008-12-15 2013-12-05 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Audio encoder and bandwidth extension decoder
MY205240A (en) * 2009-01-16 2024-10-09 Dolby Int Ab Cross product enhanced harmonic transposition
TWI618350B (zh) 2009-02-18 2018-03-11 杜比國際公司 用於高頻重建或參數立體聲之複指數調變濾波器組
TWI484481B (zh) * 2009-05-27 2015-05-11 杜比國際公司 從訊號的低頻成份產生該訊號之高頻成份的系統與方法，及其機上盒、電腦程式產品、軟體程式及儲存媒體
US8515768B2 (en) * 2009-08-31 2013-08-20 Apple Inc. Enhanced audio decoder
EP4435779A3 (en) * 2010-01-19 2024-10-09 Dolby International AB Improved subband block based harmonic transposition
MX2012010314A (es) * 2010-03-09 2012-09-28 Fraunhofer Ges Forschung Dispositivo y metodo para respuesta de magnitud mejorada y alineacion temporaria en un metodo de extension de ancho de banda basado en un codificador de fase operado por voz para señales de audio.
US8886523B2 (en) * 2010-04-14 2014-11-11 Huawei Technologies Co., Ltd. Audio decoding based on audio class with control code for post-processing modes
EP3079152B1 (en) 2010-07-02 2018-06-06 Dolby International AB Audio decoding with selective post filtering
RU2530254C2 (ru) 2010-07-19 2014-10-10 Долби Интернешнл Аб Обработка звуковых сигналов в ходе высокочастотной реконструкции
TWI476761B (zh) 2011-04-08 2015-03-11 Dolby Lab Licensing Corp 用以產生可由實施不同解碼協定之解碼器所解碼的統一位元流之音頻編碼方法及系統
SG11201505915YA (en) * 2013-01-29 2015-09-29 Fraunhofer Ges Forschung Noise filling in perceptual transform audio coding
MY185176A (en) * 2013-01-29 2021-04-30 Fraunhofer Ges Forschung Audio encoder, audio decoder, method for providing an encoded audio information, method for providing a decoded audio information, computer program and encoded representation using a signal-adaptive bandwidth extension
WO2015036348A1 (en) * 2013-09-12 2015-03-19 Dolby International Ab Time- alignment of qmf based processing data
CN105761723B (zh) * 2013-09-26 2019-01-15 华为技术有限公司 一种高频激励信号预测方法及装置
EP2881943A1 (en) * 2013-12-09 2015-06-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for decoding an encoded audio signal with low computational resources
EP2980794A1 (en) * 2014-07-28 2016-02-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder and decoder using a frequency domain processor and a time domain processor
TWI693594B (zh) * 2015-03-13 2020-05-11 瑞典商杜比國際公司 解碼具有增強頻譜帶複製元資料在至少一填充元素中的音訊位元流
TWI702594B (zh) * 2018-01-26 2020-08-21 瑞典商都比國際公司 用於音訊信號之高頻重建技術之回溯相容整合
CA3152262A1 (en) * 2018-04-25 2019-10-31 Dolby International Ab Integration of high frequency reconstruction techniques with reduced post-processing delay

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110178180A (zh) * 2017-03-23 2019-08-27 杜比国际公司 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN112863527A (zh) * 2017-03-23 2021-05-28 杜比国际公司 用于音频信号的高频重建的谐波转置器的后向兼容集成

Also Published As

Publication number Publication date
CA3171727A1 (en) 2018-09-27
TWI807562B (zh) 2023-07-01
EP3559821B1 (en) 2025-03-19
EA201991453A1 (ru) 2019-11-29
JP2023181209A (ja) 2023-12-21
EA038268B1 (ru) 2021-08-02
CN110178180B (zh) 2020-12-29
CA3049600A1 (en) 2018-09-27
EA202191156A1 (ru) 2021-08-31
KR20190085144A (ko) 2019-07-17
IL305626B2 (en) 2024-06-01
ZA202109046B (en) 2023-04-26
KR102749858B1 (ko) 2025-01-07
EP3559821A1 (en) 2019-10-30
AR120466A2 (es) 2022-02-16
US10818306B2 (en) 2020-10-27
NZ794714A (en) 2024-07-26
US12094480B2 (en) 2024-09-17
EP3559821A4 (en) 2020-10-28
PH12019501658A1 (en) 2020-03-02
AU2021215249B2 (en) 2023-02-02
AU2019222906B2 (en) 2021-05-20
MX2022015200A (es) 2023-01-05
KR20210088012A (ko) 2021-07-13
IL272690A (en) 2020-04-30
AU2023266360B2 (en) 2024-09-12
JP6665354B2 (ja) 2020-03-13
KR102390360B1 (ko) 2022-04-26
WO2018175347A1 (en) 2018-09-27
CN112863527B (zh) 2024-09-17
AU2024227419A1 (en) 2024-11-07
NZ777923A (en) 2023-12-22
EA202091313A1 (ru) 2020-09-30
AR120465A2 (es) 2022-02-16
CN118898997A (zh) 2024-11-05
CA3171733A1 (en) 2018-09-27
CN118380005A (zh) 2024-07-23
NZ787839A (en) 2023-12-22
CA3049600C (en) 2021-12-07
KR20230160960A (ko) 2023-11-24
KR20250004187A (ko) 2025-01-07
AU2018237070B2 (en) 2019-09-12
KR20220054712A (ko) 2022-05-03
US20230041798A1 (en) 2023-02-09
IL296961B2 (en) 2024-04-01
IL313477B1 (en) 2025-03-01
US20230036258A1 (en) 2023-02-02
EA036090B1 (ru) 2020-09-25
MX2022015198A (es) 2023-01-04
KR102622804B1 (ko) 2024-01-10
CN112863527A (zh) 2021-05-28
MX372634B (es) 2025-03-05
CN118380002A (zh) 2024-07-23
ZA202007510B (en) 2022-04-28
AR120467A2 (es) 2022-02-16
US11621013B2 (en) 2023-04-04
NZ759800A (en) 2021-07-30
GEP20217226B (en) 2021-02-25
IL296961B1 (en) 2023-12-01
NZ755366A (en) 2019-12-20
UA126401C2 (uk) 2022-09-28
ZA202109045B (en) 2023-04-26
SA519402434B1 (ar) 2023-02-01
AU2023200619B2 (en) 2023-08-17
UA126393C2 (uk) 2022-09-28
TW201835897A (zh) 2018-10-01
US20200027471A1 (en) 2020-01-23
NZ794700A (en) 2024-10-25
US11605391B2 (en) 2023-03-14
KR102275129B1 (ko) 2021-07-09
ZA202109047B (en) 2023-06-28
US20230051379A1 (en) 2023-02-16
CA3133923A1 (en) 2018-09-27
AU2019222906A1 (en) 2019-09-19
MA47232A (fr) 2019-10-30
CN110178180A (zh) 2019-08-27
BR112019014125A2 (pt) 2019-12-17
US12175993B2 (en) 2024-12-24
JP7413334B2 (ja) 2024-01-15
CL2019001981A1 (es) 2019-10-18
AU2023266360A1 (en) 2023-12-07
SG11201906370TA (en) 2019-08-27
US11626123B2 (en) 2023-04-11
IL317234A (en) 2025-01-01
AU2023200619A1 (en) 2023-03-09
AU2021215249A1 (en) 2021-09-02
IL310208B1 (en) 2024-07-01
PE20191288A1 (es) 2019-09-20
US20250087226A1 (en) 2025-03-13
NZ793664A (en) 2024-07-05
CN118380004A (zh) 2024-07-23
IL305626A (en) 2023-11-01
IL313477A (en) 2024-08-01
US20230377589A1 (en) 2023-11-23
MX2022009313A (es) 2023-01-19
KR20240135064A (ko) 2024-09-10
KR102702697B1 (ko) 2024-09-05
KR20240008408A (ko) 2024-01-18
US11763830B2 (en) 2023-09-19
TW202215418A (zh) 2022-04-16
IL267666B (en) 2020-04-30
IL296961A (en) 2022-12-01
BR122019027754B1 (pt) 2020-08-18
US20210104252A1 (en) 2021-04-08
IL272690B2 (en) 2023-03-01
KR102083768B1 (ko) 2020-03-02
NZ794713A (en) 2024-07-26
TW202341126A (zh) 2023-10-16
CN118380003A (zh) 2024-07-23
BR112019014125B1 (pt) 2021-11-16
TWI752166B (zh) 2022-01-11
MX2020005844A (es) 2020-09-07
MX2019008349A (es) 2019-09-16
MX2022015199A (es) 2023-01-05
AR111047A1 (es) 2019-05-29
JP2020074052A (ja) 2020-05-14
US20240312471A1 (en) 2024-09-19
IL305626B1 (en) 2024-02-01
IL310208B2 (en) 2024-11-01
IL267666A (en) 2019-08-29
KR20200022547A (ko) 2020-03-03
EP4528728A2 (en) 2025-03-26
CA3133921A1 (en) 2018-09-27
AR120464A2 (es) 2022-02-16
IL310208A (en) 2024-03-01
CO2019008431A2 (es) 2019-08-20
JP2020503566A (ja) 2020-01-30
MX2022009312A (es) 2022-08-18
CN112863528A (zh) 2021-05-28
ZA201904559B (en) 2022-05-25
NZ794707A (en) 2024-07-26
AU2018237070A1 (en) 2019-08-01
PE20241802A1 (es) 2024-09-10
EP4528729A2 (en) 2025-03-26
IL272690B (en) 2022-11-01
NZ787837A (en) 2024-07-26
UA126719C2 (uk) 2023-01-11
JP2022003420A (ja) 2022-01-11
US20230042393A1 (en) 2023-02-09
ECSP19054232A (es) 2019-08-30
ZA202211731B (en) 2024-02-28
US11676616B2 (en) 2023-06-13
AR115947A2 (es) 2021-03-17

Similar Documents

Publication Publication Date Title
CN111656444B (zh) 用于音频信号的高频重建技术的回溯兼容集成
CN112863528B (zh) 用于音频信号的高频重建的谐波转置器的后向兼容集成
CN112189231B (zh) 高频音频重建技术的集成
TWI873683B (zh) 用於音訊信號之高頻重建的諧波轉置器的回溯相容整合

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40043451

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant