[go: up one dir, main page]

CN110556119B - 一种下混信号的计算方法及装置 - Google Patents

一种下混信号的计算方法及装置 Download PDF

Info

Publication number
CN110556119B
CN110556119B CN201810549905.2A CN201810549905A CN110556119B CN 110556119 B CN110556119 B CN 110556119B CN 201810549905 A CN201810549905 A CN 201810549905A CN 110556119 B CN110556119 B CN 110556119B
Authority
CN
China
Prior art keywords
current frame
frame
sub
signal
downmix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810549905.2A
Other languages
English (en)
Other versions
CN110556119A (zh
Inventor
李海婷
刘泽新
王宾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN202210102567.4A priority Critical patent/CN114420139A/zh
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201810549905.2A priority patent/CN110556119B/zh
Priority to EP19811813.5A priority patent/EP3783608A4/en
Priority to SG11202011329QA priority patent/SG11202011329QA/en
Priority to JP2020564202A priority patent/JP7159351B2/ja
Priority to PCT/CN2019/070116 priority patent/WO2019227931A1/zh
Priority to KR1020247002200A priority patent/KR20240013287A/ko
Priority to KR1020207035596A priority patent/KR102628755B1/ko
Priority to BR112020024232-2A priority patent/BR112020024232A2/pt
Publication of CN110556119A publication Critical patent/CN110556119A/zh
Priority to US17/102,190 priority patent/US11869517B2/en
Application granted granted Critical
Publication of CN110556119B publication Critical patent/CN110556119B/zh
Priority to US18/523,738 priority patent/US20240105188A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H04S1/007—Two-channel systems in which the audio signals are in digital form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)

Abstract

本申请实施例公开一种下混信号的计算方法及装置，涉及音频信号处理领域，能够解决解码立体声信号的空间感和声像稳定性不连续的问题。该方法包括：在立体声信号的当前帧的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，或者，在当前帧不为切换帧、且当前帧的残差信号不需要编码的情况下，计算当前帧的第一下混信号，并将当前帧的第一下混信号确定为预设频带内当前帧的下混信号；其中，计算当前帧的第一下混信号，具体包括：获取当前帧的第二下混信号以及当前帧的下混补偿因子，并根据当前帧的下混补偿因子对当前帧的第二下混信号进行修正，以得到当前帧的第一下混信号。

Description

一种下混信号的计算方法及装置
技术领域
本申请实施例涉及音频信号处理领域，尤其涉及一种下混信号的计算方法及装置。
背景技术
随着生活质量的提高，人们对高质量音频的需求不断增大。由于立体声音频具有各声源的方位感和分布感，能够提高信息的清晰度、可懂度及临场感，因而备受青睐。
通常采用参数立体声编解码技术实现对立体声信号的编解码。参数立体声编解码技术通过将立体声信号转换为空间感知参数和一路(或两路)信号，来实现对立体声信号的压缩处理。参数立体声编解码可以在时域进行，也可以在频域进行，还可以在时频结合的情况下进行。
对于在频域或时频结合情况下进行的参数立体声编码，编码端对输入的立体声信号进行分析后可以获得立体声参数、下混信号(也可称为中央声道信号或者主要声道信号)以及残差信号(也可称为边声道信号或者次要声道信号)。现有技术中，在编码速率比较低的情况下(如宽带26kbps及更低速率，超宽带34kbps及更低速率)，编码端采用预先设定的方法计算下混信号，使得解码立体声信号的空间感和声像稳定性不连续，影响听觉质量。
发明内容
本申请实施例提供一种下混信号的计算方法及装置，能够解决解码立体声信号的空间感和声像稳定性不连续的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，提供一种下混信号的计算方法，在立体声信号的当前帧的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，或者，在当前帧不为切换帧、且所述当前帧的残差信号不需要编码的情况下，下混信号的计算装置(后续简称为计算装置)计算当前帧的第一下混信号，并将当前帧的第一下混信号确定为预设频带内当前帧的下混信号。其中，计算装置计算当前帧的第一下混信号的方法具体为：计算装置获取当前帧的第二下混信号以及当前帧的下混补偿因子，并根据当前帧的下混补偿因子对当前帧的第二下混信号进行修正，以得到当前帧的第一下混信号。
本申请实施例在立体声信号的当前帧不为切换帧、且当前帧的残差信号不需要编码的情况下，或者，在立体声信号的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，计算装置计算当前帧的第一下混信号，并将该第一下混信号确定为预设频带内当前帧的下混信号，解决了预设频带中在编码残差信号和不编码残差信号之间来回切换导致的解码立体声信号的空间感和声像稳定性不连续问题，有效的提升了听觉质量。
可选的，在本申请的一种可能的实现方式中，上述“计算装置根据当前帧的下混补偿因子对当前帧的第二下混信号进行修正，以得到当前帧的第一下混信号”的方法为：计算装置根据当前帧的第一频域信号及当前帧的下混补偿因子，计算当前帧的补偿下混信号，并根据当前帧的第二下混信号和当前帧的补偿下混信号，计算当前帧的第一下混信号，这里，第一频域信号为当前帧的左声道频域信号或当前帧的右声道频域信号；或者，计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号，并根据当前帧的第i个子帧的第二下混信号和当前帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号，这里，第二频域信号为当前帧的第i个子帧的左声道频域信号或当前帧的第i个子帧的右声道频域信号，其中，当前帧包括P个子帧，当前帧的第一下混信号包括当前帧的第i个子帧的第一下混信号，P和i均为整数，P≥2，i∈[0，P-1]。
可以看出，计算装置可以从每一帧的角度计算当前帧的第一下混信号，也可以从当前帧中每一子帧的角度计算当前帧的第一下混信号。
可选的，在本申请的另一种可能的实现方式中，上述“计算装置根据当前帧的第一频域信号及当前帧的下混补偿因子，计算当前帧的补偿下混信号”的方法为：计算装置将当前帧的第一频域信号与当前帧的下混补偿因子的乘积确定为当前帧的补偿下混信号。
上述“计算装置根据当前帧的第二下混信号和当前帧的补偿下混信号，计算当前帧的第一下混信号”的方法为：计算装置将当前帧的第二下混信号和当前帧的补偿下混信号的和确定为当前帧的第一下混信号。上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置将当前帧的第i个子帧的第二频域信号与当前帧的第i个子帧的下混补偿因子的乘积确定为当前帧的第i个子帧的补偿下混信号。上述“计算装置根据当前帧的第i个子帧的第二下混信号和当前帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号”的方法为：计算装置将当前帧的第i个子帧的第二下混信号和当前帧的第i个子帧的补偿下混信号的和确定为当前帧的第i个子帧的第一下混信号。
可选的，在本申请的另一种可能的实现方式中，上述“计算装置获取当前帧的下混补偿因子”的方法为：计算装置根据当前帧的左声道频域信号、当前帧的右声道频域信号、当前帧的第二下混信号、当前帧的残差信号或第一标志中的至少一种，计算当前帧的下混补偿因子，该第一标志用于表示当前帧是否需要编码除声道间时间差参数之外的立体声参数；或者，计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子，该第二标志用于表示当前帧的第i个子帧是否需要编码除声道间时间差参数之外的立体声参数，当前帧包括P个子帧，当前帧的下混补偿因子包括当前帧的第i个子帧的下混补偿因子，P和i均为整数，P≥2，i∈[0，P-1]；或者，计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第一标志中的至少一种，计算当前帧的第i个子帧的下混补偿因，该第一标志用于表示当前帧是否需要编码除声道间时间差参数之外的立体声参数，当前帧包括P个子帧，当前帧的下混补偿因子包括当前帧的第i个子帧的下混补偿因子，P和i均为整数，P≥2，i∈[0，P-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000021
该公式中，
Figure BDA0001680902970000031
Figure BDA0001680902970000032
Figure BDA0001680902970000033
或者，
Figure BDA0001680902970000034
上述E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compib(k)＝αi(b)*Lib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000035
该公式中，
Figure BDA0001680902970000036
Figure BDA0001680902970000037
上述E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Si(b)表示当前帧的第i个子帧第b个子带的残差信号的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，RESib′(k)表示当前帧的第i个子帧第b个子带的残差信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compib(k)＝αi(b)*Lib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000041
该公式中，
Figure BDA0001680902970000042
Figure BDA0001680902970000043
上述E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，nipd_flag为第二标志，nipd_flag＝1表示当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数，k为频点索引值，所述当前帧的每个子帧均包括M个子带，所述当前帧的第i个子帧的下混补偿因子包括所述当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compib(k)＝αi(b)*Lib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000051
该公式中，
Figure BDA0001680902970000052
Figure BDA0001680902970000053
或者，
Figure BDA0001680902970000054
上述E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compi(k)＝αi*Li″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000055
该公式中，
Figure BDA0001680902970000056
上述E_Si表示当前帧的第i个子帧在预设频带内所有子带的残差信号的能量和，E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，RESi′(k)表示当前帧的第i个子帧在预设频带内所有子带的残差信号，k为频点索引值。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compi(k)＝αi*Li″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000061
该公式中，
Figure BDA0001680902970000062
Figure BDA0001680902970000063
上述E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值，nipd_flag为第二标志，nipd_flag＝1表示当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compi(k)＝αi*Li″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000064
该公式中，
Figure BDA0001680902970000065
Figure BDA0001680902970000066
或者，
Figure BDA0001680902970000071
上述E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，Lib′(k)表示经过时移调整后的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compib(k)＝αi(b)*Rib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000072
该公式中，
Figure BDA0001680902970000073
Figure BDA0001680902970000074
上述E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_Si(b)表示当前帧的第i个子帧第b个子带的残差信号的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，RESib′(k)表示当前帧的第i个子帧第b个子带的残差信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compib(k)＝αi(b)*Rib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000081
该公式中，
Figure BDA0001680902970000082
Figure BDA0001680902970000083
上述E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，nipd_flag为第二标志，nipd_flag＝1表示当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compib(k)＝αi(b)*Rib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000084
该公式中，
Figure BDA0001680902970000085
Figure BDA0001680902970000086
或者，
Figure BDA0001680902970000091
上述E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compi(k)＝αi*Ri″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的右声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000092
该公式中，
Figure BDA0001680902970000093
上述E_Si表示当前帧的第i个子帧在预设频带内所有子带的残差信号的能量和，E_Ri表示当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，RESi′(k)表示当前帧的第i个子帧在预设频带内所有子带的残差信号，k为频点索引值。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compi(k)＝αi*Ri″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述“计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子”的方法为：计算装置根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。其中，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000101
该公式中，
Figure BDA0001680902970000102
Figure BDA0001680902970000103
上述E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值，nipd_flag为第二标志，nipd_flag＝1表示当前帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧需要编码除声道间时间差参数之外的立体声参数。
相应的，上述“计算装置根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”的方法为：计算装置根据公式DMX_compi(k)＝αi*Ri″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，Th1≤b≤Th2，或者，Th1<b≤Th2，或者，Th1≤b<Th2，或者，Th1<b<Th2，其中，0≤Th1≤Th2≤M-1，Th1为预设频带中的最小子带索引值，Th2为预设频带中的最大子带索引值。
第二方面，提供一种下混信号的计算装置。具体的，该计算装置包括确定单元和计算单元。
本申请提供的各个单元模块所实现的功能具体如下：
上述确定单元，用于确定立体声信号的当前帧的前一帧是否为切换帧，以及前一帧的残差信号是否需要编码，或者用于确定当前帧是否为切换帧，以及当前帧的残差信号是否需要编码。上述计算单元，用于在上述确定单元确定当前帧的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，或者，在当前帧不为切换帧、且当前帧的残差信号不需要编码的情况下，计算当前帧的第一下混信号。上述确定单元，还用于将上述计算单元计算出的当前帧的第一下混信号确定为预设频带内当前帧的下混信号。其中，上述计算单元，具体用于获取当前帧的第二下混信号，以及获取当前帧的下混补偿因子，以及根据当前帧的下混补偿因子对当前帧的第二下混信号进行修正，以得到当前帧的第一下混信号。
可选的，在本申请的一种可能的实现方式中，上述计算单元具体用于：根据当前帧的第一频域信号及当前帧的下混补偿因子，计算当前帧的补偿下混信号，其中，第一频域信号为当前帧的左声道频域信号或当前帧的右声道频域信号；根据当前帧的第二下混信号和当前帧的补偿下混信号，计算当前帧的第一下混信号；或者，根据当前帧的第i个子帧的第二频域信号及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号，其中，第二频域信号为当前帧的第i个子帧的左声道频域信号或当前帧的第i个子帧的右声道频域信号；根据当前帧的第i个子帧的第二下混信号和当前帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号，当前帧包括P个子帧，当前帧的第一下混信号包括当前帧的第i个子帧的第一下混信号，P和i均为整数，P≥2，i∈[0，P-1]。
可选的，在本申请的另一种可能的实现方式中，上述计算单元具体用于：将当前帧的第一频域信号与当前帧的下混补偿因子的乘积确定为当前帧的补偿下混信号，以及将当前帧的第二下混信号和当前帧的补偿下混信号的和确定为当前帧的第一下混信号；或者，将当前帧的第i个子帧的第二频域信号与当前帧的第i个子帧的下混补偿因子的乘积确定为当前帧的第i个子帧的补偿下混信号，以及将当前帧的第i个子帧的第二下混信号和当前帧的第i个子帧的补偿下混信号的和确定为当前帧的第i个子帧的第一下混信号。
可选的，在本申请的另一种可能的实现方式中，上述计算单元具体用于：根据当前帧的左声道频域信号、当前帧的右声道频域信号、当前帧的第二下混信号、当前帧的残差信号或第一标志中的至少一种，计算当前帧的下混补偿因子；第一标志用于表示当前帧是否需要编码除声道间时间差参数之外的立体声参数；或者，根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子；第二标志用于表示当前帧的第i个子帧是否需要编码除声道间时间差参数之外的立体声参数，当前帧包括P个子帧，当前帧的下混补偿因子包括当前帧的第i个子帧的下混补偿因子，P和i均为整数，P≥2，i∈[0，P-1]；或者，根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第一标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子；第一标志用于表示当前帧是否需要编码除声道间时间差参数之外的立体声参数，当前帧包括P个子帧，当前帧的下混补偿因子包括当前帧的第i个子帧的下混补偿因子，P和i均为整数，P≥2，i∈[0，P-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000111
其中，
Figure BDA0001680902970000112
Figure BDA0001680902970000113
或者，
Figure BDA0001680902970000114
E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
上述计算单元，还具体用于根据公式DMX_compib(k)＝αi(b)*Lib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000121
其中，
Figure BDA0001680902970000122
E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Si(b)表示当前帧的第i个子帧第b个子带的残差信号的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，RESib′(k)表示当前帧的第i个子帧第b个子带的残差信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
上述计算单元，还具体用于根据公式DMX_compib(k)＝αi(b)*Lib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000123
其中，
Figure BDA0001680902970000124
Figure BDA0001680902970000125
E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，nipd_flag为第二标志，nipd_flag＝1表示当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数，k为频点索引值，所述当前帧的每个子帧均包括M个子带，所述当前帧的第i个子帧的下混补偿因子包括所述当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
上述计算单元，还具体用于根据公式DMX_compib(k)＝αi(b)*Lib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000131
其中，
Figure BDA0001680902970000132
Figure BDA0001680902970000133
或者，
Figure BDA0001680902970000134
E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值。
上述计算单元，还具体用于根据公式DMX_compi(k)＝αi*Li″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000135
其中，
Figure BDA0001680902970000141
E_Si表示当前帧的第i个子帧在预设频带内所有子带的残差信号的能量和，E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，RESi′(k)表示当前帧的第i个子帧在预设频带内所有子带的残差信号，k为频点索引值。
上述计算单元，还具体用于根据公式DMX_compi(k)＝αi*Li″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的左声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000142
其中，
Figure BDA0001680902970000143
Figure BDA0001680902970000144
E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值，nipd_flag为第二标志，nipd_flag＝1表示当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数。
上述计算单元，还具体用于根据公式DMX_compi(k)＝αi*Li″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000145
其中，
Figure BDA0001680902970000146
Figure BDA0001680902970000151
或者，
Figure BDA0001680902970000152
E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，Lib′(k)表示经过时移调整后的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
上述计算单元，还具体用于根据公式DMX_compib(k)＝αi(b)*Rib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的右声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000153
其中，
Figure BDA0001680902970000154
E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_Si(b)表示当前帧的第i个子帧第b个子带的残差信号的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，RESib′(k)表示当前帧的第i个子帧第b个子带的残差信号，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
上述计算单元，还具体用于根据公式DMX_compib(k)＝αi(b)*Rib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure BDA0001680902970000161
其中，
Figure BDA0001680902970000162
Figure BDA0001680902970000163
E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，nipd_flag为第二标志，nipd_flag＝1表示当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数，k为频点索引值，当前帧的每个子帧均包括M个子带，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2。
上述计算单元，还具体用于根据公式DMX_compib(k)＝αi(b)*Rib″(k)计算当前帧的第i个子帧第b个子带的补偿下混信号，其中，DMX_compib(k)表示当前帧的第i个子帧第b个子带的补偿下混信号，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000164
其中，
Figure BDA0001680902970000165
Figure BDA0001680902970000166
或者，
Figure BDA0001680902970000167
E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值。
上述计算单元，还具体用于根据公式DMX_compi(k)＝αi*Ri″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的右声道频域信号以及当前帧的第i个子帧的残差信号，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000171
其中，
Figure BDA0001680902970000172
E_Si表示当前帧的第i个子帧在预设频带内所有子带的残差信号的能量和，E_Ri表示当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，RESi′(k)表示当前帧的第i个子帧在预设频带内所有子带的残差信号，k为频点索引值。
上述计算单元，还具体用于根据下述公式计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号：
DMX_compi(k)＝αi*Ri″(k)
其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，在当前帧的第i个子帧的第二频域信号为当前帧的第i个子帧的右声道频域信号的情况下，上述计算单元具体用于：根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，计算当前帧的第i个子帧的下混补偿因子。这里，当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure BDA0001680902970000173
其中，
Figure BDA0001680902970000174
Figure BDA0001680902970000175
E_Li表示当前帧的第i个子帧在预设频带内所有子带的左声道频域信号的能量和，E_Ri为当前帧的第i个子帧在预设频带内所有子带的右声道频域信号的能量和，E_LRi为当前帧的第i个子帧在预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为预设频带内所有子带的最小频点索引值，band_limits_2为预设频带内所有子带的最大频点索引值，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值，nipd_flag为第二标志，nipd_flag＝1表示当前帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧需要编码除声道间时间差参数之外的立体声参数。
上述计算单元，还具体用于根据公式DMX_compi(k)＝αi*Ri″(k)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，其中，DMX_compi(k)表示当前帧的第i个子帧在预设频带内所有子带的补偿下混信号，Ri″(k)表示根据立体声参数调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
可选的，在本申请的另一种可能的实现方式中，Th1≤b≤Th2，或者，Th1<b≤Th2，或者，Th1≤b<Th2，或者，Th1<b<Th2，其中，0≤Th1≤Th2≤M-1，Th1为预设频带中的最小子带索引值，Th2为预设频带中的最大子带索引值。
第三方面，提供一种终端，该终端包括：一个或多个处理器、存储器、通信接口。其中，存储器、通信接口与一个或多个处理器耦合；该终端通过通信接口与其他设备通信，存储器用于存储计算机程序代码，计算机程序代码包括指令，当一个或多个处理器执行指令时，终端执行如上述第一方面或上述第一方面中任意一种可能的实现方式所述的下混信号的计算方法。
第四方面，提供一种音频编码器，包括非易失性存储介质以及中央处理器，所述非易失性存储介质存储有可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述可执行程序以实现上述第一方面或上述第一方面中任意一种可能的实现方式所述的下混信号的计算方法。
第五方面，提供一种编码器，所述编码器包括上述第二方面中的下混信号的计算装置以及编码模块，其中，所述编码模块用于对所述下混信号的计算装置得到的当前帧的第一下混信号进行编码。
第六方面，还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令；当其在上述第三方面所述的终端上运行时，使得所述终端执行如上述第一方面或上述第一方面中任意一种可能的实现方式所述的下混信号的计算方法。
第七方面，还提供一种包含指令的计算机程序产品，当其在上述第三方面所述的终端上运行时，使得所述终端执行如上述第一方面或上述第一方面中任意一种可能的实现方式所述的下混信号的计算方法。
本申请中第二方面、第三方面、第四方面、第五方面、第六方面、第七方面及其各种实现方式的具体描述，可以参考第一方面及其各种实现方式中的详细描述；并且，第二方面、第三方面、第四方面、第五方面、第六方面、第七方面及其各种实现方式的有益效果，可以参考第一方面及其各种实现方式中的有益效果分析，此处不再赘述。
第八方面，提供一种下混信号的计算方法，在立体声信号的当前帧的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，计算装置获取前一帧的下混补偿因子和当前帧的第二下混信号，并根据前一帧的下混补偿因子对当前帧的第二下混信号进行修正，以得到当前帧的第一下混信号，后续，该计算装置将当前帧的第一下混信号确定为预设频带内当前帧的下混信号。
本申请实施例在立体声信号的当前帧的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，计算装置计算当前帧的第一下混信号，并将该第一下混信号确定为预设频带内当前帧的下混信号，解决了预设频带中在编码残差信号和不编码残差信号之间来回切换导致的解码立体声信号的空间感和声像稳定性不连续问题，有效的提升了听觉质量。
可选的，在本申请的一种可能的实现方式中，上述“计算装置根据前一帧的下混补偿因子对当前帧的第二下混信号进行修正”的方法为：计算装置根据当前帧的第一频域信号及前一帧的下混补偿因子，计算当前帧的补偿下混信号，并根据当前帧的第二下混信号和前一帧的补偿下混信号，计算当前帧的第一下混信号，这里，第一频域信号为当前帧的左声道频域信号或当前帧的右声道频域信号；或者，计算装置根据当前帧的第i个子帧的第二频域信号及前一帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号，并根据当前帧的第i个子帧的第二下混信号和前一帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号，这里，第二频域信号为当前帧的第i个子帧的左声道频域信号或当前帧的第i个子帧的右声道频域信号，当前帧包括P个子帧，当前帧的第一下混信号包括当前帧的第i个子帧的第一下混信号，P和i均为整数，P≥2，i∈[0，P-1]。
可选的，在本申请的另一种可能的实现方式中，上述“计算装置根据当前帧的第一频域信号及前一帧的下混补偿因子，计算当前帧的补偿下混信号”的方法为：计算装置将当前帧的第一频域信号与前一帧的下混补偿因子的乘积确定为当前帧的补偿下混信号。
上述“计算装置根据当前帧的第二下混信号和当前帧的补偿下混信号，计算当前帧的第一下混信号”的方法为：计算装置将当前帧的第二下混信号和当前帧的补偿下混信号的和确定为当前帧的第一下混信号。上述“计算装置根据当前帧的第i个子帧的第二频域信号及前一帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号”是方法为：计算装置将第i个子帧的第二频域信号与第i个子帧的下混补偿因子的乘积确定为第i个子帧的补偿下混信号。
上述“计算装置根据当前帧的第i个子帧的第二下混信号和前一帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号”的方法为：计算装置将当前帧的第i个子帧的第二下混信号和前一帧的第i个子帧的补偿下混信号的和确定为当前帧的第i个子帧的第一下混信号。
第九方面，提供一种下混信号的计算装置。具体的，该计算装置包括确定单元、获取单元以及计算单元。
本申请提供的各个单元模块所实现的功能具体如下：
上述确定单元，用于确定立体声信号的当前帧的前一帧是否为切换帧，以及前一帧的残差信号是否需要编码。上述获取单元，用于在上述确定单元确定当前帧的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，获取前一帧的下混补偿因子，以及获取当前帧的第二下混信号。上述计算单元，用于根据上述获取单元获取到的前一帧的下混补偿因子对当前帧的第二下混信号进行修正，以得到当前帧的第一下混信号。上述确定单元，还用于将修正单元得到的第一下混信号确定为预设频带内当前帧的下混信号。
可选的，在本申请的一种可能的实现方式中，上述计算单元具体用于：根据当前帧的第一频域信号及前一帧的下混补偿因子，计算当前帧的补偿下混信号，其中，第一频域信号为当前帧的左声道频域信号或当前帧的右声道频域信号；根据当前帧的第二下混信号和前一帧的补偿下混信号，计算当前帧的第一下混信号；或者，根据当前帧的第i个子帧的第二频域信号及前一帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号，其中，第二频域信号为当前帧的第i个子帧的左声道频域信号或当前帧的第i个子帧的右声道频域信号；根据当前帧的第i个子帧的第二下混信号和前一帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号，当前帧包括P个子帧，当前帧的第一下混信号包括当前帧的第i个子帧的第一下混信号，P和i均为整数，P≥2，i∈[0，P-1]。
可选的，在本申请的另一种可能的实现方式中，上述计算单元具体用于：将当前帧的第一频域信号与前一帧的下混补偿因子的乘积确定为当前帧的补偿下混信号，以及将当前帧的第二下混信号和当前帧的补偿下混信号的和确定为当前帧的第一下混信号；或者，将第i个子帧的第二频域信号与第i个子帧的下混补偿因子的乘积确定为第i个子帧的补偿下混信号；以及将当前帧的第i个子帧的第二下混信号和前一帧的第i个子帧的补偿下混信号的和确定为当前帧的第i个子帧的第一下混信号。
第十方面，提供一种终端，该终端包括：一个或多个处理器、存储器、通信接口。其中，存储器、通信接口与一个或多个处理器耦合；该终端通过通信接口与其他设备通信，存储器用于存储计算机程序代码，计算机程序代码包括指令，当一个或多个处理器执行指令时，终端执行如上述第八方面或上述第八方面中任意一种可能的实现方式所述的下混信号的计算方法。
第十一方面，提供一种音频编码器，包括非易失性存储介质以及中央处理器，所述非易失性存储介质存储有可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述可执行程序以实现上述第八方面或上述第八方面中任意一种可能的实现方式所述的下混信号的计算方法。
第十二方面，提供一种编码器，所述编码器包括上述第九方面中的下混信号的计算装置以及编码模块，其中，所述编码模块用于对所述下混信号的计算装置得到的当前帧的第一下混信号进行编码。
第十三方面，还提供一种计算机可读存储介质，该计算机可读存储介质中存储有指令；当其在上述第十方面所述的终端上运行时，使得所述终端执行如上述第八方面或上述第八方面中任意一种可能的实现方式所述的下混信号的计算方法。
第十四方面，还提供一种包含指令的计算机程序产品，当其在上述第十方面所述的终端上运行时，使得所述终端执行如上述第八方面或上述第八方面中任意一种可能的实现方式所述的下混信号的计算方法。
本申请中第九方面、第十方面、第十一方面、第十二方面、第十三方面、第十四方面及其各种实现方式的具体描述，可以参考第八方面及其各种实现方式中的详细描述；并且，第九方面、第十方面、第十一方面、第十二方面、第十三方面、第十四方面及其各种实现方式的有益效果，可以参考第八方面及其各种实现方式中的有益效果分析，此处不再赘述。
在本申请中，上述下混信号的计算装置的名字对设备或功能模块本身不构成限定，在实际实现中，这些设备或功能模块可以以其他名称出现。只要各个设备或功能模块的功能和本申请类似，属于本申请权利要求及其等同技术的范围之内。
本申请的这些方面或其他方面在以下的描述中会更加简明易懂。
附图说明
图1为本申请实施例中音频传输系统的结构示意图；
图2为本申请实施例中音频编解码装置的结构示意图；
图3为本申请实施例中音频编解码系统的结构示意图；
图4为本申请实施例提供的下混信号的计算方法的流程示意图一；
图5A为本申请实施例提供的下混信号的计算方法的流程示意图二；
图5B为本申请实施例提供的下混信号的计算方法的流程示意图三；
图5C为本申请实施例提供的下混信号的计算方法的流程示意图四；
图6为本申请实施例中音频信号的编码方法的流程示意图一；
图7为本申请实施例中音频信号的编码方法的流程示意图二；
图8为本申请实施例中音频信号的编码方法的流程示意图三；
图9为本申请实施例中音频信号的编码方法的流程示意图四；
图10为本申请实施例中音频信号的编码方法的流程示意图五；
图11为本申请实施例中下混信号的计算装置的结构示意图一；
图12为本申请实施例中下混信号的计算装置的结构示意图二；
图13为本申请实施例中下混信号的计算装置的结构示意图三。
具体实施方式
在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
与单声道信号不同，立体声信号具有声像信息，使得声音空间感更强。在立体声信号中，对一些音乐信号和语音信号来说，低频信息能够更好地体现立体声信号的空间感，同时低频信息的准确性对立体声声像的稳定性也起着很重要的作用。
目前，通常采用参数立体声编解码技术实现对立体声信号的编解码。参数立体声编解码技术通过将立体声信号转换为空间感知参数和一路(或两路)信号，来实现对立体声信号的压缩处理。参数立体声编解码可以在时域进行，也可以在频域进行，还可以在时频结合的情况下进行。对于在频域或时频结合情况下进行的参数立体声编码，编码端对输入的立体声信号进行分析后可以获得立体声参数、下混信号以及残差信号。
参数立体声编解码技术中的立体声参数包括声道间相关性(Inter-channelCoherence，IC)、声道间电平差(Inter-channel Level Difference，ILD)、声道间时间差(Inter-channel Time Difference，ITD)以及声道间相位差(Inter-channel PhaseDifference，IPD)等。
其中，ITD和IPD为表示声信号水平方位的空间感知参数，ILD、ITD和IPD决定人耳对声信号位置的感知，对立体声信号的恢复具有重大作用。
现有技术中，立体声信号的一种编码方式为：在编码速率比较低的情况下(如在编码速率为26kbps及更低速率)，不对残差信号进行编码；在编码速率较高的情况下对部分或者全部残差信号进行编码。但是，如果不对残差信号进行编码，会导致解码立体声信号的空间感较差，而且声像稳定性受立体声参数提取的准确性影响很大。
立体声信号的另一种编码方式为：在编码速率比较低的情况下，对立体声参数、下混信号以及预设的低频带所对应子带的残差信号进行编码，以提升解码立体声信号的空间感和声像稳定性。但是，由于编码比特总数的限制，若对预设的低频带所对应子带的残差信号进行编码，则会导致某些高频信息由于未被分配足够的比特数，从而无法对下混信号中的高频信息进行编码，使得解码立体声信号的高频失真变大，从而影响编码整体质量。
立体声信号的另一种编码方式为：在编码速率比较低的情况下，对立体声参数和下混信号进行编码，此外，编码端还根据前一帧的下混信号对当前帧的残差信号进行预测，并对预测系数进行编码，从而实现用很少的比特数编码残差信号相关信息。但是，在下混信号的频谱结构和残差信号的频谱结构之间的相似性很低的情况下，通过该方法估计出的残差信号往往和真实的残差信号差距较大，使得解码立体声信号的空间感提升不明显，无法改善声像稳定性问题。
立体声信号的另一种编码方式为：编码端采用固定公式计算下混信号和残差信号，并根据相应的编码方法对计算出的下混信号和残差信号进行编码。但是，在编码过程中，若需要在编码残差信号和不编码残差信号之间来回切换，而下混信号的计算方法保持不变，使得解码立体声信号的空间感和声像稳定性不连续，影响听觉质量。
针对上述任一技术问题，本申请提供一种音频信号的编码方法，自适应地选择是否对预设频带内对应子带的残差信号进行编码，在提升解码立体声信号的空间感和声像稳定性的同时，尽可能降低解码立体声信号的高频失真，提高编码整体质量。
若自适应地选择是否对满足预设频带内对应子带的残差信号进行编码，则在预设频带内，该编码端需要在编码残差信号和不编码残差信号之间来回切换。
鉴于此，本申请实施例提供一种下混信号的计算方法，在确定立体声信号的当前帧不为切换帧、且所述当前帧的残差信号不需要编码的情况下，或者，在确定立体声信号的当前帧的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，采用一种新的方法计算当前帧的第一下混信号，并将计算出的当前帧的第一下混信号确定为预设频带内当前帧的下混信号，解决了预设频带中在编码残差信号和不编码残差信号之间来回切换导致的解码立体声信号的空间感和声像稳定性不连续问题，有效的提升了听觉质量。
其中，本申请实施例中在确定立体声信号的当前帧不为切换帧、且所述当前帧的残差信号不需要编码的情况下，或者，在确定立体声信号的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，计算当前帧的第一下混信号的方法为：获取当前帧的第二下混信号，并获取当前帧的下混补偿因子，这样，根据所述当前帧的下混补偿因子对所述当前帧的第二下混信号进行修正，以得到所述当前帧的第一下混信号。
此外，在立体声信号的当前帧的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，计算当前帧的第一下混信号的方法还可以为：获取前一帧的下混补偿因子和当前帧的第二下混信号，并根据所述前一帧的下混补偿因子对所述当前帧的第二下混信号进行修正，以得到所述当前帧的第一下混信号。
本申请提供的下混信号的计算方法可以由下混信号的计算装置、音频编解码装置、音频编解码器以及其它具有音频编解码功能的设备来执行。该下混信号的计算方法发生在编码过程。
本申请实施例提供的下混信号的计算方法适用于音频传输系统。图1是本申请实施例提供的音频传输系统的结构示意图。如图1所示，该音频传输系统包括模数转换(Analog-to-Digital，A/D)模块101、编码模块102、发送模块103、网络104、接收模块105、解码模块106、数模转换(Digital-to-Analog，D/A)模块107。
其中，音频传输系统中各个模块的具体作用如下：
模数转换模块101用于对立体声信号进行编码前的处理，将连续的立体声模拟信号转化为离散的立体声数字信号。
编码模块102用于对立体声数字信号进行编码，得到码流。
发送模块103用于将编码得到的码流发送出去。
网络104用于将发送模块103发送的码流传输到接收模块105。
接收模块105用于接收发送模块103发送的码流。
解码模块106用于对接收模块105接收的码流进行解码，重建立体声数字信号。
数模转换模块107用于对解码模块106得到的立体声数字信号进行数模转换，得到立体声模拟信号。
具体的，图1所示的音频传输系统中的编码模块102可以执行本申请实施例的下混信号的计算方法。
从上述描述可知，本申请实施例提供的下混信号的计算方法可以由音频编解码装置执行。这样，本申请实施例提供的下混信号的计算方法也适用于由音频编解码装置组成的编解码系统。
下面结合图2和图3对音频编解码装置和由音频编解码装置组成的音频编解码系统进行详细的介绍。
图2是本申请实施例的音频编解码装置的示意性图。如图2所示，音频编解码装置20可以是专门用于对音频信号进行编码和/或解码的装置，也可以是具有音频编解码功能的电子设备，进一步地，该音频编解码装置20可以是无线通信系统的移动终端或者用户设备。
音频编解码装置20可以包括：控制器201、射频(Radio Frequency，RF)电路202、存储器203、编解码器204、扬声器205、麦克风206、外设接口207以及电源装置208等部件。这些部件可通过一根或多根通信总线或信号线(图2中未示出)进行通信。
本领域技术人员可以理解，图2中示出的结构并不构成对音频编解码装置20的限定，音频编解码装置20可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图2对音频编解码装置20的各个部件进行具体的介绍：
控制器201是音频编解码装置20的控制中心，利用各种接口和线路连接音频编解码装置20的各个部分，通过运行或执行存储在存储器203内的应用程序，以及调用存储在存储器203内的数据，执行音频编解码装置20的各种功能和处理数据。在一些实施例中，控制器201可包括一个或多个处理单元。
RF电路202可用于在收发信息过程中，无线信号的接收和发送。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，RF电路202还可以通过无线通信和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统、通用分组无线服务、码分多址、宽带码分多址、长期演进、电子邮件、短消息服务等。
存储器203用于存储应用程序以及数据，控制器201通过运行存储在存储器203的应用程序以及数据，执行音频编解码装置20的各种功能以及数据处理。
存储器203主要包括存储程序区以及存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像处理功能等)；存储数据区可以存储根据使用音频编解码装置20时所创建的数据。此外，存储器203可以包括高速随机存取存储器(RAM)，还可以包括非易失存储器，例如磁盘存储器件、闪存器件或其他易失性固态存储器件等。存储器203可以存储各种操作系统，例如，iOS操作系统，Android操作系统等。上述存储器203可以是独立的，通过上述通信总线与控制器201相连接；存储器203也可以和控制器201集成在一起。
编解码器204用于对音频信号编码或解码。
扬声器205以及麦克风206可提供用户与音频编解码装置20之间的音频接口。编解码器204可将编码后的音频信号，传输到扬声器205，由扬声器205转换为声音信号输出。麦克风206将收集的声音信号转换为电信号，由编解码器204接收后转换为音频数据，再将音频数据输出至RF电路202以发送至比如另一音频编解码装置，或者将音频数据输出至存储器203以便进一步处理。
外设接口207，用于为外部的输入/输出设备(例如键盘、鼠标、外接显示器、外部存储器等)提供各种接口。例如通过通用串行总线(Universal Serial Bus，USB)接口与鼠标连接，通过用户识别模块卡卡槽上的金属触点与电信运营商提供的用户识别模块卡(Subscriber Identification Module，SIM)卡进行连接。外设接口207可以被用来将上述外部的输入/输出外围设备耦接到控制器201和存储器203。
在本申请实施例中，音频编解码装置20可通过外设接口207与设备组内的其他设备进行通信，例如，通过外设接口207可接收其他设备发送的显示数据进行显示等，本申请实施例对此不作任何限制。
音频编解码装置20还可以包括给各个部件供电的电源装置208(比如电池和电源管理芯片)，电池可以通过电源管理芯片与控制器201逻辑相连，从而通过电源装置208实现管理充电、放电、以及功耗管理等功能。
可选的，音频编解码装置20还可以包括传感器、指纹采集器件、智能卡、蓝牙装置、无线保真(Wireless Fidelity，Wi-Fi)装置或显示单元中的至少一种。这里对此不再一一进行描述。
在本申请的一些实施例中，音频编解码装置20可以在传输和/或存储之前，接收另一设备发送的待处理的音频信号。在本申请的另一些实施例中，音频编解码装置20可以通过无线或者有线连接接收音频信号并对接收到的音频信号进行编码/解码。
图3是本申请实施例的音频编解码系统30的示意性框图。
如图3所示，音频编解码系统30包含源装置301及目的装置302。源装置301产生经过编码后的音频信号，源装置301也可以被称为音频编码装置或音频编码设备，目的装置302可以对源装置301产生的经过编码后的音频数据进行解码，目的装置302也可以被称为音频解码装置或音频解码设备。
源装置301和目的装置302的具体实现形式可以是如下设备中的任意一种：台式计算机、移动计算装置、笔记本(例如，膝上型)计算机、平板计算机、机顶盒、智能电话、手持机、电视、相机、显示装置、数字媒体播放器、视频游戏控制台、车载计算机，或者其它类似的设备。
目的装置302可以经由信道303接收来自源装置301编码后的音频信号。信道303可包括能够将编码后的音频信号从源装置301移动到目的装置302的一个或多个媒体和/或装置。在一个示例中，信道303可以包括使源装置301能够实时地将编码后的音频信号直接发射到目的装置302的一个或多个通信媒体，在此示例中，源装置301可以根据通信标准(例如，无线通信协议)来调制编码后的音频信号，并且可以将调制后的音频信号发射到目的装置302。上述一个或多个通信媒体可以包含无线和/或有线通信媒体，例如射频(RadioFrequency，RF)频谱或一根或多根物理传输线。上述一个或多个通信媒体可以形成基于包的网络(例如，局域网、广域网或全球网络(例如，因特网))的部分。上述一个或多个通信媒体可以包含路由器、交换器、基站，或者实现从源装置301到目的装置302的通信的其它设备。
在另一示例中，信道303可包含存储由源装置301产生的编码后的音频信号的存储媒体。在此示例中，目的装置302可经由磁盘存取或卡存取来存取存储媒体。存储媒体可包含多种本地存取式数据存储媒体，例如蓝光光盘、高密度数字视频光盘(Digital VideoDisc，DVD)、只读光盘(Compact Disc Read-Only Memory，CD-ROM)、快闪存储器，或用于存储经编码视频数据的其它合适数字存储媒体。
在另一示例中，信道303可包含文件服务器或存储由源装置301产生的编码后的音频信号的另一中间存储装置。在此示例中，目的装置302可经由流式传输或下载来存取存储于文件服务器或其它中间存储装置处的编码后的音频信号。文件服务器可以是能够存储编码后的音频信号且将所述编码后的音频信号发射到目的装置302的服务器类型。例如，文件服务器可以包含全球广域网(World Wide Web，Web)服务器(例如，用于网站)、文件传送协议(File Transfer Protocol，FTP)服务器、网络附加存储(Network Attached Storage，NAS)装置以及本地磁盘驱动器。
目的装置302可经由标准数据连接(例如，因特网连接)来存取编码后的音频信号。数据连接的实例类型包含适合于存取存储于文件服务器上的编码后的音频信号的无线信道、有线连接(例如，缆线调制解调器等)，或两者的组合。编码后的音频信号从文件服务器的发射可为流式传输、下载传输或两者的组合。
本申请的下混信号的计算方法不限于无线应用场景，示例性的，本申请的下混信号的计算方法可以应用于支持以下应用等多种多媒体应用的音频编解码：空中电视广播、有线电视发射、卫星电视发射、流式传输视频发射(例如，经由因特网)、存储于数据存储媒体上的音频信号的编码、存储于数据存储媒体上的音频信号的解码，或其它应用。
在一些实例中，音频编解码系统30可经配置以支持单向或双向视频发射，以支持例如视频流式传输、视频播放、视频广播和/或视频电话等应用。
在图3中，源装置301包含音频源3011、音频编码器3012及输出接口3013。在一些实例中，输出接口3013可包含调制器/解调器(调制解调器)和/或发射器。音频源3011可包含音频俘获装置(例如智能手机)、含有先前俘获的音频信号的音频存档、用以从音频内容提供者接收音频信号的音频输入接口，和/或用于产生音频信号的计算机图形系统，或上述音频信号源的组合。
音频编码器3012可编码来自音频源3011的音频信号。在一些实例中，源装置301经由输出接口3013将编码后的音频信号直接发射到目的装置302。编码后的音频信号还可存储于存储媒体或文件服务器上以供目的装置302稍后存取以用于解码和/或播放。
在图3的实例中，目的装置302包含输入接口3023、音频解码器3022及播放装置3021。在一些实例中，输入接口3023包含接收器和/或调制解调器。输入接口3023可经由信道303接收编码后的音频信号。播放装置3021可与目的装置302整合或可在目的装置302外部。一般来说，播放装置3021播放解码后的音频信号。
音频编码器3012及音频解码器3022可根据音频压缩标准而操作。
下面结合图1所示的音频传输系统、图2示出的音频编解码装置以及图3示出的由音频编解码装置组成的音频编解码系统对本申请提供的下混信号的计算方法进行详细描述。
本申请实施例提供的下混信号的计算方法可以由下混信号的计算装置执行，也可以由音频编解码装置执行，还可以由音频编解码器执行，还可以由其它具有音频编解码功能的设备执行，本申请实施例对此不作具体限定。
具体的，请参见图4，图4为本申请实施例提供的下混信号的计算方法的流程示意图。为了便于说明，图4中以音频编码器为执行主体为例进行说明。
如图4所示，该下混信号的计算方法包括：
S401、音频编码器确定立体声信号的当前帧是否为切换帧，以及该当前帧的残差信号是否需要编码。
音频编码器根据当前帧的残差编码切换标志的数值确定当前帧是否为切换帧，并根据当前帧的残差信号编码标志的数值确定当前帧的残差信号是否需要编码。
可选的，若当前帧的残差编码切换标志的数值等于0，则当前帧不为切换帧；若当前帧的残差编码切换标志的数值大于0，则当前帧为切换帧。若当前帧的残差信号编码标志的数值等于0，则不需要对当前帧的残差信号进行编码；若当前帧的残差信号编码标志的数值大于0，则需要对当前帧的残差信号进行编码。
关于“残差编码切换标志”、“残差信号编码标志”以及“音频编码器确定立体声信号的当前帧是否为切换帧，以及该当前帧的残差信号是否需要编码”的详细描述请参考下文。
S402、在当前帧不为切换帧、且当前帧的残差信号不需要编码的情况下，音频编码器计算当前帧的第一下混信号，并将该第一下混信号确定为预设频带内当前帧的下混信号。
具体的，结合图4，如图5A所示，在当前帧不为切换帧、且当前帧的残差信号不需要编码的情况下，音频编码器执行下述S402a～S402c，以计算当前帧的第一下混信号。即S402可以用S402a～S402c替换。
现对S402a～S402c进行说明。
S402a、音频编码器获取当前帧的第二下混信号。
音频编码器可以在确定当前帧不为切换帧且当前帧的残差信号不需要编码之前，计算当前帧的第二下混信号，这样，该音频编码器在确定当前帧不为切换帧且当前帧的残差信号不需要编码后，直接获取已经计算的当前帧的第二下混信号。音频编码器也可以在确定当前帧不为切换帧且当前帧的残差信号不需要编码后，计算当前帧的第二下混信号。
可选的，音频编码器可以根据当前帧的左声道频域信号和当前帧的右声道频域信号，计算当前帧的第二下混信号；也可以根据当前帧在预设频带中对应的各个子带的左声道频域信号和当前帧在预设频带中对应的各个子带的右声道频域信号，计算当前帧在预设频带中对应的各个子带的第二下混信号；还可以根据当前帧中各个子帧的左声道频域信号和当前帧中各个子帧的右声道频域信号，计算当前帧中各个子帧的第二下混信号；还可以根据当前帧中各个子帧在预设频带中对应的各个子带的左声道频域信号和当前帧中各个子帧在预设频带中对应的各个子带的右声道频域信号，计算当前帧中各个子帧在预设频带中对应的各个子带的第二下混信号。
其中，本申请实施例中的预设频带均为预设的低频频带。
需要说明的是，若音频编码器根据当前帧的子帧的粒度计算第二下混信号，则该音频编码器需要计算当前帧中每一子帧的第二下混信号，这样，该音频编码器即可获取到当前帧的第二下混信号，当前帧的第二下混信号包括当前帧中每一子帧的第二下混信号。
对于当前帧中的每一子帧，若音频编码器根据该子帧在每个子带的粒度计算第二下混信号，则该音频编码器需要计算该子帧在每一子带的第二下混信号，这样，该音频编码器即可获取到该子帧的第二下混信号，该子帧的第二下混信号包括该子帧在每一子带的第二下混信号。
在一个示例中，若本申请实施例中的立体声信号的每一帧均包括P(P≥2，P为整数)个子帧，每个子帧均包括M(M≥2)个子带，则音频编码器利用下述公式(1)确定当前帧的第i个子帧第b个子带的第二下混信号DMXib(k)。
当前帧的第二下混信号包括当前帧的第i个子帧的第二下混信号，当前帧的第i个子帧的第二下混信号包括当前帧的第i个子帧第b个子带的第二下混信号。其中，b和i均为整数，i∈[0，P-1]，b∈[0，M-1]。
Figure BDA0001680902970000261
上述公式(1)中，Lib″(k)＝Lib′(k)*e-jβ，Rib″(k)＝Rib′(k)*e-j(IPD(b)-β)，β＝arctan(sin(IPDi(b))，cos(IPDi(b))+2*c)，c＝(1+g_ILDi)/(1-g_ILDi)，IPDi(b)为当前帧的第i个子帧第b个子带的IPD参数，g_ILDi为当前帧的第i个子帧的子带边增益，Lib′(k)为经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)为经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，Lib″(k)为经过立体声参数(如IC、ILD、ITD、IPD等)调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib″(k)为经过上述立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]，band_limits(b)为当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示当前帧的第i个子帧第b+1个子带的最小频点索引值。
在另一种实例中，音频编码器利用下述公式(2)确定当前帧的第i个子帧第b个子带的第二下混信号DMXib(k)。
同理，当前帧的第二下混信号包括当前帧的第i个子帧的第二下混信号，当前帧的第i个子帧的第二下混信号包括当前帧的第i个子帧第b个子带的第二下混信号。其中，b和i均为整数，i∈[0，P-1]，b∈[0，M-1]。
DMXib(k)＝[Lib″(k)+Rib″(k)]*c(2)
Figure BDA0001680902970000271
公式(2)中的各个参数可参考上述公式(1)中各个参数的描述，此处不再进行详细赘述。
S402b、音频编码器获取当前帧的下混补偿因子。
可选的，音频编码器可以根据当前帧的左声道频域信号、当前帧的右声道频域信号、当前帧的第二下混信号、当前帧的残差信号或第一标志中的至少一种，计算当前帧的下混补偿因子。
其中，第一标志用于表示当前帧是否需要编码除声道间时间差参数之外的立体声参数。本申请中第一标志可以采用直接或间接的形式呈现。
示例性的，在一种实现方式中，第一标志为标志flag，flag＝1表示当前帧需要编码除声道间时间差参数之外的立体声参数，flag＝0表示当前帧不需要编码除声道间时间差参数之外的立体声参数。在另一种实现方式中，声道间相位差IPD的数值为1表示当前帧需要编码除声道间时间差参数之外的立体声参数，声道间相位差IPD的数值为0表示当前帧不需要编码除声道间时间差参数之外的立体声参数。
音频编码器还可以根据当前帧的第i个子帧(当前帧包括P个子帧，P≥2，i∈[0，P-1])的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子。其中，第二标志用于表示当前帧的第i个子帧是否需要编码除声道间时间差参数之外的立体声参数，当前帧的下混补偿因子包括当前帧的第i个子帧的下混补偿因子。可以看出，在这种情况下，音频编码器需要计算出当前帧中每一子帧的下混补偿因子。
音频编码器还可以根据当前帧的第i个子帧(当前帧包括P个子帧，P≥2，i∈[0，P-1])的左声道频域信号、当前帧的第i个子帧的右声道频域信号、当前帧的第i个子帧的第二下混信号、当前帧的第i个子帧的残差信号或第一标志中的至少一种，计算当前帧的第i个子帧的下混补偿因子。其中，第一标志用于表示当前帧是否需要编码除声道间时间差参数之外的立体声参数，当前帧的下混补偿因子包括当前帧的第i个子帧的下混补偿因子。可以看出，在这种情况下，音频编码器需要计算出当前帧中每一子帧的下混补偿因子。
同理，若音频编码器根据当前帧的子帧的粒度计算下混补偿因子，则该音频编码器需要计算当前帧中每一子帧的下混补偿因子，这样，该音频编码器即可获取到当前帧的下混补偿因子，当前帧的下混补偿因子包括当前帧中每一子帧的下混补偿因子。
对于当前帧中的每一子帧，若音频编码器根据该子帧在每个子带的粒度计算下混补偿因子，则该音频编码器需要计算该子帧在每一子带的下混补偿因子，这样，该音频编码器即可获取到该子帧的下混补偿因子，该子帧的下混补偿因子包括该子帧在每一子带的下混补偿因子。
示例性的，音频编码器可以根据当前帧的左声道频域信号和当前帧的右声道频域信号，计算当前帧的下混补偿因子；也可以根据当前帧各个子带的左声道频域信号和当前帧各个子带的右声道频域信号，计算当前帧各个子带的下混补偿因子；还可以根据当前帧在预设频带中对应的各个子带的左声道频域信号和当前帧在预设频带中对应的各个子带的右声道频域信号，计算当前帧在预设频带中对应的各个子带的下混补偿因子。
进一步地，若音频编码器对立体声信号的每一帧信号分为多个子帧进行处理，则该音频编码器可以根据当前帧的各个子帧的左声道频域信号和当前帧的各个子帧的右声道频域信号，计算当前帧的各个子帧的下混补偿因子；也可以根据当前帧各个子帧的各个子带的左声道频域信号和当前帧各个子帧的各个子带的右声道频域信号，计算当前帧的各个子帧的各个子带的下混补偿因子；还可以根据当前帧的各个子帧在预设频带中对应的各个子带的左声道频域信号和当前帧的各个子帧在预设频带中对应的各个子带的右声道频域信号，计算当前帧的各个子帧在预设频带中对应的各个子带的下混补偿因子。
这里，左声道频域信号可以是原始的左声道频域信号，可以是经过时移调整的左声道频域信号，也可以是经过所述立体声参数调整后的左声道频域信号。同理，右声道频域信号可以是原始的右声道频域信号，可以是经过时移调整的右声道频域信号，也可以是经过所述立体声参数调整后的右声道频域信号。
可选的，音频编码器根据所述当前帧的第i个子帧第b个子带的左声道频域信号、所述当前帧的第i个子帧第b个子带的右声道频域信号、所述当前帧的第i个子帧第b个子带的第二下混信号、所述当前帧的第i个子帧第b个子带的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子αi(b)。
在一个示例中，音频编码器根据当前帧的第i个子帧第b个子带的左声道频域信号和当前帧的第i个子帧第b个子带的右声道频域信号，利用下述公式(3)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)。
Figure BDA0001680902970000281
其中，
Figure BDA0001680902970000282
Figure BDA0001680902970000283
或者，
Figure BDA0001680902970000284
E_Li(b)表示当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，Lib′(k)为经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)为经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，b为整数，b∈[0，M-1]。此外，band_limits(b)、band_limits(b+1)、Lib″(k)以及Rib″(k)可以参考上述公式(1)中各个参数的描述，此处不再进行详细赘述。当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子。
在另一个示例中，音频编码器根据当前帧的第i个子帧第b个子带的左声道频域信号以及当前帧的第i个子帧第b个子带的残差信号，利用下述公式(4)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)。
Figure BDA0001680902970000291
其中，
Figure BDA0001680902970000292
E_Si(b)表示所述当前帧的第i个子帧第b个子带的残差信号的能量和，RESib′(k)表示所述当前帧的第i个子帧第b个子带的残差信号，当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]。E_Li(b)可以参考上述公式(3)的描述，此处不再进行详细赘述。band_limits(b)和band_limits(b+1)可以参考上述公式(1)中各个参数的描述，此处不再进行详细赘述。当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子。
在另一个示例中，音频编码器根据当前帧的第i个子帧第b个子带的左声道频域信号、当前帧的第i个子帧第b个子带的右声道频域信号以及第二标志，利用下述公式(5)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)。
Figure BDA0001680902970000293
其中，nipd_flag为上述第二标志，nipd_flag＝1表示当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数，b为整数，b∈[0，M-1]。E_Li(b)、E_Ri(b)以及E_LRi(b)可以参考上述公式(3)中各个参数的描述，此处不再进行详细赘述。当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子。
在另一个示例中，音频编码器根据当前帧的第i个子帧第b个子带的左声道频域信号和当前帧的第i个子帧第b个子带的右声道频域信号，利用下述公式(6)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)。
Figure BDA0001680902970000294
其中，b为整数，b∈[0，M-1]。E_Li(b)、E_Ri(b)以及E_LRi(b)可以参考上述公式(3)中各个参数的描述，此处不再进行详细赘述。当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子。
在另一个示例中，音频编码器根据当前帧的第i个子帧第b个子带的右声道频域信号以及当前帧的第i个子帧第b个子带的残差信号，利用下述公式(7)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)。
Figure BDA0001680902970000295
其中，b为整数，b∈[0，M-1]。E_Si(b)可以参考上述公式(4)中的描述，E_Ri(b)可以参考上述公式(3)的描述，此处不再进行详细赘述。当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子。
在另一个示例中，音频编码器根据当前帧的第i个子帧第b个子带的左声道频域信号、当前帧的第i个子帧第b个子带的右声道频域信号以及第二标志，利用下述公式(8)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)。
Figure BDA0001680902970000301
其中，b为整数，b∈[0，M-1]。E_Li(b)、E_Ri(b)以及E_LRi(b)可以参考上述公式(3)中各个参数的描述，nipd_flag可以参考上述公式(5)的描述，此处不再进行详细赘述。当前帧的第i个子帧的下混补偿因子包括当前帧的第i个子帧第b个子带的下混补偿因子。
可选的，音频编码器根据所述当前帧的第i个子帧在预设频带内所有子带的左声道频域信号、所述当前帧的第i个子帧在预设频带内所有子带的右声道频域信号、所述当前帧的第i个子帧在预设频带内所有子带的第二下混信号、所述当前帧的第i个子帧在预设频带内所有子带的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子αi。
在一个示例中，音频编码器根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，利用下述公式(9)计算当前帧的第i个子帧的下混补偿因子αi。
Figure BDA0001680902970000302
其中，
Figure BDA0001680902970000303
Figure BDA0001680902970000304
或者，
Figure BDA0001680902970000305
E_Li表示所述当前帧的第i个子帧在所述预设频带内所有子带的左声道频域信号的能量和，E_Ri为所述当前帧的第i个子帧在所述预设频带内所有子带的右声道频域信号的能量和，E_LRi为所述当前帧的第i个子帧在所述预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为所述预设频带内所有子带的最小频点索引值，band_limits_2为所述预设频带内所有子带的最大频点索引值，Li″(k)表示根据立体声参数调整后的所述当前帧的第i个子帧的左声道频域信号，Ri″(k)表示根据所述立体声参数调整后的所述当前帧的第i个子帧的右声道频域信号，Li′(k)表示经过时移调整后的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的第i个子帧的右声道频域信号，k为频点索引值，所述当前帧包括P个子帧，P和i均为整数，i∈[0，P-1]，P≥2。
在另一个示例中，音频编码器根据当前帧的第i个子帧的左声道频域信号以及当前帧的第i个子帧的残差信号，利用下述公式(10)计算当前帧的第i个子帧的下混补偿因子αi。
Figure BDA0001680902970000306
其中，
Figure BDA0001680902970000307
E_Si表示所述当前帧的第i个子帧在所述预设频带内所有子带的残差信号的能量和，RESi′(k)表示所述当前帧的第i个子帧在所述预设频带内所有子带的残差信号。
E_Li、band_limits_1以及band_limits_2可以参考上述公式(9)中各个参数的描述，此处不再进行详细赘述。
在另一个示例中，音频编码器根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，利用下述公式(11)计算当前帧的第i个子帧的下混补偿因子αi。
Figure BDA0001680902970000311
其中，E_Li、E_Ri以及E_LRi可以参考上述公式(9)中各个参数的描述，nipd_flag可以参考上述公式(5)的描述，此处不再进行详细赘述。
在另一个示例中，音频编码器根据当前帧的第i个子帧的左声道频域信号和当前帧的第i个子帧的右声道频域信号，利用下述公式(12)计算当前帧的第i个子帧的下混补偿因子αi。
Figure BDA0001680902970000312
其中，E_Li、E_Ri以及E_LRi可以参考上述公式(9)中各个参数的描述，此处不再进行详细赘述。
在另一个示例中，音频编码器根据当前帧的第i个子帧的右声道频域信号以及当前帧的第i个子帧的残差信号，利用下述公式(13)计算当前帧的第i个子帧的下混补偿因子αi。
Figure BDA0001680902970000313
其中，
Figure BDA0001680902970000314
E_Si以及RESi′(k)可以参考上述公式(10)中各个参数的描述此处不再进行详细赘述。E_Ri、band_limits_1以及band_limits_2可以参考上述公式(9)，此处不再进行详细赘述。
在另一个示例中，音频编码器根据当前帧的第i个子帧的左声道频域信号、当前帧的第i个子帧的右声道频域信号以及第二标志，利用下述公式(14)计算当前帧的第i个子帧的下混补偿因子αi。
Figure BDA0001680902970000315
其中，E_Li、E_Ri以及E_LRi可以参考上述公式(9)中各个参数的描述，nipd_flag可以参考上述公式(5)的描述，此处不再进行详细赘述。
可选的，本申请实施例中，上述预设频带的最小子带索引值可以表示为res_cod_band_min(也可以表示为Th1)，预设频带的最大子带索引值可以表示为res_cod_band_max(也可以表示为Th2)，则预设频带内的子带索引b的数值满足：res_cod_band_min<b<res_cod_band_max；也可以满足：res_cod_band_min≤b≤res_cod_band_max；还可以满足：res_cod_band_min≤b<res_cod_band_max；还可以满足：res_cod_band_min<b≤res_cod_band_max。
预设频带的范围可以与确定当前帧的残差信号是否需要编码时使用的频带范围相同，也可以与确定当前帧的残差信号是否需要编码时使用的频带范围不相同。
示例性的，预设频带可以包括子带索引的数值大于等于0且小于5的所有子带，也可以是子带索引的数值大于0且小于5的所有子带，还可以是子带索引的数值大于1且小于7的所有子带。
音频编码器可以先执行S402a，后执行S402b，也可以先执行S402b，后执行S402a，还可以同时执行S402a和S402b，本申请实施例对此不作具体限定。
S402c、音频编码器根据当前帧的第二下混信号和当前帧的下混补偿因子，修正所述当前帧的第二下混信号，以得到当前帧的第一下混信号。
可选的，音频编码器根据当前帧的左声道频域信号(或当前帧的右声道频域信号)以及当前帧的下混补偿因子，计算当前帧的补偿下混信号；然后，该音频编码器根据当前帧的第二下混信号和当前帧的补偿下混信号，修正所述当前帧的第二下混信号，以得到当前帧的第一下混信号。
其中，音频编码器可以将当前帧的左声道频域信号(或当前帧的右声道频域信号)与当前帧的下混补偿因子的乘积确定为当前帧的补偿下混信号。
可选的，音频编码器根据当前帧的第i个子帧的左声道频域信号(或当前帧的第i个子帧的右声道频域信号)及当前帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号；然后，该音频编码器根据当前帧的第i个子帧的第二下混信号和当前帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号。
其中，当前帧包括P(P≥2)个子帧，当前帧的第一下混信号包括当前帧的第i个子帧的第一下混信号，i∈[0，P-1]，P和i均为整数。
其中，音频编码器可以将当前帧的第i个子帧的左声道频域信号(或当前帧的第i个子帧的右声道频域信号)与当前帧的第i个子帧的下混补偿因子的乘积确定为当前帧的第i个子帧的补偿下混信号。
从S402b的描述可知，音频编码器可以是计算当前帧的下混补偿因子，也可以是计算当前帧的各个子带的下混补偿因子，还可以是计算当前帧在预设频带中对应的各个子带的下混补偿因子，还可以是计算当前帧的各个子帧下混补偿因子，还可以是计算当前帧的各个子帧的各个子带的下混补偿因子，还可以是计算当前帧的各个子帧在预设频带中对应的各个子带的下混补偿因子。同理，音频编码器也需要采用与计算下混补偿因子相似的方式计算当前帧的补偿下混信号和当前帧的第一下混信号。
现对音频编码器计算当前帧的补偿下混信号的方法进行描述。
在一个示例中，若音频编码器利用上述公式(3)、公式(4)或公式(5)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)，则音频编码器利用下述公式(15)计算当前帧的第i个子帧第b个子带的补偿下混信号DMX_compib(k)。
DMX_compib(k)＝αi(b)*Lib″(k) (15)
其中，Lib″(k)可以参考上述公式(1)中的描述，此处不再进行详细赘述。
在另一个示例中，若音频编码器利用上述公式(6)、公式(7)或公式(8)计算当前帧的第i个子帧第b个子带的下混补偿因子αi(b)，则音频编码器利用下述公式(16)计算当前帧的第i个子帧第b个子带的补偿下混信号DMX_compib(k)。
DMX_compib(k)＝αi(b)*Rib″(k) (16)
其中，Rib″(k)可以参考上述公式(1)中的描述，此处不再进行详细赘述。
在另一个示例中，若音频编码器利用上述公式(9)、公式(10)或公式(11)计算当前帧的第i个子帧的下混补偿因子αi，则音频编码器利用下述公式(17)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号DMX_compi(k)。
DMX_compi(k)＝αi*Li″(k) (17)
其中，Li″(k)可以参考上述公式(9)中的描述，此处不再进行详细赘述。
在另一个示例中，若音频编码器利用上述公式(12)、公式(13)或公式(14)计算当前帧的第i个子帧的下混补偿因子αi，则音频编码器利用下述公式(18)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号DMX_compi(k)。
DMX_compi(k)＝αi*Ri″(k) (18)
其中，Ri″(k)可以参考上述公式(9)中的描述，此处不再进行详细赘述。
可选的，在计算出当前帧的补偿下混信号后，音频编码器可以将当前帧的第二下混信号和当前帧的补偿下混信号的和确定为当前帧的第一下混信号。在计算出当前帧的第i个子帧的补偿下混信号后，音频编码器可以将当前帧的第i个子帧的第二下混信号和当前帧的第i个子帧的补偿下混信号的和确定为当前帧的第一下混信号。
在一个示例中，若音频编码器利用上述公式(15)或(16)计算当前帧的第i个子帧第b个子带的补偿下混信号DMX_compib(k)，则音频编码器利用下述公式(19)计算当前帧的第i个子帧第b个子带的第一下混信号
Figure BDA0001680902970000331
Figure BDA0001680902970000332
其中，DMXib(k)表示当前帧的第i个子帧第b个子带的第二下混信号。音频编码器可根据上述公式(1)或上述公式(2)计算DMXib(k)。
在另一个示例中，若音频编码器利用公式(17)或(18)计算当前帧的第i个子帧在预设频带内所有子带的补偿下混信号DMX_compi(k)，则音频编码器利用下述公式(20)计算当前帧的第i个子帧在预设频带内所有子带的第一下混信号
Figure BDA0001680902970000333
Figure BDA0001680902970000334
其中，DMXi(k)表示当前帧的第i个子帧在预设频带内所有子带的第二下混信号。DMXi(k)的计算方法与DMXib(k)的计算方法类似，这里不再进行详细赘述。
结合上述描述可知，本申请实施例在确定立体声信号的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，也采用一种新的方法计算当前帧的第一下混信号。
在一种实现方式中，在确定立体声信号的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，音频编码器计算当前帧的第一下混信号的方法为：音频编码器获取当前帧的第二下混信号和当前帧的下混补偿因子，并根据获取到的当前帧的下混补偿因子和当前帧的第二下混信号，修正当前帧的第二下混信号，以得到当前帧的第一下混信号。
具体的，结合上述图5A，如图5B所示，在确定立体声信号的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，上述S401替换为S401＇。
S401＇、音频编码器确定立体声信号的前一帧是否为切换帧，以及该前一帧的残差信号是否需要编码。
在另外一种实现方式中，在确定立体声信号的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，音频编码器计算当前帧的第一下混信号的方法为：音频编码器获取前一帧的下混补偿因子和当前帧的第二下混信号，并根据获取到的前一帧的下混补偿因子和当前帧的第二下混信号，修正当前帧的第二下混信号，以得到当前帧的第一下混信号。
具体的，结合上述图5B，如图5C所示，在确定立体声信号的前一帧不为切换帧、且前一帧的残差信号不需要编码的情况下，图5B中的S402a～S402c替换为S500～S501。
S500、音频编码器获取前一帧的下混补偿因子和当前帧的第二下混信号。
音频编码器获取前一帧的下混补偿因子的方法与音频编码器获取当前帧的下混补偿因子的方法类似，可以参考上述S402b的描述，此处不再进行详细赘述。
音频编码器获取当前帧的第二下混信号的方法可以参考上述S402a的描述，此处不再进行详细赘述。
S501、音频编码器根据前一帧的下混补偿因子和当前帧的第二下混信号，修正当前帧的第二下混信号，以得到当前帧的第一下混信号。
可选的，音频编码器根据当前帧的左声道频域信号(或当前帧的右声道频域信号)及前一帧的下混补偿因子，计算当前帧的补偿下混信号；然后，该音频编码器根据当前帧的第二下混信号和前一帧的补偿下混信号，计算当前帧的第一下混信号。
其中，音频编码器可以将当前帧的第一频域信号与前一帧的下混补偿因子的乘积确定为当前帧的补偿下混信号，将当前帧的第二下混信号和当前帧的补偿下混信号的和确定为当前帧的第一下混信号。
可选的，音频编码器根据当前帧的第i个子帧的左声道频域信号(或当前帧的第i个子帧的右声道频域信号)及前一帧的第i个子帧的下混补偿因子，计算当前帧的第i个子帧的补偿下混信号；然后该音频编码器根据当前帧的第i个子帧的第二下混信号和前一帧的第i个子帧的补偿下混信号，计算当前帧的第i个子帧的第一下混信号。
其中，音频编码器可以将第i个子帧的第二频域信号与第i个子帧的下混补偿因子的乘积确定为第i个子帧的补偿下混信号，将当前帧的第i个子帧的第二下混信号和前一帧的第i个子帧的补偿下混信号的和确定为当前帧的第i个子帧的第一下混信号。
可以看出，“音频编码器根据前一帧的下混补偿因子和当前帧的第二下混信号，修正当前帧的第二下混信号，以得到当前帧的第一下混信号”的方法与上述“音频编码器根据当前帧的第二下混信号和当前帧的下混补偿因子，修正所述当前帧的第二下混信号，以得到当前帧的第一下混信号”的方法类似，可以参考上述S402c的描述，这里对此不再进行详细赘述。
实际应用中，音频编码器内部的代码的设置可能不同。音频编码器根据实际需求以及内部代码，可以根据上述图5A示出的流程计算当前帧的第一下混信号，也可以根据上述图5B示出的流程计算当前帧的第一下混信号，还可以根据上述图5C示出的流程计算当前帧的第一下混信号。
在当前帧为切换帧或者当前帧的残差信号需要编码的情况下，音频编码器采用与上述S401～S402不同的方法计算当前帧的第一下混信号。这样，在不同状态下，当前帧的第一下混信号的计算方法不同，解决了预设频带中在编码残差信号和不编码残差信号之间来回切换导致的解码立体声信号的空间感和声像稳定性不连续问题，有效的提升了听觉质量。
为了充分理解本申请实施例提供的下混信号的计算方法，现对自适应地选择是否对预设频带内对应子带的残差信号进行编码的方法进行描述，即对本申请中音频信号的编码方法进行描述。
具体的，请参见图6，如图6为本申请中音频信号的编码方法的流程示意图。为了便于说明，图6中以音频编码器为执行主体为例进行说明。其中，本申请实施例以26kbps编码速率的宽带立体声编码为例进行描述。
需要说明的是，本申请中音频信号的编码方法不限制于在26kbps编码速率的宽带立体声编码下实施，也可应用于超宽带立体声编码或者其他速率的编码中。
如图6所示，该音频信号的编码方法包括：
S600、音频编码器对立体声信号的左右声道时域信号进行时域预处理。
其中，本申请实施例中“左右声道时域信号”是指左声道时域信号以及右声道时域信号，“预处理后的左右声道时域信号”是指预处理后的左声道时域信号以及预处理后的右声道时域信号。
本申请实施例中的立体声信号可以是原始的立体声信号，也可以是多声道信号中包含的两路信号组成的立体声信号，还可以是由多声道信号中包含的多路信号联合产生的两路信号组成的立体声信号。
本申请实施例所涉及到的立体声编码可以为独立的立体声编码器，也可以为多声道编码器中的核心编码部分，旨在对由多声道信号中包含的多路信号联合产生的两路信号组成的立体声信号进行编码。
一般的，音频编码器对立体声信号进行分帧处理，根据每一帧的立体声信号进行编码。若立体声信号的采样率为16KHz，每帧信号为20ms，帧长记作N，则N＝320，即帧长为320个样点。所述帧长通常指立体声信号中包含的一路信号的帧长。立体声信号均包括左声道时域信号以及右声道时域信号。相应的，当前帧的立体声信号包括当前帧的左声道时域信号以及当前帧的右声道时域信号。
为了便于描述，这里以当前帧为例进行说明。本申请实施例中，当前帧的左声道时域信号采用xL(n)表示，当前帧的右声道时域信号采用xR(n)表示，其中，n为样点序号，n＝0、1、……、N-1。
具体的，音频编码器可以对当前帧的左声道时域信号以及右声道时域信号分别进行高通滤波处理，得到当前帧预处理后的左右声道时域信号。本申请实施例中，当前帧预处理后的左声道时域信号采用xLHP(n)表示，当前帧预处理后的右声道时域信号xRHP(n)表示。这里，高通滤波处理可以是截止频率为20Hz的无限脉冲响应(Infinite ImpulseResponse，IIR)滤波器，也可是其他类型的滤波器。
示例性的，采样率为16KHz、截止频率为20Hz的高通滤波器的传递函数可以表示为：
Figure BDA0001680902970000351
该传递函数中，b0＝0.994461788958195，b1＝-1.988923577916390，b2＝0.994461788958195，a1＝1.988892905899653，a2＝-0.988954249933127，z为Z变换的变换因子。
相应的，当前帧预处理后的左声道时域信号xLHP(n)为：
xLHP(n)＝b0*xL(n)+b1*xL(n-1)+b2*xL(n-2)-a1*xLHP(n-1)-a2
*xLHP(n-2)
当前帧预处理后的右声道时域信号xR_HP(n)为：
xRHP(n)＝b0*xR(n)+b1*xR(n-1)+b2*xR(n-2)-a1*xRHP(n-1)-a2
*xRHP(n-2)
S601、音频编码器对预处理后的左右声道时域信号进行时域分析。
可选的，音频编码器对预处理后的左右声道时域信号进行时域分析可以为音频编码器对预处理后的左右声道时域信号进行瞬态检测。
其中，瞬态检测可以是音频编码器对当前帧预处理后的左声道时域信号和当前帧预处理后的右声道时域信号分别进行能量检测，检测当前帧是否发生能量突变。
例如，音频编码器确定当前帧预处理后的左声道时域信号的能量为Ecur-L；音频编码器根据前一帧预处理后的左声道时域信号的能量Epre-L和当前帧预处理后的左声道时域信号的能量Ecur-L之间的差值的绝对值进行瞬态检测，得到当前帧预处理后的左声道时域信号的瞬态检测结果。
同理，音频编码器可以用同样的方法对当前帧预处理后的右声道时域信号进行瞬态检测。
容易理解的是，时域分析还可以为除瞬态检测之外的其他现有技术中的时域分析，例如：时域声道间时间差参数(Inter-channel Time Difference，ITD)的初步确定、时域的时延对齐处理、频带扩展预处理等。
S602、音频编码器对预处理后的左右声道信号进行时频变换，得到左右声道频域信号。
具体的，音频编码器可以对预处理后的左声道时域信号进行离散傅里叶变换(Discrete Fourier Transform，DFT)，得到左声道频域信号；对预处理后的右声道时域信号进行离散傅里叶变换，得到右声道频域信号。
为了克服频谱混叠的问题，连续两次离散傅里叶变换之间一般都采用叠接相加的方法进行处理。根据实际需求，音频编码器还会对离散傅里叶变换的输入信号进行补零。
可选的，音频编码器可以针对每帧进行一次离散傅里叶变换，也可以将每帧分成P(P≥2)个子帧，针对每个子帧进行一次离散傅里叶变换。
若音频编码器针对每帧进行一次离散傅里叶变换，则变换后的左声道频域信号可以记作L(k)，k＝0、1、……、a/2-1，变换后的右声道频域信号可以记作R(k)，k＝0、1、……、a/2-1，k为频点索引值，a为每帧进行一次离散傅里叶变换的长度。
若音频编码器针对每个子帧进行一次离散傅里叶变换，则变换后的第i个子帧的左声道频域信号可以记作Li(k)，k＝0、1、……、L/2-1，变换后的第i个子帧的右声道频域信号可以记作Ri(k)，k＝0、1、……、L/2-1，k为频点索引值，L为每个子帧进行一次离散傅里叶变换的长度，i为子帧索引值，i＝0、1、……、P-1。
示例性的，若每一帧的左声道信号或右声道信号为20ms，帧长N为320，音频编码器将每帧分成两个子帧，即P＝2，每个子帧信号为10ms，子帧长为160。每个子帧进行一次离散傅里叶变换的长度L为400，则变换后第i个子帧的左声道频域信号可以记作Li(k)，k＝0、1、……、199，变换后第i个子帧的右声道频域信号可以记作Ri(k)，k＝0、1、……、199，i的取值为0和1。
可选的，音频编码器还可以采用快速傅氏变换(Fast Fourier Transformation，FFT)、修正离散余弦变换(Modified Discrete Cosine Transform，MDCT)等时频变换技术，将时域信号变换为频域信号，本申请实施例对此不作具体限定。
S603、音频编码器确定ITD参数，并对该ITD参数进行编码。
可选的，音频编码器可以在频域确定ITD参数，可以在时域确定ITD参数，也可以通过时频结合的方法确定ITD参数，本申请实施例对此不作具体限定。
一个示例中，音频编码器在时域采用互相关系数提取ITD参数。在0≤i≤Tmax范围内，音频编码器计算
Figure BDA0001680902970000361
和
Figure BDA0001680902970000362
Figure BDA0001680902970000363
如果max(cn(i))>max(cp(i))，则ITD参数值为max(cn(i))对应的索引值的相反数；否则，ITD参数值为max(cp(i))对应的索引值。其中，i为计算互相关系数的索引值，j为样点的索引值，Tmax对应于不同采样率下ITD取值的最大值，N为帧长。
在另一个示例中，音频编码器在频域上基于左右声道频域信号确定ITD参数。
可选的，音频编码器计算第i个子帧的频域相关系数XCORRi(k)为：
Figure BDA0001680902970000364
Figure BDA0001680902970000365
其中，
Figure BDA0001680902970000366
为第i个子帧的右声道频域信号的共轭。然后，该音频编码器将频域互相关系数XCORRi(k)转换到时域xcorri(n)，n＝0、1、……、L-1。最后，该音频编码器在L/2-Tmax≤n≤L/2+Tmax范围内搜索xcorri(n)的最大值，得到第i个子帧的ITD参数值Ti为Ti＝argmax(xcorri(n))-L/2。
可选的，音频编码器还可以根据第i个子帧的左声道频域信号和第i个子帧的右声道频域信号，在搜索范围-Tmax≤j≤Tmax内计算幅度值mag(j)，其中，
Figure BDA0001680902970000367
则ITD参数值Ti为Ti＝argmax(mag(j))，即幅度值最大的值对应的索引值。
具体的，音频编码器在确定出ITD参数后，将其进行编码，并写入立体声编码码流。本申请实施例中音频编码器可采用现有的任意一种量化编码技术对ITD参数编码，本申请实施例对此不作具体限定。
S604、音频编码器根据ITD参数，对左右声道频域信号进行时移调整。
其中，音频编码器可以根据任何一种现有技术对左右声道频域信号进行时移调整，本申请实施例对此不作具体限定。
这里以每帧分成P个子帧，P＝2为例进行说明。本申请实施例中，经过时移调整后的第i个子帧的左声道频域信号可以记作Li＇(k)，k＝0、1、……、L/2-1，经过时移调整后的第i个子帧的右声道频域信号可以记作Ri＇(k)，k＝0、1、……、L/2-1，k为频点索引值，i为子帧索引值，i＝0、1、……、P-1。
Figure BDA0001680902970000371
其中，Ti为第i个子帧的ITD参数值，L为每个子帧进行一次离散傅里叶变换的长度，Li(k)为第i个子帧的左声道频域信号，Ri(k)为第i个子帧的右声道频域信号，i为子帧索引值，i＝0、1、……、P-1。
可以理解的是，若音频编码器针对每帧进行一次离散傅里叶变换，则该音频编码器也针对每帧进行时移调整。
S605、音频编码器根据时移调整后的左右声道频域信号，计算其他频域立体声参数，并对其他频域立体声参数进行编码。
这里的其他频域立体声参数可以包含但不限于IPD参数、ILD参数、子带边增益等。音频编码器在得到其他频域立体声参数后，需要将其进行编码，并写入立体声编码码流。
本申请实施例中音频编码器可采用现有的任意一种量化编码技术对上述其他频域立体声参数进行编码，本申请实施例对此不作具体限定。
S606、音频编码器判断各个子带索引是否符合第一预设条件。
本申请实施例以音频编码器将每帧的频域信号或每个子帧的频域信号进行分带，第b个子带包含的频点为k∈[band_limits(b)，band_limits(b+1)-1]，其中，band_limits(b)为第b个子带包含的频点的最小索引值。在本申请实施例中，每个子帧的频域信号被分成M(M≥2)个子带，根据band_limits(b)可以确定各个子带内包含哪些频点。
第一预设条件可以为子带索引值小于残差编码判决的最大子带索引值，即b<res_flag_band_max，res_flag_band_max为残差编码判决的最大子带索引值；也可以为子带索引值小于等于残差编码判决的最大子带索引值，即b≤res_flag_band_max；还可以为子带索引值小于残差编码判决的最大子带索引值且大于残差编码判决的最小子带索引值，即res_flag_band_min<b<res_flag_band_max，res_flag_band_max为残差编码判决的最大子带索引值，res_flag_band_min为残差编码判决的最小子带索引值；还可以为子带索引值小于等于残差编码判决的最大子带索引值且大于等于残差编码判决的最小子带索引值，即res_flag_band_min≤b≤res_flag_band_max；还可以为子带索引值小于等于残差编码判决的最大子带索引值且大于残差编码判决的最小子带索引值，即res_flag_band_min<b≤res_flag_band_max；还可以为子带索引值小于残差编码判决的最大子带索引值且大于等于残差编码判决的最小子带索引值，即res_flag_band_min≤b<res_flag_band_max。本申请实施例对此不作具体限定。
对于不同的编码速率和/或不同的编码带宽，第一预设条件可以不同。例如，当宽带、编码速率为26kbps时，第一预设条件为子带索引的数值小于5。当宽带、编码速率为44kbps时，第一预设条件为子带索引的数值小于6。当宽带、编码速率为56kbps时，第一预设条件为子带索引的数值小于7。
本申请实施例中，以宽带、编码速率为26kbps为例，每帧被分为P个子帧，P＝2，每个子帧的频域信号被分为M个子带，M＝10，则对于每个子帧而言，音频编码器均需要判断各个子带索引是否符合第一预设条件，第一预设条件为：子带索引的数值小于res_flag_band_max，其中，res_flag_band_max＝5。
具体的，若各个子带索引符合第一预设条件，则音频编码器根据时移调整后的当前帧的左右声道频域信号，计算当前帧的第二下混信号和当前帧的残差信号，即执行S607。若各个子带索引不符合第一预设条件，则音频编码器根据时移调整后的当前帧的左右声道频域信号，计算当前帧的第二下混信号，即执行S608。
S607、音频编码器根据时移调整后的当前帧的左右声道频域信号，计算当前帧的第二下混信号和残差信号。
这里，音频编码器可以利用上述公式(1)或公式(2)计算当前帧的第二下混信号。
可选的，本申请实施例中的音频编码器利用下述公式(21)计算当前帧的第i个子帧第b个子带的残差信号RESib′(k)。
RESib′(k)＝RESib(k)-g_ILDi*DMXib(k)(21)
上述公式(21)中，RESib(k)＝(Lib″(k)-Rib″(k))/2。此外，Lib″(k)、Rib″(k)、g_ILDi以及DMXi(k)可以参考上述公式(1)中各个参数的描述，此处不再进行详细赘述。
S608、音频编码器根据时移调整后的当前帧的左右声道频域信号，计算当前帧的第二下混信号。
这里，音频编码器可以采用与S607相同的方法计算当前帧的第二下混信号，也可以采用现有技术中的其他下混信号计算方法进行计算当前帧的第二下混信号。
音频编码器在执行S607或S608后，均执行S609。
S609、音频编码器确定当前帧的残差信号编码标志的数值，并确定当前帧的残差编码切换标志的数值。
先对音频编码器确定当前帧的残差信号编码标志的数值进行说明。
可选的，音频编码器可以根据当前帧的第二下混信号和当前帧的残差信号之间的能量关系，确定当前帧的残差信号编码标志的数值；也可以根据用于表征当前帧的第二下混信号和当前帧的残差信号之间的能量关系的参数和/或其他参数，确定当前帧的残差信号编码标志的数值；本申请实施例对此不作具体限定。例如：音频编码器根据语音/音乐分类结果、语音激活检测结果、残差信号能量或左右声道频域信号之间的相关性等参数中的至少一种参数确定当前帧的残差信号编码标志值。
这里，以音频编码器根据用于表征当前帧的第二下混信号和当前帧的残差信号之间的能量关系的参数和/或其他参数，确定当前帧的残差信号编码标志的数值为例进行说明。
可选的，若用于表征当前帧的第二下混信号和当前帧的残差信号之间的能量关系的参数大于预设阈值，则音频编码器将当前帧的残差信号编码标志的数值设置为指示需要对当前帧的残差信号进行编码。否则，该音频编码器将当前帧的残差号编码标志的数值设置为指示不需要对残差信号进行编码。
现对音频编码器确定当前帧的残差编码切换标志的数值进行说明。
可选的，音频编码器可以根据当前帧的残差信号编码标志的数值和前一帧的残差信号编码标志的数值之间的关系，确定当前帧的残差编码切换标志的数值。
一种实现方式中，音频编码器可以确定当前帧的残差编码切换标志的数值，并更新前一帧残差编码标志的修正标志值。
若当前帧的残差信号编码标志的数值与前一帧的残差信号编码标志的数值不相等，且前一帧残差编码标志的修正标志指示前一帧没有对残差编码标志进行二次修正，则当前帧的残差编码切换标志指示当前帧为切换帧。
若当前帧的残差信号编码标志的数值与前一帧的残差信号编码标志的数值不相等，前一帧残差编码标志的修正标志指示前一帧没有对残差编码标志进行二次修正，且当前帧的残差信号编码标志指示不需要编码残差信号，则音频编码器对当前帧的残差信号编码标志进行二次修正，将当前帧的残差信号编码标志修正为指示需要编码残差信号，且将前一帧残差编码标志的修正标志设置为指示前一帧对残差编码标志进行了二次修正。
若当前帧的残差信号编码标志的数值与前一帧的残差信号编码标志的数值相等，或者前一帧残差编码标志的修正标志指示前一帧对残差编码标志进行了二次修正，则当前帧的残差编码切换标志指示当前帧不为切换帧，并将前一帧残差编码标志的修正标志设置为指示前一帧没有对残差编码标志进行二次修正。
另一种实现方式中，音频编码器也可以确定当前帧的残差编码切换标志的数值，并更新前一帧残差编码切换标志的数值。
音频编码器将当前帧的残差编码切换标志的数值初始设置为指示当前帧不为切换帧。若当前帧的残差信号编码标志的数值与前一帧的残差信号编码标志的数值不相等，且前一帧残差编码切换标志的数值指示前一帧不为切换帧，则音频编码器将当前帧的残差编码切换标志的数值修正为指示当前帧为切换帧。若当前帧的残差信号编码标志的数值与前一帧的残差信号编码标志的数值不相等，前一帧残差编码切换标志的数值指示前一帧不为切换帧，且当前帧的残差信号编码标志指示不需要编码残差信号，则音频编码器对当前帧的残差信号编码标志进行二次修正，将当前帧的残差信号编码标志修正为指示需要编码残差信号。在修正当前帧的残差编码切换标志的数值之后，音频编码器根据修正后的当前帧的残差编码切换标志的数值，更新前一帧残差编码切换标志的数值。
示例性的，若当前帧的残差编码切换标志的数值大于0，则该当前帧的残差编码切换标志用于指示当前帧为切换帧。若当前帧的残差编码切换标志的数值等于0，则该当前帧的残差编码切换标志用于指示当前帧不为切换帧。
S610、音频编码器判断当前帧的残差编码切换标志的数值是否指示当前帧为切换帧。
若当前帧的残差编码切换标志的数值指示当前帧为切换帧，则计算切换帧的下混信号和残差信号，并将该切换帧的下混信号作为预设频带中对应子带的下混信号，将该切换帧的残差信号作为预设频带中对应子带的残差信号，即执行S611。
若当前帧的残差编码切换标志的数值指示当前帧不为切换帧，且当前帧的残差信号编码标志的数值用于指示当前帧的残差信号不需要编码，则计算当前帧的第一下混信号，并将当前帧的第一下混信号作为预设频带中对应子带的下混信号，即执行S612。
本申请实施例中，预设频带的最小子带索引值采用res_cod_band_min表示(也可以采用Th1表示)，预设频带的最大子带索引值采用res_cod_band_max表示(也可以采用Th2表示)。相应的，预设频带内的子带索引b可以满足res_cod_band_min<b<res_cod_band_max；也可以满足res_cod_band_min≤b≤res_cod_band_max；也可以满足res_cod_band_min≤b<res_cod_band_max；还可以满足res_cod_band_min<b≤res_cod_band_max。
这里，预设频带的范围与上述音频编码器判断各个子带索引是否符合第一预设条件时设置的满足第一预设条件的子带范围相同，也可以与上述音频编码器判断各个子带索引是否符合第一预设条件时设置的满足第一预设条件的子带范围不同。例如，上述音频编码器判断各个子带索引是否符合第一预设条件时设置的满足第一预设条件的子带范围为：b<5，则预设频带可以是子带索引小于5的所有子带，也可以是子带索引大于0且小于5的所有子带，还可以是子带索引大于1且小于7的所有子带。
S611、音频编码器计算切换帧的下混信号和残差信号，并将该下混信号和残差信号分别作为预设频带所对应子带的下混信号和残差信号。
示例性的，预设频带为子带索引大于等于0且小于5的子带，若当前帧的残差编码切换标志值大于0，则音频编码器在子带索引大于等于0且小于5范围内，计算切换帧的下混信号和残差信号，并将计算得到的下混信号和残差信号分别作为预设频带所对应子带的下混信号和残差信号。
在一个示例中，音频编码器根据下述公式(22)计算当前帧的第i个子帧第b个子带的切换帧的下混信号
Figure BDA0001680902970000401
Figure BDA0001680902970000402
上述公式(22)中，DMX_compib(k)为当前帧的第i个子帧第b个子带的补偿下混信号，DMXib(k)为当前帧的第i个子帧第b个子带的第二下混信号，
Figure BDA0001680902970000403
为当前帧的第i个子帧第b个子带的切换帧的下混信号，k∈[band_limits(b),band_limits(b+1)-1]。
在一个示例中，音频编码器根据下述公式(23)计算当前帧的第i个子帧第b个子带的切换帧的残差信号
Figure BDA0001680902970000404
Figure BDA0001680902970000405
上述公式(23)中，RESib′(k)为当前帧的第i个子帧第b个子带的残差信号，
Figure BDA0001680902970000406
为当前帧的第i个子帧第b个子带的切换帧的下混信号。
S612、若当前帧的残差编码切换标志值指示当前帧不为切换帧，且当前帧的残差信号编码标志的数值指示不需要对当前帧的残差信号进行编码，则音频编码器计算当前帧的第一下混信号，并将该第一下混信号作为预设频带中对应子带的下混信号。
S612与上述S402相同，这里不再进行详细赘述。
在执行S611或S612后，音频编码器继续执行S613。
S613、音频编码器将当前帧的下混信号转换到时域，并根据预设的编码方法对其进行编码。
其中，若当前帧的残差信号编码标志的数值表示当前帧的残差信号不需要编码，当前帧在预设频带中对应子带的下混信号是当前帧的第一下混信号，而当前帧在所述预设频带对应子带之外的其它子带的下混信号是当前帧在所述其它子带的第二下混信号。
若当前帧的残差信号编码标志的数值表示当前帧的残差信号需要编码，则当前帧的下混信号是当前帧的第二下混信号。
音频编码器对当前帧的下混信号转换到时域，并根据预设的编码方法对其进行编码。
本申请实施例中，由于音频编码器对每帧进行了分帧处理，且对每个子帧进行了分带处理，则音频编码器需要将当前帧的第i个子帧各个子带的下混信号整合在一起构成第i个子帧的下混信号，并将第i个子帧的下混信号经过DFT的逆变换转换到时域，并进行子帧间的叠接相加处理，得到当前帧的时域下混信号。
音频编码器可以采用现有技术对当前帧的时域下混信号进行编码，以得到下混信号的编码码流，进而将该下混信号的编码码流写入立体声编码码流中。
S614、若当前帧的残差信号编码标志的数值表示当前帧的残差信号需要编码，则音频编码器将当前帧的残差信号转换到时域，并根据预设的编码方法对其进行编码。
本申请实施例中，由于音频编码器对每帧进行了分帧处理，且对每个子帧进行了分带处理，则音频编码器需要将当前帧的第i个子帧各个子带的残差信号整合在一起构成第i个子帧的残差信号，并将第i个子帧的残差信号经过DFT的逆变换转换到时域，并进行子帧间的叠接相加处理，得到当前帧的时域残差信号。
音频编码器可以采用现有技术对当前帧的时域残差信号进行编码，以得到残差信号编码码流，进而将该残差信号编码码流写入立体声编码码流中。
综上所述，本申请的音频信号的编码方法中，在当前帧不为切换帧且当前帧的残差信号不需要编码的情况下，在当前帧不为切换帧且当前帧的残差信号需要编码的情况下，以及在当前帧为切换帧的情况下，音频编码器采用不同的方法计算当前帧的下混信号。在不同编码模式中，音频编码器采用不同的方法计算当前帧的第一下混信号和当前帧的第二下混信号，解决了预设频带中在编码残差信号和不编码残差信号之间来回切换导致的解码立体声信号的空间感和声像稳定性不连续问题，有效的提升了听觉质量。
此外，结合上面描述可知，在前一帧不为切换帧且前一帧的残差信号不需要编码的情况下，本申请实施例中的计算机可按照S401＇、S402a、S402b以及S402c的流程(即上述图5B所示的流程)计算当前帧的第一下混信号。现在针对该情况说明本申请中音频信号的编码方法。
结合上述图6，如图7所示，本申请中的音频信号的编码方法可以包括：
S600～S608，并在S608后执行S700。
S700、音频编码器确定当前帧的残差信号编码标志的数值。
S700可以参考上述S609的描述，此处不再进行详细赘述。
S701、音频编码器判断前一帧的残差编码切换标志的数值是否指示前一帧为切换帧。
S701与上述S610类似，不同的是，S610中音频编码器是对当前帧进行判断，而S701中音频编码器是对前一帧进行判断。
S702、若前一帧的残差编码切换标志的数值指示前一帧为切换帧，则音频编码器计算切换帧的下混信号和残差信号，并将该下混信号和残差信号分别作为预设频带所对应子带的下混信号和残差信号。
S702可以参考上述S611的描述，此处不再进行详细赘述。
S703、若前一帧的残差编码切换标志值指示前一帧不为切换帧，且前一帧的残差信号编码标志值指示不需要对前一帧的残差信号进行编码，则音频编码器计算当前帧的第一下混信号，并将该第一下混信号作为预设频带中对应子带的下混信号。
S703可以参考上述S612的描述，此处不再进行详细赘述。
S704、音频编码器确定当前帧的残差编码切换标志的数值。
S704可以参考上述S609的描述，此处不再进行详细赘述。
S705、音频编码器将当前帧的下混信号转换到时域，并根据预设的编码方法对其进行编码。
S705可以参考上述S613的描述，此处不再进行详细赘述。
S706、若前一帧的残差信号编码标志的数值表示前一帧的残差信号需要编码，则音频编码器将当前帧的残差信号转换到时域，并根据预设的编码方法对其进行编码。
S706可以参考上述S614的描述，此处不再进行详细赘述。
在另一个示例中，结合上述图7，如图8所示，图7中的S700可以替换为S800，S704可以替换为S801。
S800、音频编码器确定当前帧的残差信号编码标志判决参数。
S801、音频编码器根据当前帧的残差信号编码标志判决参数，确定当前帧的残差信号编码标志的数值，并确定当前帧的残差编码切换标志的数值。
在另一个示例中，结合上述图7，如图9所示，图7中的S701可以替换为S900，S702可以替换为S901，S703可以替换为S902。
S900、音频编码器判断当前帧(以第n帧为例)的前一帧的残差编码标志的数值与第n-2帧的残差信号编码标志的数值是否不相等。
S901、若第n-1帧的残差编码标志的数值与第n-2帧的残差信号编码标志的数值不相等，则音频编码器计算切换帧的下混信号和残差信号，并将该下混信号和残差信号分别作为预设频带所对应子带的下混信号和残差信号。
S902、若第n-1帧的残差编码标志的数值与第n-2帧的残差信号编码标志的数值相等，且第n-1帧的残差信号不需要编码，则音频编码器计算当前帧的第一下混信号，并将该第一下混信号作为预设频带中对应子带的下混信号。
在另一个示例中，结合上述图6，如图10所示，图6中的S609替换为S1000，S610可以替换为S1001，S611可以替换为S1002，S612可以替换为S1003。
S1000、音频编码器确定当前帧的残差信号编码标志的数值。
S1001、音频编码器判断当前帧的残差编码标志的数值与前一帧的残差信号编码标志的数值是否不相等。
S1002、若当前帧的残差编码标志的数值与前一帧的残差信号编码标志的数值不相等，则音频编码器计算切换帧的下混信号和残差信号，并将该下混信号和残差信号分别作为预设频带所对应子带的下混信号和残差信号。
S1003、若当前帧的残差编码标志的数值与前一帧的残差信号编码标志的数值相等，且当前帧的残差信号不需要编码，则音频编码器计算当前帧的第一下混信号，并将该第一下混信号作为预设频带中对应子带的下混信号。
综上所述，本申请实施例中的音频编码器能够自适应地选择是否对预设频带内对应子带的残差信号进行编码，在提升解码立体声信号的空间感和声像稳定性的同时，尽可能降低解码立体声信号的高频失真，提高编码整体质量。此外，该音频编码器在需要在编码残差信号和不编码残差信号的不同状态下，采用不同的方法计算下混信号，解决了解码立体声信号的空间感和声像稳定性不连续的问题，有效的提升了听觉质量。
本申请实施例提供一种下混信号的计算装置，该下混信号的计算装置可以为音频编码器。具体的，下混信号的计算装置用于执行以上下混信号的计算方法中的音频编码器所执行的步骤。本申请实施例提供的下混信号的计算装置可以包括相应步骤所对应的模块。
本申请实施例可以根据上述方法示例对下混信号的计算装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，图11示出上述实施例中所涉及的下混信号的计算装置的一种可能的结构示意图。如图11所示，下混信号的计算装置11包括确定单元110和计算单元111。
确定单元110用于支持该下混信号的计算装置执行上述实施例中的S401、S401＇等，和/或用于本文所描述的技术的其它过程。
计算单元111用于支持该下混信号的计算装置执行上述实施例中的S402、S501等，和/或用于本文所描述的技术的其它过程。
其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
当然，本申请实施例提供的下混信号的计算装置包括但不限于上述模块，例如：如图11所示，下混信号的计算装置11还可以包括存储单元112。存储单元112可以用于存储该下混信号的计算装置的程序代码和数据。
进一步地，结合上述图11，如图12所示，下混信号的计算装置11还可以包括获取单元113。获取单元113用于支持该下混信号的计算装置执行上述实施例中的S500等，和/或用于本文所描述的技术的其它过程。
在采用集成的单元的情况下，本申请实施例提供的下混信号的计算装置的结构示意图如图13所示。在图13中，下混信号的计算装置13包括：处理模块130和通信模块131。
处理模块130用于对下混信号的计算装置的动作进行控制管理，例如，执行上述确定单元110、计算单元111和获取单元113执行的步骤，和/或用于执行本文所描述的技术的其它过程。
通信模块131用于支持下混信号的计算装置与其他设备之间的交互。
如图13所示，下混信号的计算装置还可以包括存储模块132，存储模块132用于存储下混信号的计算装置的程序代码和数据，例如存储上述存储单元112所保存的内容。
其中，处理模块130可以是处理器或控制器，例如可以是中央处理器(CentralProcessing Unit，CPU)，通用处理器，数字信号处理器(Digital Signal Processor，DSP)，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等等。通信模块131可以是收发器、RF电路或通信接口等。存储模块132可以是存储器。
其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
上述下混信号的计算装置11和下混信号的计算装置12均可执行上述图4、图5A、图5B、或图5C所示的下混信号的计算方法，下混信号的计算装置11和下混信号的计算装置12具体可以是音频编码装置或者其他具有音频编码功能的设备。
本申请还提供一种终端，该终端包括：一个或多个处理器、存储器、通信接口。该存储器、通信接口与一个或多个处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括指令，当一个或多个处理器执行指令时，终端执行本申请实施例的下混信号的计算方法。
这里的终端可以是智能手机，便携式电脑以及其它可以处理音频或者播放音频的设备。
本申请还提供一种音频编码器，包括非易失性存储介质，以及中央处理器，所述非易失性存储介质存储有可执行程序，所述中央处理器与所述非易失性存储介质连接，并执行所述可执行程序以实现本申请实施例的下混信号的计算方法。此外，该音频编码器还可执行本申请实施例的音频信号的编码方法。
本申请还提供一种编码器，所述编码器包括本申请实施例中的下混信号的计算装置(下混信号的计算装置11或下混信号的计算装置12)以及编码模块。其中，所述编码模块用于对下混信号的计算装置得到的当前帧的第一下混信号进行编码。
本申请另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质包括一个或多个程序代码，该一个或多个程序包括指令，当终端中的处理器在执行该程序代码时，该终端执行如图4、图5A、图5B、或图5C所示的下混信号的计算方法。
在本申请的另一实施例中，还提供一种计算机程序产品，该计算机程序产品包括计算机执行指令，该计算机执行指令存储在计算机可读存储介质中；终端的至少一个处理器可以从计算机可读存储介质读取该计算机执行指令，至少一个处理器执行该计算机执行指令使得终端实施执行图4、图5A、图5B、或图5C所示的下混信号的计算方法中的音频编码器的步骤。
在上述实施例中，可以全部或部分的通过软件，硬件，固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式出现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。
所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质，(例如，软盘，硬盘、磁带)、光介质(例如，DVD)或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种下混信号的计算方法，其特征在于，包括：
在立体声信号的当前帧的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，或者，在所述当前帧不为切换帧、且所述当前帧的残差信号不需要编码的情况下，计算所述当前帧的第一下混信号，并将所述当前帧的第一下混信号确定为预设频带内所述当前帧的下混信号；
其中，所述计算所述当前帧的第一下混信号，具体包括：
获取所述当前帧的第二下混信号；
获取所述当前帧的下混补偿因子；
根据所述当前帧的下混补偿因子对所述当前帧的第二下混信号进行修正，以得到所述当前帧的第一下混信号。
2.根据权利要求1所述的计算方法，其特征在于，所述根据所述当前帧的下混补偿因子对所述当前帧的第二下混信号进行修正，以得到所述当前帧的第一下混信号，具体包括：
根据所述当前帧的第一频域信号及所述当前帧的下混补偿因子，计算所述当前帧的补偿下混信号，其中，所述第一频域信号为所述当前帧的左声道频域信号或所述当前帧的右声道频域信号；根据所述当前帧的第二下混信号和所述当前帧的补偿下混信号，计算所述当前帧的第一下混信号；
或者，
根据所述当前帧的第i个子帧的第二频域信号及所述当前帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，其中，所述第二频域信号为所述当前帧的第i个子帧的左声道频域信号或所述当前帧的第i个子帧的右声道频域信号；根据所述当前帧的第i个子帧的第二下混信号和所述当前帧的第i个子帧的补偿下混信号，计算所述当前帧的第i个子帧的第一下混信号，所述当前帧包括P个子帧，所述当前帧的第一下混信号包括所述当前帧的第i个子帧的第一下混信号，P和i均为整数，P≥2，i∈[0，P-1]。
3.根据权利要求2所述的计算方法，其特征在于，
所述根据所述当前帧的第一频域信号及所述当前帧的下混补偿因子，计算所述当前帧的补偿下混信号，具体包括：
将所述当前帧的第一频域信号与所述当前帧的下混补偿因子的乘积确定为所述当前帧的补偿下混信号；以及
所述根据所述当前帧的第二下混信号和所述当前帧的补偿下混信号，计算所述当前帧的第一下混信号，具体包括：
将所述当前帧的第二下混信号和所述当前帧的补偿下混信号的和确定为所述当前帧的第一下混信号；
或者，
所述根据所述当前帧的第i个子帧的第二频域信号及所述当前帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，具体包括：
将所述当前帧的第i个子帧的第二频域信号与所述当前帧的第i个子帧的下混补偿因子的乘积确定为所述当前帧的第i个子帧的补偿下混信号；以及
所述根据所述当前帧的第i个子帧的第二下混信号和所述当前帧的第i个子帧的补偿下混信号，计算所述当前帧的第i个子帧的第一下混信号，具体包括：
将所述当前帧的第i个子帧的第二下混信号和所述当前帧的第i个子帧的补偿下混信号的和确定为所述当前帧的第i个子帧的第一下混信号。
4.根据权利要求1-3中任意一项所述的计算方法，其特征在于，所述获取所述当前帧的下混补偿因子，具体包括：
根据所述当前帧的左声道频域信号、所述当前帧的右声道频域信号、所述当前帧的第二下混信号、所述当前帧的残差信号或第一标志中的至少一种，计算所述当前帧的下混补偿因子；所述第一标志用于表示所述当前帧是否需要编码除声道间时间差参数之外的立体声参数；
或者，
根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子；所述第二标志用于表示所述当前帧的第i个子帧是否需要编码除声道间时间差参数之外的立体声参数，所述当前帧包括P个子帧，所述当前帧的下混补偿因子包括所述当前帧的第i个子帧的下混补偿因子，P和i均为整数，P≥2，i∈[0，P-1]；或者，
根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第一标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子；所述第一标志用于表示所述当前帧是否需要编码除声道间时间差参数之外的立体声参数，所述当前帧包括P个子帧，所述当前帧的下混补偿因子包括所述当前帧的第i个子帧的下混补偿因子，P和i均为整数，P≥2，i∈[0，P-1]。
5.根据权利要求4所述的计算方法，其特征在于，在所述当前帧的第i个子帧的第二频域信号为所述当前帧的第i个子帧的左声道频域信号的情况下，所述根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子，包括：
根据所述当前帧的第i个子帧的左声道频域信号和所述当前帧的第i个子帧的右声道频域信号，计算所述当前帧的第i个子帧的下混补偿因子；
其中，所述当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure FDA0001680902960000021
Figure FDA0001680902960000022
Figure FDA0001680902960000023
或者，
Figure FDA0001680902960000024
Figure FDA0001680902960000025
E_Li(b)表示所述当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示所述当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示所述当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示所述当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示所述当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的右声道频域信号，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，k为频点索引值，所述当前帧的每个子帧均包括M个子带，所述当前帧的第i个子帧的下混补偿因子包括所述当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2；
所述根据所述当前帧的第i个子帧的第二频域信号及所述当前帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，具体包括：
根据下述公式计算所述当前帧的第i个子帧第b个子带的补偿下混信号：
DMX_compib(k)＝αi(b)*Lib″(k)
其中，DMX_compib(k)表示所述当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
6.根据权利要求4所述的计算方法，其特征在于，在所述当前帧的第i个子帧的第二频域信号为所述当前帧的第i个子帧的左声道频域信号的情况下，所述根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子，包括：
根据所述当前帧的第i个子帧的左声道频域信号以及所述当前帧的第i个子帧的残差信号，计算所述当前帧的第i个子帧的下混补偿因子；
其中，所述当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure FDA0001680902960000031
Figure FDA0001680902960000032
E_Li(b)表示所述当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Si(b)表示所述当前帧的第i个子帧第b个子带的残差信号的能量和，band_limits(b)表示所述当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示所述当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，RESib′(k)表示所述当前帧的第i个子帧第b个子带的残差信号，k为频点索引值，所述当前帧的每个子帧均包括M个子带，所述当前帧的第i个子帧的下混补偿因子包括所述当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2；
所述根据所述当前帧的第i个子帧的第二频域信号及所述当前帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，具体包括：
根据下述公式计算所述当前帧的第i个子帧第b个子带的补偿下混信号：
DMX_compib(k)＝αi(b)*Lib″(k)
其中，DMX_compib(k)表示所述当前帧的第i个子帧第b个子带的补偿下混信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
7.根据权利要求4所述的计算方法，其特征在于，在所述当前帧的第i个子帧的第二频域信号为所述当前帧的第i个子帧的左声道频域信号的情况下，所述根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子，包括：
根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号以及所述第二标志，计算所述当前帧的第i个子帧的下混补偿因子；
其中，所述当前帧的第i个子帧第b个子带的下混补偿因子αi(b)采用下述公式计算：
Figure FDA0001680902960000041
Figure FDA0001680902960000042
Figure FDA0001680902960000043
E_Li(b)表示所述当前帧的第i个子帧第b个子带的左声道频域信号的能量和，E_Ri(b)表示所述当前帧的第i个子帧第b个子带的右声道频域信号的能量和，E_LRi(b)表示所述当前帧的第i个子帧第b个子带的左声道频域信号与右声道频域信号之和的能量和，band_limits(b)表示所述当前帧的第i个子帧第b个子带的最小频点索引值，band_limits(b+1)表示所述当前帧的第i个子帧第b+1个子带的最小频点索引值，Lib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的左声道频域信号，Rib′(k)表示经过时移调整后的当前帧的第i个子帧第b个子带的右声道频域信号，nipd_flag为所述第二标志，nipd_flag＝1表示所述当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示所述当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数，k为频点索引值，所述当前帧的每个子帧均包括M个子带，所述当前帧的第i个子帧的下混补偿因子包括所述当前帧的第i个子帧第b个子带的下混补偿因子，b为整数，b∈[0，M-1]，M≥2；
所述根据所述当前帧的第i个子帧的第二频域信号及所述当前帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，具体包括：
根据下述公式计算所述当前帧的第i个子帧第b个子带的补偿下混信号：
DMX_compib(k)＝αi(b)*Lib″(k)
其中，DMX_compib(k)表示所述当前帧的第i个子帧第b个子带的补偿下混信号，Lib″(k)表示根据立体声参数调整后的当前帧的第i个子帧第b个子带的左声道频域信号，k为频点索引值，k∈[band_limits(b),band_limits(b+1)-1]。
8.根据权利要求4所述的计算方法，其特征在于，在所述当前帧的第i个子帧的第二频域信号为所述当前帧的第i个子帧的左声道频域信号的情况下，所述根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子，包括：
根据所述当前帧的第i个子帧的左声道频域信号和所述当前帧的第i个子帧的右声道频域信号，计算所述当前帧的第i个子帧的下混补偿因子；
其中，所述当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure FDA0001680902960000044
Figure FDA0001680902960000045
Figure FDA0001680902960000046
或者，
Figure FDA0001680902960000051
Figure FDA0001680902960000052
E_Li表示所述当前帧的第i个子帧在所述预设频带内所有子带的左声道频域信号的能量和，E_Ri为所述当前帧的第i个子帧在所述预设频带内所有子带的右声道频域信号的能量和，E_LRi为所述当前帧的第i个子帧在所述预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为所述预设频带内所有子带的最小频点索引值，band_limits_2为所述预设频带内所有子带的最大频点索引值，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，Ri″(k)表示根据所述立体声参数调整后的当前帧的第i个子帧的右声道频域信号，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值；
所述根据所述当前帧的第i个子帧的第二频域信号及所述当前帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，具体包括：
根据下述公式计算所述当前帧的第i个子帧在所述预设频带内所有子带的补偿下混信号：
DMX_compi(k)＝αi*Li″(k)
其中，DMX_compi(k)表示所述当前帧的第i个子帧在所述预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
9.根据权利要求4所述的计算方法，其特征在于，在所述当前帧的第i个子帧的第二频域信号为所述当前帧的第i个子帧的左声道频域信号的情况下，所述根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子，包括：
根据所述当前帧的第i个子帧的左声道频域信号以及所述当前帧的第i个子帧的残差信号，计算所述当前帧的第i个子帧的下混补偿因子；
其中，所述当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure FDA0001680902960000053
Figure FDA0001680902960000054
E_Si表示所述当前帧的第i个子帧在所述预设频带内所有子带的残差信号的能量和，E_Li表示所述当前帧的第i个子帧在所述预设频带内所有子带的左声道频域信号的能量和，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，band_limits_1为所述预设频带内所有子带的最小频点索引值，band_limits_2为所述预设频带内所有子带的最大频点索引值，RESi′(k)表示所述当前帧的第i个子帧在所述预设频带内所有子带的残差信号，k为频点索引值；
所述根据所述当前帧的第i个子帧的第二频域信号及所述当前帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，具体包括：
根据下述公式计算所述当前帧的第i个子帧在所述预设频带内所有子带的补偿下混信号：
DMX_compi(k)＝αi*Li″(k)
其中，DMX_compi(k)表示所述当前帧的第i个子帧在所述预设频带内所有子带的补偿下混信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
10.根据权利要求4所述的计算方法，其特征在于，在所述当前帧的第i个子帧的第二频域信号为所述当前帧的第i个子帧的左声道频域信号的情况下，所述根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号、所述当前帧的第i个子帧的第二下混信号、所述当前帧的第i个子帧的残差信号或第二标志中的至少一种，计算所述当前帧的第i个子帧的下混补偿因子，包括：
根据所述当前帧的第i个子帧的左声道频域信号、所述当前帧的第i个子帧的右声道频域信号以及所述第二标志，计算所述当前帧的第i个子帧的下混补偿因子；
其中，所述当前帧的第i个子帧的下混补偿因子αi采用下述公式计算：
Figure FDA0001680902960000061
Figure FDA0001680902960000062
Figure FDA0001680902960000063
E_Li表示所述当前帧的第i个子帧在所述预设频带内所有子带的左声道频域信号的能量和，E_Ri为所述当前帧的第i个子帧在所述预设频带内所有子带的右声道频域信号的能量和，E_LRi为所述当前帧的第i个子帧在所述预设频带内所有子带的左声道频域信号与右声道频域信号之和的能量和，band_limits_1为所述预设频带内所有子带的最小频点索引值，band_limits_2为所述预设频带内所有子带的最大频点索引值，Li′(k)表示经过时移调整后的当前帧的第i个子帧的左声道频域信号，Ri′(k)表示经过时移调整后的当前帧的第i个子帧的右声道频域信号，k为频点索引值，nipd_flag为所述第二标志，nipd_flag＝1表示所述当前帧的第i个子帧不需要编码除声道间时间差参数之外的立体声参数，nipd_flag＝0表示所述当前帧的第i个子帧需要编码除声道间时间差参数之外的立体声参数；
根据下述公式计算所述当前帧的第i个子帧在所述预设频带内所有子带的补偿下混信号：
DMX_compi(k)＝αi*Li″(k)
其中，DMX_compi(k)表示所述当前帧的第i个子帧在所述预设频带内所有子带的补偿下混信号，Li″(k)表示根据立体声参数调整后的当前帧的第i个子帧的左声道频域信号，k为频点索引值，k∈[band_limits_1,band_limits_2]。
11.根据权利要求5-7中任意一项所述的计算方法，其特征在于，Th1≤b≤Th2，或者，Th1<b≤Th2，或者，Th1≤b<Th2，或者，Th1<b<Th2，其中，0≤Th1≤Th2≤M-1，Th1为所述预设频带中的最小子带索引值，Th2为所述预设频带中的最大子带索引值。
12.一种下混信号的计算方法，其特征在于，包括：
在立体声信号的当前帧的前一帧不为切换帧、且所述前一帧的残差信号不需要编码的情况下，获取所述前一帧的下混补偿因子；
获取所述当前帧的第二下混信号；
根据所述前一帧的下混补偿因子对所述当前帧的第二下混信号进行修正，以得到所述当前帧的第一下混信号；
将所述当前帧的第一下混信号确定为预设频带内所述当前帧的下混信号。
13.根据权利要求12所述的计算方法，其特征在于，所述根据所述前一帧的下混补偿因子对所述当前帧的第二下混信号进行修正，具体包括：
根据所述当前帧的第一频域信号及所述前一帧的下混补偿因子，计算所述当前帧的补偿下混信号，其中，所述第一频域信号为所述当前帧的左声道频域信号或所述当前帧的右声道频域信号；根据所述当前帧的第二下混信号和所述前一帧的补偿下混信号，计算所述当前帧的第一下混信号；
或者，
根据所述当前帧的第i个子帧的第二频域信号及所述前一帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，其中，所述第二频域信号为所述当前帧的第i个子帧的左声道频域信号或所述当前帧的第i个子帧的右声道频域信号；根据所述当前帧的第i个子帧的第二下混信号和所述前一帧的第i个子帧的补偿下混信号，计算所述当前帧的第i个子帧的第一下混信号，所述当前帧包括P个子帧，所述当前帧的第一下混信号包括所述当前帧的第i个子帧的第一下混信号，P和i均为整数，P≥2，i∈[0，P-1]。
14.根据权利要求13所述的计算方法，其特征在于，
所述根据所述当前帧的第一频域信号及所述前一帧的下混补偿因子，计算所述当前帧的补偿下混信号，具体包括：
将所述当前帧的第一频域信号与所述前一帧的下混补偿因子的乘积确定为所述当前帧的补偿下混信号；以及
所述根据所述当前帧的第二下混信号和所述当前帧的补偿下混信号，计算所述当前帧的第一下混信号，具体包括：
将所述当前帧的第二下混信号和所述当前帧的补偿下混信号的和确定为所述当前帧的第一下混信号；
或者，
所述根据所述当前帧的第i个子帧的第二频域信号及所述前一帧的第i个子帧的下混补偿因子，计算所述当前帧的第i个子帧的补偿下混信号，具体包括：
将所述第i个子帧的第二频域信号与所述第i个子帧的下混补偿因子的乘积确定为所述第i个子帧的补偿下混信号；以及
所述根据所述当前帧的第i个子帧的第二下混信号和所述前一帧的第i个子帧的补偿下混信号，计算所述当前帧的第i个子帧的第一下混信号，具体包括：
将所述当前帧的第i个子帧的第二下混信号和所述前一帧的第i个子帧的补偿下混信号的和确定为所述当前帧的第i个子帧的第一下混信号。
15.一种终端，其特征在于，所述终端包括：一个或多个处理器、存储器和通信接口；所述存储器、所述通信接口与所述一个或多个处理器耦合；所述终端通过所述通信接口与其他设备通信，所述存储器用于存储计算机程序代码，所述计算机程序代码包括指令，当所述一个或多个处理器执行所述指令时，所述终端执行如权利要求1-11中任意一项所述的下混信号的计算方法或者执行如权利要求12-14中任意一项所述的下混信号的计算方法。
16.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在终端上运行时，使得所述终端执行如权利要求1-11中任意一项所述的下混信号的计算方法或者执行如权利要求12-14中任意一项所述的下混信号的计算方法。
17.一种音频编码器，包括非易失性存储介质以及中央处理器，其特征在于，所述非易失性存储介质存储有可执行程序，所述中央处理器与所述非易失性存储介质连接，当所述中央处理器执行所述可执行程序时，所述音频编码器执行如权利要求1-11中任意一项所述的下混信号的计算方法或者执行如权利要求12-14中任意一项所述的下混信号的计算方法。
CN201810549905.2A 2018-05-31 2018-05-31 一种下混信号的计算方法及装置 Active CN110556119B (zh)

Priority Applications (11)

Application Number Priority Date Filing Date Title
CN201810549905.2A CN110556119B (zh) 2018-05-31 2018-05-31 一种下混信号的计算方法及装置
CN202210102567.4A CN114420139A (zh) 2018-05-31 2018-05-31 一种下混信号的计算方法及装置
KR1020207035596A KR102628755B1 (ko) 2018-05-31 2019-01-02 다운믹스된 신호 계산 방법 및 장치
JP2020564202A JP7159351B2 (ja) 2018-05-31 2019-01-02 ダウンミックスされた信号の計算方法及び装置
PCT/CN2019/070116 WO2019227931A1 (zh) 2018-05-31 2019-01-02 一种下混信号的计算方法及装置
KR1020247002200A KR20240013287A (ko) 2018-05-31 2019-01-02 다운믹스된 신호 계산 방법 및 장치
EP19811813.5A EP3783608A4 (en) 2018-05-31 2019-01-02 DOWN MIXED SIGNAL CALCULATION METHOD AND APPARATUS
BR112020024232-2A BR112020024232A2 (pt) 2018-05-31 2019-01-02 método e aparelho de cálculo de sinal de quantidade de canais reduzida
SG11202011329QA SG11202011329QA (en) 2018-05-31 2019-01-02 Downmixed signal calculation method and apparatus
US17/102,190 US11869517B2 (en) 2018-05-31 2020-11-23 Downmixed signal calculation method and apparatus
US18/523,738 US20240105188A1 (en) 2018-05-31 2023-11-29 Downmixed signal calculation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810549905.2A CN110556119B (zh) 2018-05-31 2018-05-31 一种下混信号的计算方法及装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202210102567.4A Division CN114420139A (zh) 2018-05-31 2018-05-31 一种下混信号的计算方法及装置

Publications (2)

Publication Number Publication Date
CN110556119A CN110556119A (zh) 2019-12-10
CN110556119B true CN110556119B (zh) 2022-02-18

Family

ID=68698667

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810549905.2A Active CN110556119B (zh) 2018-05-31 2018-05-31 一种下混信号的计算方法及装置
CN202210102567.4A Pending CN114420139A (zh) 2018-05-31 2018-05-31 一种下混信号的计算方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202210102567.4A Pending CN114420139A (zh) 2018-05-31 2018-05-31 一种下混信号的计算方法及装置

Country Status (8)

Country Link
US (2) US11869517B2 (zh)
EP (1) EP3783608A4 (zh)
JP (1) JP7159351B2 (zh)
KR (2) KR20240013287A (zh)
CN (2) CN110556119B (zh)
BR (1) BR112020024232A2 (zh)
SG (1) SG11202011329QA (zh)
WO (1) WO2019227931A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4179531B1 (en) * 2020-07-07 2024-08-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio quantizer and audio dequantizer and related methods
CN113948098A (zh) * 2020-07-17 2022-01-18 华为技术有限公司 一种立体声音频信号时延估计方法及装置
US11802894B2 (en) * 2020-09-17 2023-10-31 Silicon Laboratories Inc. Compressing information in an end node using an autoencoder neural network
CN113421579B (zh) * 2021-06-30 2024-06-07 北京小米移动软件有限公司 声音处理方法、装置、电子设备和存储介质
GB2628413A (en) * 2023-03-24 2024-09-25 Nokia Technologies Oy Coding of frame-level out-of-sync metadata

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2054875A1 (en) * 2006-10-16 2009-05-06 Dolby Sweden AB Enhanced coding and parameter representation of multichannel downmixed object coding
WO2018058379A1 (zh) * 2016-09-28 2018-04-05 华为技术有限公司 一种处理多声道音频信号的方法、装置和系统

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7751572B2 (en) * 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
JP5227794B2 (ja) * 2005-06-30 2013-07-03 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
CN101197134A (zh) * 2006-12-05 2008-06-11 华为技术有限公司 消除编码模式切换影响的方法和装置以及解码方法和装置
EP2201566B1 (en) * 2007-09-19 2015-11-11 Telefonaktiebolaget LM Ericsson (publ) Joint multi-channel audio encoding/decoding
EP2229676B1 (en) * 2007-12-31 2013-11-06 LG Electronics Inc. A method and an apparatus for processing an audio signal
KR101444102B1 (ko) * 2008-02-20 2014-09-26 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치
CN102157149B (zh) * 2010-02-12 2012-08-08 华为技术有限公司 立体声信号下混方法、编解码装置和编解码系统
SG10202101745XA (en) * 2010-04-09 2021-04-29 Dolby Int Ab Audio Upmixer Operable in Prediction or Non-Prediction Mode
CN102446507B (zh) * 2011-09-27 2013-04-17 华为技术有限公司 一种下混信号生成、还原的方法和装置
US9319159B2 (en) * 2011-09-29 2016-04-19 Dolby International Ab High quality detection in FM stereo radio signal
MY188370A (en) * 2015-09-25 2021-12-06 Voiceage Corp Method and system for decoding left and right channels of a stereo sound signal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2054875A1 (en) * 2006-10-16 2009-05-06 Dolby Sweden AB Enhanced coding and parameter representation of multichannel downmixed object coding
WO2018058379A1 (zh) * 2016-09-28 2018-04-05 华为技术有限公司 一种处理多声道音频信号的方法、装置和系统

Also Published As

Publication number Publication date
KR20240013287A (ko) 2024-01-30
JP7159351B2 (ja) 2022-10-24
CN114420139A (zh) 2022-04-29
US11869517B2 (en) 2024-01-09
US20240105188A1 (en) 2024-03-28
US20210082441A1 (en) 2021-03-18
KR102628755B1 (ko) 2024-01-23
EP3783608A1 (en) 2021-02-24
JP2021524938A (ja) 2021-09-16
CN110556119A (zh) 2019-12-10
KR20210009342A (ko) 2021-01-26
SG11202011329QA (en) 2020-12-30
WO2019227931A1 (zh) 2019-12-05
EP3783608A4 (en) 2021-06-23
BR112020024232A2 (pt) 2021-02-23

Similar Documents

Publication Publication Date Title
CN110556119B (zh) 一种下混信号的计算方法及装置
JP7387879B2 (ja) オーディオ符号化方法および装置
CN106847303B (zh) 支持谐波音频信号的带宽扩展的方法、设备和记录介质
US12022274B2 (en) Parametric audio decoding
CN110556118B (zh) 立体声信号的编码方法和装置
JP2024059711A (ja) チャネル間位相差パラメータ符号化方法および装置
JP2024153672A (ja) ステレオ信号符号化方法およびステレオ信号符号化装置
CN110556116A (zh) 计算下混信号和残差信号的方法和装置
CN113196387B (zh) 一种用于音频编解码的计算机实现的方法和电子设备
CN113302688B (zh) 高分辨率音频编解码
CN113348507B (zh) 高分辨率音频编解码
RU2809609C2 (ru) Представление пространственного звука посредством звукового сигнала и ассоциированных с ним метаданных

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant