[go: up one dir, main page]

CN108922551A - 用于补偿丢失帧的电路及方法 - Google Patents

用于补偿丢失帧的电路及方法 Download PDF

Info

Publication number
CN108922551A
CN108922551A CN201710345216.5A CN201710345216A CN108922551A CN 108922551 A CN108922551 A CN 108922551A CN 201710345216 A CN201710345216 A CN 201710345216A CN 108922551 A CN108922551 A CN 108922551A
Authority
CN
China
Prior art keywords
audio
frame
dropped
section
audio section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710345216.5A
Other languages
English (en)
Other versions
CN108922551B (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beken Corp
Original Assignee
Broadcom Integrated Circuit Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Broadcom Integrated Circuit Shanghai Co Ltd filed Critical Broadcom Integrated Circuit Shanghai Co Ltd
Priority to CN201710345216.5A priority Critical patent/CN108922551B/zh
Priority to US15/616,920 priority patent/US10032457B1/en
Publication of CN108922551A publication Critical patent/CN108922551A/zh
Application granted granted Critical
Publication of CN108922551B publication Critical patent/CN108922551B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1479—Generic software techniques for error detection or fault masking
    • G06F11/1492—Generic software techniques for error detection or fault masking by run-time replication performed by the application software
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/06—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being correlation coefficients

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)

Abstract

本发明公开了一种用于补偿丢失音频帧的电路，包括：识别器，配置成识别具有第一长度的参考音频段，具有第二长度的丢失音频帧跟在参考音频段之后；搜索器，耦联于所述识别器，并且配置成通过利用互相关搜索在缓存音频段中搜索与参考音频段相似的第一音频段，参考音频段跟在缓存音频段之后；识别器还配置成将第一音频段之后的第二音频段识别为预补偿音频帧；调整器，耦联于识别器并且配置成根据比例因子调整第二音频段的振幅；以及输出器，耦联于所述调整器以将经调整的第二音频段输出为经补偿的音频帧。本发明的优点在于极大地提高了音频传输的质量，避免由于音频丢帧引起的噪音，改善听觉感受。

Description

用于补偿丢失帧的电路及方法
技术领域
本发明涉及一种音频帧，更具体地涉及但不限于一种用于补偿丢失的音频帧的电路及方法。
背景技术
在蓝牙标准协议中，同步面向连接(SCO)/扩展同步面向连接(eSCO)连接可以用于实现实时语音通信。然而，在2.4GHz频带WIFI被广泛使用的复杂电磁环境中，即使存在eSCO的重传机制，音频帧的丢失也是不可避免的。一旦存在丢失的音频帧，在呼叫期间将产生“爆裂”声音，使呼叫者烦躁。因此，可能需要提供一种电路和方法来处理上述问题并消除“爆裂”声音，以便提高声音质量。
发明内容
本发明的一个实施例公开了一种用于补偿丢失的音频帧的电路，该电路包括：识别器，配置成识别具有第一长度的参考音频段，具有第二长度的丢失的音频帧跟在该参考音频段之后；搜索器，耦联于识别器，并且配置成通过利用互相关搜索在缓存音频段中搜索与参考音频段相似的第一音频段，参考音频段跟在缓存音频段之后，其中缓存音频段的长度比述第一长度和第二长度的总长度要长，并且第一音频段具有与参考音频段相同的长度；识别器还配置成将第一音频段之后的第二音频段识别为预补偿音频帧，其中第二音频段具有和丢失的音频帧相同的长度；调整器，耦联于识别器并且配置成根据比例因子调整第二音频段的振幅；以及输出器，耦联于调整器以将经调整的第二音频段输出为经补偿的音频帧。
优选地，调整器还包括：计算器，配置成根据参考音频段与第一音频段的能量比来计算比例因子。
优选地，该电路还包括：加法器，耦联于识别器以进行叠加：
i)参考音频段和第一音频段通过使用窗函数在丢失音频帧之前使得相位连续；以及
ii)在丢失音频帧之后的第一好帧、以及在第二音频段之后的具有第三长度的第三音频段，通过使用窗口函数在丢失音频帧之后使得相位连续，其中第三长度等于第一音频帧的长度。
优选地，该电路还包括：检测器，耦联于识别器，并且配置成检测当前丢失音频帧是第一丢失音频帧还是第一丢失音频帧之后的帧。
优选地，该电路还包括：衰减器，耦联于检测器并且配置成：如果当前丢失音频帧是在第一丢失音频帧之后的帧，则线性地降低当前丢失音频帧的振幅，并且线性地升高最后丢失音频之后的第一好帧的振幅；如果帧在第五丢失音频帧之后，则衰减器将不减低帧的振幅以避免绝对的静音。
本发明的另一实施例公开了一种用于补偿丢失的音频帧的方法，该方法包括：识别具有第一长度的参考音频段，具有第二长度的丢失的音频帧跟在该参考音频段之后；通过利用互相关搜索在缓存音频段中搜索与参考音频段相似的第一音频段，参考音频段跟在缓存音频段之后，其中缓存音频段的长度大于第一长度和第二长度的总长度，并且第一音频段具有与参考音频段相同的长度；将第一音频段之后的第二音频段识别为预补偿的音频帧，其中第二音频段具有与丢失的音频帧相同的长度；根据比例因子调整第二音频段的振幅；以及输出经调整的第二音频段作为经补偿的音频帧。
优选地，调整第二音频段的幅度还包括：根据参考音频段与第一音频段的能量比来计算比例因子。
优选地，该方法还包括叠加：
i)参考音频段和第一音频段通过使用窗函数在丢失音频帧之前使得相位连续；以及
ii)在丢失音频帧之后的第一好帧、以及在第二音频段之后的具有第三长度的第三音频段，通过使用窗口函数在丢失音频帧之后使得相位连续，其中第三长度等于窗口的长度。
优选地，该方法还包括：检测当前丢失音频帧是第一丢失音频帧还是第一丢失音频帧之后的帧，并且如果当前丢失音频帧是第一丢失音频帧之后的帧，则线性地降低当前丢失音频帧的振幅，以及线性地升高在最后丢失音频帧之后的第一好帧的振幅。
优选地，该方法还包括：如果帧在第五丢失音频帧之后，则将不会降低帧的振幅以避免绝对的静音。
相比较于现有技术，本发明的优点在于：能够保证音频传输的完整性，通过补偿丢失音频帧的方法，避免因丢帧而出现的爆裂音，极大地提高了传输音频的质量，提升听觉感受。
附图说明
本发明以示例性方式通过附图进行说明。因为本发明的范围由权利要求限定，附图应当被理解为示例性的而不是限制性的。在附图中，相同的附图标记表示相同的元件。
图1是本发明的一个实施例中的包括具有长度N的丢失段A的音频段的示意图。
图2是本发明的一个实施例中的图1的音频段的互相关搜索的示意图。
图3是本发明的一个实施例中的图1的音频段的叠加操作的示意图。
图4是本发明的一个实施例中的包括两个或更多个丢失音频帧的音频段的示意图。
图5A-5E是本发明的一个实施例中的包括两个或更多个丢失音频帧的音频段400的振幅(Am)下降/上升的示意图。
图6是本发明的一个实施例中的用于补偿丢失的音频帧的电路的示意图。
图7是本发明的一个实施例中的用于补偿丢失音频帧的方法流程图。
具体实施方式
现在将描述本发明的各方面和实施例。以下描述提供了用于彻底理解和实现这些示例描述的具体细节。然而，本领域技术人员将理解，本发明可以在没有这些细节的情况下实施。另外，一些公知的结构或功能可能没有进行详细的揭示或描述，以避免不必要地模糊相关描述。
图1是本发明的一个实施例中的包括具有长度N的丢失段A的音频段100的示意图。如图1所示，音频段A，B，C和D按时间排列并且在时间上连续。在一个实施例中，丢失段A包含一个长度为N的丢失音频帧。片段B和片段C首先被接收并缓存在缓冲器(未示出)中。在一个实施例中，CRC(循环冗余校验)在蓝牙通信协议的链路层(未示出)上进行，以指示差的(包括丢失和错误的)音频帧和好的帧，也就是说，每一个音频帧都具有帧ID(FID)的指示。由于时间连续性，长度为M的片段B被识别为参考音频片段，该参考音频片段后面是丢失的片段A，长度为L的片段C被识别为缓存音频片段，该缓存音频片段后面是参考音频片段B，并且长度为N的段D被识别为丢失段A之后的第一好帧。请注意，片段C的长度大于片段B和片段A的总长度。在一个实施例中，片段C的长度为大约15ms-30ms。片段B的长度小于片段A的长度。
图2是本发明的一个实施例中的图1的音频段的互相关搜索的示意图。由于音频段的短期相关性，即音频段的准周期性质，可以通过使用互相关搜索搜索段C来找到具有长度M的片段E。搜索的片段E是与参考音频段B最相似的片段，并且片段E之前的片段F被识别为预补偿的音频段以补偿丢失段A。片段F具有与丢失音频帧相同的长度。
互相关搜索包括：计算相关系数以便确定片段E的起始点。相关系数R(k)被定义为：
其中k＝0...L-M-1，Xn是片段B的音频数据，Yn是片段C的音频数据。
最大相关系数R(k)max用于识别与片段B最相似的片段E，并且将k的值识别为片段E的起始点。
在另一实施例中，当相关系数R(k1)1超过预定阈值时，互相关搜索停止，并且不会计算剩余的相关系数。k1的值被识别为片段E的起点。
再次参考图2，虽然找到片段F作为预补偿音频段以补偿丢失段A，但是片段F的振幅与丢失段A的振幅不匹配。因此，可以计算振幅的比例因子(SF)以修改片段F的音频数据。比例因子可以被定义为：
其中K是片段E的起始点，Xn是片段B的音频数据，Yn是片段C的音频数据。
片段F的经修改的音频数据表示为Y′(n)，并且被定义为：
Y′(n)＝SF*Y(n)
其中n＝0...N-1，并且Y(n)表示片段F的原始音频数据，并且N是丢失音频帧的长度。经修改的片段F被复制以补偿丢失的音频段A.
图3是本发明的一个实施例中的图1的音频段100的叠加操作的示意图。叠加操作用于使丢失的音频段A之前和之后的相位连续，从而可以实现音频段的平滑过渡，并且观众将听到没有爆裂或咔嗒声噪声的平滑过渡。
首先，根据实际需要选择窗口函数。窗函数可以是汉明窗，布莱克曼窗和三角窗中的任何一个。在一个实施例中，窗函数是三角窗。三角窗的系数定义为：
Wnd[OLA_L]＝{15888,15391,14895,14398,13902,13405,12909,12412,
11916,11419,10923,10426,9930,9433,8937,8440,
7944,7447,6951,6454,5958,5461,4965,4468,
3972,3475,2979,2482,1986,1489,993,496}
其中Wnd[OLA_L]是常数，OLA_L是窗口的长度。
其次，通过使用给定的窗口函数，如图3所示，参考音频段B与片段E叠加，以获得经修改的音频数据S(i)。也就是说，用音频数据S(i)替换长度为OLA_L的丢失段A之前的音频段的音频数据，以便在丢失段A之前使得相位连续，并且丢失段A之前的S(i)被定义为：
S(i)＝Xn(M-OLAL+i)*Wnd(i)+SF*Yn(K+M-OLAL+i)
*Wnd(OLAL-i-1)
其中i＝0...OLA_L-1，K是片段E的起始点，Xn是片段B的音频数据，Yn是片段C的音频数据，SF是比例尺因子。
类似地，如图3所示，为了在丢失的音频段A之后使得相位连续，通过使用上述窗口函数，将第一好帧D与片段F之后的具有长度为OLA_L的音频段OLA叠加。使用经计算的音频数据S(i)替换长度为OLA_L的丢失段A之后的音频段的数据，并且丢失段A之后的S(i)被定义为：
S(i)＝Zn(i)*Wnd(OLAL-i-1)+SF*Yn(K+M+N+i)*Wnd(i)
其中i＝0...OLA_L-1，K是片段E的起始点，Zn是片段D的音频数据，Yn是片段C的音频数据，SF是比例尺因子。
图4是本发明的一个实施例中的包括两个或更多个丢失音频帧的音频段400的示意图。在通信的过程中，不可避免地连续丢失几个音频帧，这在图3中可以表示为N*丢失。然而，由于相同的音频段F被重复地补偿丢失的音频帧，所以会在通信期间产生金属音。为了消除金属音并进一步增强声音质量，可能希望利用斜坡下降/上升操作来处理在第一丢失音频帧A和第一好帧D之后的帧的振幅。也就是说，如果当前丢失的音频帧是第一丢失音频帧A，则不会启动斜坡下降/上升操作；如果当前丢失的音频帧是在第一丢失的音频帧A之后的帧，则降低当前丢失的音频帧的振幅，并且增大最后丢失的音频帧之后的第一好帧D的振幅；如果帧位于第五个丢失的音频帧之后，则帧的振幅将不会下降，以避免绝对静音。在一个实施例中，振幅加权因子f(n)被定义为：
其中N是丢失的音频帧的数目，即N＝2，3，4或5；如果N>5，则N＝5；n＝0...63。
图5A-5E是本发明的一个实施例中的包括两个或更多个丢失音频帧的音频段400的振幅下降/上升的示意图。
如图5A所示，例如，当存在两个丢失的音频帧时，第一丢失音频帧的振幅保持不变，并且第二丢失音频帧的振幅线性下降到-6dB。在第二丢失音频帧之后的第一好帧D的振幅从-6dB线性上升到0dB。
如图5B所示，例如，当存在三个丢失音频帧时，第一丢失音频帧的振幅保持不变，并且第二和第三丢失音频帧的振幅线性降低到-12dB。在第三丢失音频帧之后的第一好帧D的振幅从-12dB线性上升到0dB。
如图5C所示，例如，当存在四个丢失音频帧时，第一丢失音频帧的振幅保持不变，并且第二、第三和第四丢失音频帧的振幅线性降低到-18dB。在第四丢失音频帧之后的第一好帧D的振幅从-18dB线性上升到0dB。
如图5D所示，例如，当存在五个丢失音频帧时，第一丢失音频帧的振幅保持不变，并且第二、第三、第四和第五丢失音频帧的振幅线性降低到-24dB。在第五丢失音频帧之后的第一好帧D的振幅从-24dB线性上升到0dB。
如图5E所示，例如，当存在多于五个丢失音频帧时，第一丢失音频帧的振幅保持不变，并且第二、第三、第四和第五丢失音频帧的振幅线性降低到-24dB，在第五丢失音频帧之后的帧的振幅保持在-24dB以避免绝对的静音，并且在第五丢失音频帧之后的第一好帧D的振幅从-24dB线性上升到0dB。
图6是本发明的一个实施例中的用于补偿丢失的音频帧的电路600的示意图。请注意，由虚线所指示的组件并非强制性的。
电路600包括识别器610，配置成识别具有第一长度的参考音频段，具有第二长度的丢失音频帧跟在该参考音频之后；搜索器620，耦联于识别器610，并且配置成通过利用互相关搜索在缓存音频段中搜索与参考音频段相似的第一音频段，其中参考音频段跟在缓存音频段之后，其中缓存音频段大于第一长度和第二长度的总长度，并且第一音频段具有与参考音频段相同的长度；识别器610还配置成将在第一音频段之后的第二音频段识别为预补偿音频帧，其中第二音频段具有与丢失的音频帧相同的长度；调整器640，耦联于识别器610并且配置成根据比例因子调整第二音频段的振幅；以及输出670，耦联于调整器640以输出经调整的第二音频段作为经补偿的音频帧。
在另一实施例中，调整器640还包括计算器641，配置成根据参考音频段与第一音频段的能量比来计算比例因子。
在另一实施例中，电路600还包括加法器630，耦联于识别器610以通过使用窗口函数进行叠加：i)参考音频段和第一音频段通过利用窗口函数以在丢失的音频帧之前使相位连续；以及ii)在丢失音频帧之后的第一好帧、以及在第二音频段之后的具有第三长度的第三音频段，通过使用窗函数在丢失音频帧之后使得相位连续，其中第三长度等于窗口的长度。
在另一实施例中，电路600还包括检测器650，耦联于610并配置成检测当前丢失音频帧是第一丢失音频帧A还是第一丢失音频帧A之后的帧。检测器650接收来自蓝牙通信协议的链路层(未示出)的指令以指示第一丢失音频帧。电路600还包括衰减器660，耦联于检测器650，配置成线性地降低当前丢失音频帧的振幅，并且如果当前丢失音频帧是在第一丢失音频帧之后的帧，则线性地升高第一丢失音频帧之后的第一好帧的振幅，并且如果该帧在第五丢失音频帧之后，则衰减器660将不降低该帧的振幅，以避免绝对的静音。
图7是本发明的一个实施例中的由图6所示的电路600执行的用于补偿丢失音频帧的方法700的流程图。
方法700包括：步骤710中，识别具有第一长度的参考音频段，具有第二长度的丢失音频帧跟在该参考音频之后；步骤720中，通过利用互相关搜索在缓存音频段中搜索与参考音频段相似的第一音频段，参考音频段跟在该缓存音频段之后，其中缓存音频段的长度大于第一长度和第二长度的总长度，并且第一音频段具有与参考音频段相同的长度；步骤730中，将在第一音频段之后的第二音频段识别为预补偿音频帧，其中第二音频段具有与丢失音频帧相同的长度；步骤740中，根据比例因子调整第二音频段的振幅；；以及步骤750中，输出经调整的第二音频段作为经补偿的音频帧。
在另一实施例中，方法700还包括：调整第二音频段的振幅，其还包括根据参考音频段与第一音频段的能量比来计算比例因子。
在另一实施例中，方法700还进行叠加：i)参考音频段和第一音频段通过使用窗函数在丢失音频帧之前使得相位连续；以及ii)在丢失音频帧之后的第一好帧、以及在第二音频段之后的具有第三长度的第三音频段，通过使用窗函数在丢失音频帧之后使得相位连续，其中第三长度等于窗口的长度。
在另一实施例中，方法700还包括：检测当前丢失音频帧是第一丢失音频帧还是第一丢失音频帧之后的帧，如果当前丢失音频帧是第一丢失音频帧之后的帧，则线性地降低当前丢失音频帧的振幅，以及线性地增加在最后丢失音频帧之后的第一个好帧的振幅。如果帧在第五个丢失音频帧之后，则将不降低帧的振幅，以避免绝对的静音。
各种实施例的特征和方面可以集成到其他实施例中，并且可以在没有示出或描述的所有特征或方面的情况下实现本文档中所示的实施例。本领域技术人员将理解，尽管为了说明的目的描述了系统和方法的具体示例和实施例，但是在不偏离本发明的精神和范围的情况下可以进行各种修改。此外，一个实施例的特征可以并入其他实施例中，即使在本文档内的单个实施例中没有一起描述那些特征。

Claims (10)

1.一种用于补偿丢失音频帧的电路，其特征在于，包括：
识别器，配置成识别具有第一长度的参考音频段，具有第二长度的丢失音频帧跟在所述参考音频段之后；
搜索器，耦联于所述识别器，并且配置成通过利用互相关搜索在缓存音频段中搜索与所述参考音频段相似的第一音频段，所述参考音频段跟在所述缓存音频段之后，其中所述缓存音频段的长度大于所述第一长度和所述第二长度的总长度，并且所述第一音频段具有与所述参考音频段相同的长度；
所述识别器还配置成将所述第一音频段之后的第二音频段识别为预补偿音频帧，其中所述第二音频段具有与所述丢失音频帧相同的长度；
调整器，耦联于所述识别器并且配置成根据比例因子调整所述第二音频段的振幅；
输出器，耦联于所述调整器以输出经调整的所述第二音频段作为经补偿的音频帧。
2.如权利要求1所述的用于补偿丢失音频帧的电路，其特征在于，所述调整器还包括：计算器，配置成根据所述参考音频段与所述第一音频段的能量比来计算所述比例因子。
3.如权利要求1所述的用于补偿丢失音频帧的电路，其特征在于，所述电路还包括：加法器，耦联于所述识别器以进行叠加：
i)所述参考音频段和所述第一音频段通过使用窗函数在所述丢失音频帧之前使得相位连续；以及
ii)在所述丢失音频帧之后的第一好帧、以及在所述第二音频段之后的具有第三长度的第三音频段，通过使用窗口函数在所述丢失音频帧之后使得相位连续，其中所述第三长度等于所述第一音频帧的长度。
4.如权利要求1所述的用于补偿丢失音频帧的电路，其特征在于，所述电路还包括：检测器，耦联于所述识别器，并且配置成检测当前丢失音频帧是第一丢失音频帧还是所述第一丢失音频帧之后的帧。
5.如权利要求4所述的用于补偿丢失音频帧的电路，其特征在于，所述电路还包括：衰减器，耦联于所述检测器并且配置成：如果所述当前丢失音频帧是在第一丢失音频帧之后的帧，则线性地降低所述当前丢失音频帧的振幅，并且线性地升高所述最后丢失音频之后的第一好帧的振幅；如果帧在第五丢失音频帧之后，则衰减器将不减低所述帧的振幅以避免绝对的静音。
6.一种用于补偿丢失音频帧的方法，其特征在于，包括：
识别具有第一长度的参考音频段，具有第二长度的所述丢失音频帧跟着所述参考音频段之后；
通过利用互相关搜索在缓存音频段中搜索与所述参考音频段相似的第一音频段，所述参考音频段跟在所述缓存音频段之后，其中所述缓存音频段的长度大于所述第一长度和所述第二长度的总长度，并且所述第一音频段具有与所述参考音频段相同的长度；
将所述第一音频段之后的第二音频段识别为预补偿音频帧，其中所述第二音频段具有与所述丢失音频帧相同的长度；
根据比例因子调整所述第二音频段的振幅；以及
输出经调整的所述第二音频段作为经补偿的音频帧。
7.如权利要求6所述的用于补偿丢失音频帧的方法，其特征在于，调整所述第二音频段的幅度还包括：根据所述参考音频段与所述第一音频段的能量比来计算所述比例因子。
8.如权利要求6所述的用于补偿丢失音频帧的方法，其特征在于，所述方法还包括叠加：
i)所述参考音频段和所述第一音频段通过使用窗函数在所述丢失音频帧之前使得相位连续；以及
ii)在所述丢失音频帧之后的第一好帧、以及在所述第二音频段之后的具有第三长度的第三音频段，通过使用窗口函数在所述丢失音频帧之后使得相位连续，其中所述第三长度等于窗口的长度。
9.如权利要求6所述的用于补偿丢失音频帧的方法，其特征在于，所述方法还包括：检测当前丢失音频帧是第一丢失音频帧还是所述第一丢失音频帧之后的帧，并且如果所述当前丢失音频帧是所述第一丢失音频帧之后的帧，则线性地降低所述当前丢失音频帧的振幅，以及线性地升高在最后丢失音频帧之后的第一好帧的振幅。
10.如权利要求9所述的用于补偿丢失音频帧的方法，其特征在于，所述方法还包括：如果帧在第五丢失音频帧之后，则将不会降低所述帧的振幅以避免绝对的静音。
CN201710345216.5A 2017-05-16 2017-05-16 用于补偿丢失帧的电路及方法 Active CN108922551B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710345216.5A CN108922551B (zh) 2017-05-16 2017-05-16 用于补偿丢失帧的电路及方法
US15/616,920 US10032457B1 (en) 2017-05-16 2017-06-08 Circuit and method for compensating for lost frames

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710345216.5A CN108922551B (zh) 2017-05-16 2017-05-16 用于补偿丢失帧的电路及方法

Publications (2)

Publication Number Publication Date
CN108922551A true CN108922551A (zh) 2018-11-30
CN108922551B CN108922551B (zh) 2021-02-05

Family

ID=62874442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710345216.5A Active CN108922551B (zh) 2017-05-16 2017-05-16 用于补偿丢失帧的电路及方法

Country Status (2)

Country Link
US (1) US10032457B1 (zh)
CN (1) CN108922551B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111048103A (zh) * 2019-11-22 2020-04-21 湖南泊湾科技有限公司 一种处理播放器音频数据爆音的方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SG11202110071XA (en) * 2019-03-25 2021-10-28 Razer Asia Pacific Pte Ltd Method and apparatus for using incremental search sequence in audio error concealment
US11615312B2 (en) 2020-04-14 2023-03-28 Sony Interactive Entertainment Inc. Self-supervised AI-assisted sound effect generation for silent video using multimodal clustering
US11694084B2 (en) 2020-04-14 2023-07-04 Sony Interactive Entertainment Inc. Self-supervised AI-assisted sound effect recommendation for silent video
US11381888B2 (en) * 2020-04-14 2022-07-05 Sony Interactive Entertainment Inc. AI-assisted sound effect generation for silent video
CN111883147B (zh) * 2020-07-23 2024-05-07 北京达佳互联信息技术有限公司 音频数据处理方法、装置、计算机设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030078769A1 (en) * 2001-08-17 2003-04-24 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
CN1441950A (zh) * 2000-07-14 2003-09-10 康奈克森特系统公司 处理丢失帧的语音通信系统及方法
CN1989548A (zh) * 2004-07-20 2007-06-27 松下电器产业株式会社 语音解码装置及补偿帧生成方法
US20090248404A1 (en) * 2006-07-12 2009-10-01 Panasonic Corporation Lost frame compensating method, audio encoding apparatus and audio decoding apparatus
CN101599810A (zh) * 2008-06-06 2009-12-09 博通集成电路（上海）有限公司 差错掩盖装置及方法
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN104969290A (zh) * 2013-02-05 2015-10-07 瑞典爱立信有限公司 用于对音频帧丢失隐藏进行控制的方法和设备
CN105225666A (zh) * 2014-06-25 2016-01-06 华为技术有限公司 处理丢失帧的方法和装置
WO2016016724A2 (ko) * 2014-07-28 2016-02-04 삼성전자 주식회사 패킷 손실 은닉방법 및 장치와 이를 적용한 복호화방법 및 장치
CN105378834A (zh) * 2013-07-05 2016-03-02 杜比国际公司 丢包掩蔽装置和方法以及音频处理系统
US9401150B1 (en) * 2014-04-21 2016-07-26 Anritsu Company Systems and methods to detect lost audio frames from a continuous audio signal
CN105940380A (zh) * 2014-02-28 2016-09-14 谷歌公司 跨缺失数据的正弦内插

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7379865B2 (en) * 2001-10-26 2008-05-27 At&T Corp. System and methods for concealing errors in data transmission
US7324444B1 (en) * 2002-03-05 2008-01-29 The Board Of Trustees Of The Leland Stanford Junior University Adaptive playout scheduling for multimedia communication
US7324937B2 (en) * 2003-10-24 2008-01-29 Broadcom Corporation Method for packet loss and/or frame erasure concealment in a voice communication system
BRPI0607251A2 (pt) * 2005-01-31 2017-06-13 Sonorit Aps método para concatenar um primeiro quadro de amostras e um segundo quadro subseqüente de amostras, código de programa executável por computador, dispositivo de armazenamento de programa, e, arranjo para receber um sinal de áudio digitalizado
CN101268506B (zh) * 2005-09-01 2011-08-03 艾利森电话股份有限公司 处理编码实时数据的设备和方法
US8386246B2 (en) * 2007-06-27 2013-02-26 Broadcom Corporation Low-complexity frame erasure concealment
US8676573B2 (en) * 2009-03-30 2014-03-18 Cambridge Silicon Radio Limited Error concealment
US9330672B2 (en) * 2011-10-24 2016-05-03 Zte Corporation Frame loss compensation method and apparatus for voice frame signal
KR101398189B1 (ko) * 2012-03-27 2014-05-22 광주과학기술원 음성수신장치 및 음성수신방법
FR3001593A1 (fr) * 2013-01-31 2014-08-01 France Telecom Correction perfectionnee de perte de trame au decodage d'un signal.
CN104299614B (zh) * 2013-07-16 2017-12-29 华为技术有限公司 解码方法和解码装置
EP3285256B1 (en) * 2013-10-31 2019-06-26 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio decoder and method for providing a decoded audio information using an error concealment based on a time domain excitation signal
ES2785000T3 (es) * 2014-06-13 2020-10-02 Ericsson Telefon Ab L M Gestión de errores de trama de ráfaga

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1441950A (zh) * 2000-07-14 2003-09-10 康奈克森特系统公司 处理丢失帧的语音通信系统及方法
US20030078769A1 (en) * 2001-08-17 2003-04-24 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
CN1989548A (zh) * 2004-07-20 2007-06-27 松下电器产业株式会社 语音解码装置及补偿帧生成方法
US20090248404A1 (en) * 2006-07-12 2009-10-01 Panasonic Corporation Lost frame compensating method, audio encoding apparatus and audio decoding apparatus
CN101599810A (zh) * 2008-06-06 2009-12-09 博通集成电路（上海）有限公司 差错掩盖装置及方法
CN103854649A (zh) * 2012-11-29 2014-06-11 中兴通讯股份有限公司 一种变换域的丢帧补偿方法及装置
CN104969290A (zh) * 2013-02-05 2015-10-07 瑞典爱立信有限公司 用于对音频帧丢失隐藏进行控制的方法和设备
CN105378834A (zh) * 2013-07-05 2016-03-02 杜比国际公司 丢包掩蔽装置和方法以及音频处理系统
CN105940380A (zh) * 2014-02-28 2016-09-14 谷歌公司 跨缺失数据的正弦内插
US9401150B1 (en) * 2014-04-21 2016-07-26 Anritsu Company Systems and methods to detect lost audio frames from a continuous audio signal
CN105225666A (zh) * 2014-06-25 2016-01-06 华为技术有限公司 处理丢失帧的方法和装置
WO2016016724A2 (ko) * 2014-07-28 2016-02-04 삼성전자 주식회사 패킷 손실 은닉방법 및 장치와 이를 적용한 복호화방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RYU ET AL: "ENCODER ASSISTED FRAME LOSS CONCEALMENT FOR MPEG-AAC DECODER", 《2006 ICASSP PROCEEDINGS. IEEE INTERNATIONAL CONFERENCE》 *
王锐，赵红东: "一种网络传输中实时音频数据丢包恢复的方法", 《电子设计工程》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111048103A (zh) * 2019-11-22 2020-04-21 湖南泊湾科技有限公司 一种处理播放器音频数据爆音的方法

Also Published As

Publication number Publication date
CN108922551B (zh) 2021-02-05
US10032457B1 (en) 2018-07-24

Similar Documents

Publication Publication Date Title
CN108922551A (zh) 用于补偿丢失帧的电路及方法
US9117455B2 (en) Adaptive voice intelligibility processor
US9060217B2 (en) Audio driver system and method
CN106409313B (zh) 一种音频信号分类方法和装置
CN100397781C (zh) 声音增强系统
RU2325707C2 (ru) Способ и устройство для эффективного маскирования стертых кадров в речевых кодеках на основе линейного предсказания
US7792680B2 (en) Method for extending the spectral bandwidth of a speech signal
CN100557687C (zh) 用于改善语音质量和可懂度的系统
US8538052B2 (en) Generation of probe noise in a feedback cancellation system
US7013011B1 (en) Audio limiting circuit
US8219389B2 (en) System for improving speech intelligibility through high frequency compression
US9130526B2 (en) Signal processing apparatus
CN110265046B (zh) 一种编码参数调控方法、装置、设备及存储介质
JP5232151B2 (ja) パケットベースのエコー除去および抑制
TWI588820B (zh) 音訊強化系統
US8208621B1 (en) Systems and methods for acoustic echo cancellation
US20090248409A1 (en) Communication apparatus
JP2004038211A (ja) 音声符号化方法及び装置
US8364475B2 (en) Voice processing apparatus and voice processing method for changing accoustic feature quantity of received voice signal
JP2007179073A (ja) 音声活性検出装置及び移動局並びに音声活性検出方法
US20110051957A1 (en) Jitter buffer adaptation based on audio content
JP2008065090A (ja) ノイズサプレス装置
US20040019481A1 (en) Received voice processing apparatus
JPWO2010052749A1 (ja) 雑音抑圧装置
JP4320033B2 (ja) 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant