CN104113777B - 一种音频流解码方法及装置 - Google Patents

Abstract

本发明实施例公开了一种音频流解码方法及装置，一种音频流解码方法，包括：确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；对所述音频流缓冲区中未被丢弃的音频帧进行解码。应用上述技术方案，本发明实施例采用在音频流缓冲区内的音频帧帧数大于第一数量阈值，且小于音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对音频帧做丢弃处理的方法，减少了音频帧解码过程中音频帧的丢帧次数，降低爆破音出现的次数。

Description

一种音频流解码方法及装置

技术领域

本发明涉及流媒体技术领域，特别涉及一种音频流解码方法及装置。

背景技术

为降低网络环境不稳定给视频文件的音频播放效果带来的影响，在对该视频文件的音频流进行解码之前，具有音频流解码功能的电子设备通常会预先使用一段队列结构的内存作为音频流缓冲区，比如图1中的AAC(Advanced Audio Coding，高级音频编码)缓冲区；由于音频流解码耗用较少的CPU(Central Processing Unit，中央处理器)资源，该电子设备通常采用CPU对音频流进行软解码。

网络长时间处于波动状态，会导致网络设备中视频文件的音频流大量持续涌入电子设备，由于该电子设备CPU的解码速率是固定的，该音频流缓冲区的缓存能力是有限的，在音频流解码过程中，过多音频流的持续涌入势必会导致丢帧现象的出现。

现有技术中，网络设备中视频文件的音频流大量持续涌入电子设备，导致音频流缓冲区被迅速充满，此时，丢弃该音频流缓冲区队列尾或队列头的音频帧。

然而，音频帧的丢帧次数与该视频文件所呈现的声音效果存在直接关系：音频帧的丢帧次数越多，该视频文件播放过程中爆破音出现的次数也就越多；由于现有丢帧方法在音频流缓冲区处于饱和状态时，才会丢弃不能被立即解码/缓存的音频帧，使得该电子设备有大量持续的音频流涌入时不能及时对其进行解码及缓存，从而导致多次丢帧，爆破音现象多次出现。

发明内容

为了解决上述问题，本发明实施例公开了一种音频流解码方法及装置，具体技术方案如下：

一种音频流解码方法，包括：

确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；

当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；

对所述音频流缓冲区中未被丢弃的音频帧进行解码。

优选的，还包括：

当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。

优选的，对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者

对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。

优选的，确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，包括：

根据预设的统计周期，周期性地确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。

优选的，所述统计周期大于所述预设时长。

优选的，所述对所述音频流缓冲区内的音频帧做丢弃处理，包括：

从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；

或

从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。

优选的，所述音频帧来源于视频文件，所述视频文件还包括视频帧；所述方法还包括：对所述视频文件中的视频帧进行解码。

优选的，所述对所述视频文件中的视频帧进行解码，包括：

检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区为数字信号处理器的输入缓冲区，所述DSP缓冲区用于缓存视频帧数据；

如果是，则向DSP缓冲区中插入空白帧，直至该DSP缓冲区达到饱和状态；

对DSP缓冲区内的帧数据进行解码。

优选的，在所述检测数字信号处理器DSP缓冲区是否处于不饱和状态之前，还包括：

检测当前是否有视频流数据缓存到所述DSP缓冲区，如果否，则执行所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。

优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：

实时检测DSP缓冲区是否处于不饱和状态；

或

根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。

优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：

检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。

优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：

检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。

优选的，所述对DSP缓冲区内的帧数据进行解码，包括：

对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。

优选的，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述方法还包括：

根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。

一种音频流解码装置，包括：

帧数确定模块，用于确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；

丢帧模块，用于当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；

音频帧解码模块，用于对所述音频流缓冲区中未被丢弃的音频帧进行解码。

优选的，所述丢帧模块，还用于：

当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。

优选的，所述丢帧模块对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者

所述丢帧模块对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。

优选的，所述帧数据确定模块，具体用于：

根据预设的统计周期，周期性地确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。

优选的，所述统计周期大于所述预设时长。

优选的，所述丢帧模块，具体用于：

从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；

或

从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。

优选的，所述音频帧来源于视频文件，所述视频文件还包括视频帧；所述装置还包括：视频帧解码模块。

优选的，所述视频帧解码模块，包括：

第一检测子模块，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于缓存视频帧数据；

空白帧填充子模块，用于在所述检测模块的检测结果为是的情况下，向DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态；

视频帧解码子模块，用于对DSP缓冲区内的帧数据进行解码。

优选的，所述视频帧解码模块，还包括：

第二检测子模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检测结果为否的情况下，触发所述第一检测子模块进行工作，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。

优选的，所述第一检测子模块，具体用于：

实时检测DSP缓冲区是否处于不饱和状态；

或

根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。

优选的，所述第一检测子模块，具体用于：

检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。

优选的，所述第一检测子模块，具体用于：

检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。

优选的，所述视频帧解码子模块，具体用于：

对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。

优选的，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述装置还包括：

播放模块，用于根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。

应用上述技术方案，可以确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理，对所述音频流缓冲区中未被丢弃的音频帧进行解码。

与现有技术相比，本发明实施例采用在音频流缓冲区内的音频帧帧数大于第一数量阈值，且小于音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对音频帧做丢弃处理的方法，减少了音频帧解码过程中音频帧的丢帧次数，降低爆破音出现的次数。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为现有技术中音频流解码方法的示例性流程图；

图2为本发明实施例提供的一种音频流解码方法的流程图；

图3为现有技术音频流解码方法的示例性丢帧图；

图4为本发明实施例提供音频流解码方法的示例性丢帧图；

图5为本发明实施例提供的另一种音频流解码方法的流程图；

图6为本发明实施提供的图5中S204的一种实施方式的流程图；

图7为本发明实施例提供的一种音频流解码装置的结构示意图；

图8为本发明实施例提供的另一种音频流解码装置的结构示意图；

图9为本发明实施例提供的图8中视频帧解码模块704的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着网络多媒体技术的快速发展，多元化的网络多媒体文件不断丰富人们视觉和听觉感受；流媒体(比如视频流、音频流等)的出现，使得用户不必像非流式播放方式那样，待整个多媒体文件完全下载到播放设备本地后才能观看其中的内容；而只需经过几秒或几十秒的传输延迟即可在播放设备上对其进行解码及播放，它为用户带来了新的视听体验。

在网络环境不稳定的情况下，网路服务器侧的音频流持续大量地涌入电子设备中，该电子设备的解码能力及音频流缓冲区的缓存能力都是有限的，此时需要对音频帧做丢弃处理。由于音频的播放效果与音频帧的丢帧次数关系密切，即音频帧的丢帧次数越多，该音频在播放时爆破音出现的次数也就越多。为了使网络侧音频流的播放效果比较平滑，本发明实施例提供了一种音频流解码方法及装置。

下面首先对本发明实施例提供的一种音频流解码方法进行介绍。

需要说明的是，本发明实施例方法适用于电子设备中，在实际应用中，该电子设备可以为笔记本电脑、台式电脑、平板电脑，及智能手机等等，本发明实施例对此不作限定。

如图2所示，一种音频流解码方法，可以包括：

S201，确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。

为了能够在网络不稳定的情况(比如网络不稳导致网络服务器侧的高级音频编码AAC音频流会瞬间涌入电子设备)下正常工作，通常会预先在该电子设备的中央处理器CPU中开辟一块音频流缓冲区，来暂时缓存来自网络服务器侧的AAC音频流数据。为了便于描述，在本发明实施例中，将开辟的音频流缓冲区简称为AAC缓冲区，如图1所示。

可以理解的是，当网络设备侧的AAC音频流的速率大于电子设备的解码速率时，流入该电子设备中的一部分音频帧因不能够被及时解码，而被临时缓存到AAC缓冲区中。此时，可以对AAC缓冲区当前缓存的音频帧的帧数进行统计，进而决定是否需要进行丢帧操作。

可选的，在本发明实施例的一个具体实施方式中，可以根据预设的统计周期，周期性地确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。比如每隔6s对AAC缓冲区内缓存的音频帧的帧数进行统计。

需要说明的是，本发明中的预设的统计周期可以为电子设备系统默认的统计周期，或用户根据实际需求自行设定的统计周期，本发明实施例对此不作限定。

S202，当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理。

需要说明的是，通常情况下，音频流缓冲区能够缓存的音频帧的总帧数为25帧，本发明实施例中的第一数量阈值取值为15，当然，也可以根据实际需求自行设定，本发明实施例对此不作限定。

此外，基于实际经验，本发明实施例中的预设时长通常为5s，当然，也可以根据实际需求自行设定，本发明实施例对此不作限定。优选的，所述预设时长小于所述统计周期。

可选的，在本发明的一个实施方式中，在对所述音频流缓冲区内的音频帧做丢弃处理时，可以从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃。

可选的，在本发明的另一个实施方式中，在对所述音频流缓冲区内的音频帧做丢弃处理时，可以从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。

可选的，在对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值。此时，结合实例对本发明方法与现有技术进行比较，如图3和图4所示，通常情况下，，电子设备中的解码器对音频帧的解码速率为25帧/秒，电子设备中的音频流缓冲区的存储容量为25帧，可以取n₁＝15，预设时长T＝5秒；网络服务器侧的音频流的涌入速度为27帧/秒。

为了方便理解，假定第0秒时，该音频流缓冲区是空的。如图3所示，现有技术方法中，第1秒时，27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，剩下的2帧缓存到音频流缓冲区中；第2秒时，继续有27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，此时该音频流缓冲区缓存的音频帧帧数是4；依次类推，第12秒时，该音频流缓冲区缓存的音频帧帧数是24帧；第13秒时，继续有27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，剩余2帧不能被解码，而该音频流缓冲区缓存的缓存能力是5帧，且当前缓存的音频帧帧数是24帧，只能再缓存1帧，此时该音频流缓冲区达到饱和状态，还有1帧既不能被缓存，又不能被解码，只能被丢弃。

第14秒时，继续有27帧音频帧到达该电子设备中，剩余2帧不能被解码，而该音频流缓冲区在第13秒时已达到饱和状态，剩余的2帧既不能被解码、又不能被缓存，只能丢弃。由此可知，在第12秒之后，每一秒都会出现丢帧现象。

如图4所示，在本发明方法中，第1秒时，27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，剩下的2帧缓存到音频流缓冲区中；以此类推，第8秒时，该音频流缓冲区缓存的音频帧帧数是16帧，大于n₁，持续时长T＝5秒后，该音频流缓冲区缓存的音频帧的帧数是24帧，此时对缓冲区中的音频帧进行丢弃，直至该缓冲区缓存的音频帧的帧数是15帧，此后，只需间隔5秒对音频帧进行丢弃，而不必像现有技术那样每隔1秒都要丢帧。

以上实施例中列举实际参数仅仅是为方便理解，本发明实施例包括但不限于以上参数。在实际情况中，对于其它参数，本发明实施例的方法仍能在一定程度上降低了丢帧的次数，减少爆破音的出现次数。

可选的，在对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。比如，第一数量阈值为15，第二数量阈值可以为小于15的整数值，此时，本发明实施例仍能够降低音频帧的丢帧次数，推导方法如上述实例，本发明对此不再赘述。

有时，在没有达到预设时长时，音频流缓冲内缓存的音频帧的帧数就已达到该音频流缓冲区能够缓存音频帧的总帧数，此时，可以立即对所述音频流缓冲区内的音频帧做丢弃处理。

S203，对所述音频流缓冲区中未被丢弃的音频帧进行解码。

由此可见，本发明实施例方法可以确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理，对所述音频流缓冲区中未被丢弃的音频帧进行解码。

与现有技术相比，本发明实施例采用在音频流缓冲区内的音频帧帧数大于第一数量阈值，且小于音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对音频帧做丢弃处理的方法，减少了音频帧解码过程中音频帧的丢帧次数，降低爆破音出现的次数。

可选的，在本发明的一个实施例中，所述音频帧来源于视频文件，所述视频文件还包括视频帧；如图5所示，所述方法还包括：

S204，对所述视频文件中的视频帧进行解码。

可选的，在本发明实施例的一个实施例中，如图6所示，上述S204，可以包括：

S204a，检测数字信号处理器DSP缓冲区是否处于不饱和状态；其中，所述DSP缓冲区为数字信号处理器的输入缓冲区，所述DSP缓冲区用于缓存视频帧数据。

通常情况下，DSP(Digital Signal Processor，数字信号处理器)内包含输入缓冲区和输出缓冲区，为了便于描述，在本发明实施例中，将数字信号处理器的输入缓冲区简称为DSP缓冲区，它的主要作用是对进入DSP的视频帧数据进行暂时缓存。

为了能够在网络不稳定的情况(比如网络不稳导致网络服务器侧的H.264视频流会瞬间涌入播放设备)下正常工作，通常会预先在视频播放设备的驱动或硬件中开辟一块视频流缓冲区，来暂时缓存来自网络服务器侧的H.264视频流数据，为了便于描述，在本发明实施例中，将开辟的视频流缓冲区简称为H.264缓冲区。

可以理解的是，开辟的缓冲区越小，视频流到达DSP缓冲区的延时就越小，该视频流的播放延时也就越小，但可能导致播放不平滑；开辟的缓冲区越大，播放则越平滑，但视频流到达DSP缓冲区的延时就越长。

可选的，在本发明的一个实施方式中，可以实时检测DSP缓冲区是否处于不饱和状态。

可选的，在本发明的另一个实施方式中，可以根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态；比如每隔1s对DSP的缓冲区进行一次检测。比如每隔1s对DSP的缓冲区进行一次检测。

需要说明的是，本发明中的预设的检测周期可以为播放设备系统默认的检测周期，或用户根据实际需求自行设定的检测周期，本发明实施例对此不作限定。

S204b，向DSP缓冲区中插入空白帧，直至该DSP缓冲区达到饱和状态。

本发明实施例中的空白帧可以理解为透明帧，覆盖在具有实际画面内容的视频帧上不会对该视频帧的播放效果产生影响，在H.264编码方式中，该空白帧也被叫做EOS帧。

前面已经提到，只有当DSP缓冲区被充满时，DSP解码器才能够对该处于饱和状态的DSP缓冲区的视频帧进行解码；在本发明实施例中，当由于网络阻塞等原因致使DSP缓冲区处于不饱和状态时，可以向该处于未饱和状态的DSP缓冲区内插入空白帧，以使该DSP缓冲区迅速达到饱和状态。

需要说明的是，当DSP缓冲区处于饱和状态时，本发明实施例方法不会继续向该DPS缓冲区中插入空白帧，以避免因DSP缓冲区中帧数据过满而导致的丢帧问题。

S204c，对DSP缓冲区内的帧数据进行解码。

在DSP缓冲区达到饱和状态时，可以迫使该DSP缓冲区的包含空白帧在内的帧数据全部溢出，从而实现对该DSP缓冲区内残留的帧数据进行解码。

由此可见，在DSP缓冲区处于不饱和状态、DSP缓冲区中残留视频流不能被立即解码的情况下，本发明实施例能够采用向DSP缓冲区内插入不影响视频流播放效果的空白帧的方法，使该DSP缓冲区快速达到饱和状态，继而对包含上述残留视频流的帧数据进行解码，实现了在不影响该部分视频流后续播放效果的基础上，对上述残留视频流数据的立即解码。

可选的，在本发明的一个实施例中，上述S204a，可以包括：

检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。

可以理解的是，正常情况下，H.264缓冲区中的H.264视频流缓存到DSP缓冲区只需极短的时间；有时，网络会出现暂时阻塞的问题，但很快会恢复正常，此时DSP缓冲区可能会短暂的处于不饱和状态，很快又会达到饱和状态，且不会对后续的播放效果产生较大的影响。

基于上述情况，在本发明实施例中，可以设置一个不影响整体观看效果的时长阈值，如果DSP缓冲区处于不饱和状态的时长超过时长阈值，则向该DSP缓冲区内插入空白帧，使该DSP缓冲区迅速达到饱和状态；如果DSP缓冲区处于不饱和状态的时长不超过时长阈值(比如上述情况)，则可以不向该DSP缓冲区内插入空白帧。

可选的，在本发明的一个实施例中，上述S204a，可以包括：

检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。

可选的，在本发明的一个实施例中，上述S204c，可以包括：

对DSP缓冲区内的携带有网络标识的视频帧数据进行解码；其中，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。

可以理解的是，网络服务器侧发送的视频帧数据都携带有时间戳等网络标识，本发明实施例中的携带有网络标识的视频帧数据可以理解为网络服务器侧发送到播放设备中的视频帧数据，由于网络服务器侧发送的帧数据首先缓存到H.264缓冲区中，故也可以理解为来源于预先建立的H.264缓冲区的视频帧数据。

在本发明实施例中，可以只对包含实质内容的视频帧进行解码，从而维持了该视频帧的原始展示效果。

可选的，在本发明的一个实施例中，在上述S204a之前，还可以包括：

检测当前是否有视频流数据缓存到所述DSP缓冲区。

在本发明实施例中，在检测DSP缓冲区是否处于不饱和状态之前，可以通过检测当前是否有视频流数据缓存到该DSP缓冲区，来确定是否需要检测DSP缓冲区是否处于不饱和状态；如果检测到当前没有视频流数据缓存到该DSP缓冲区，则可以确定当前网络阻塞较严重，如果此时该DSP缓冲区中残留部分视频流数据，则可以向该DSP缓冲区插入空白帧，以达到将上述残留视频流数据尽快进行解码的目的。

可选的，在本发明的一个实施例中，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述方法还可以包括：

根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。

可选的，本发明实施例方法也可以应用于音视频异步播放的场景。

可以理解的是，在某些应用场景，比如警察实时跟踪罪犯、实时远程控制等实时性要求较高的场景，更侧重于音频流与视频流播放的实时性，此时，电子设备可以直接对解码后的音频或视频进行播放，而无需再对两者同步播放，从而避免了网络原因导致的视频流堵塞，音频流无法播放；或音频流阻塞时，视频流也无法播放的发生。

相应于上面的方法实施例，本发明实施例还提供了的一种音频流解码装置。

如图7所示，一种音频流解码装置，可以包括：

帧数确定模块701，用于确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；

丢帧模块702，用于当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；

音频帧解码模块703，用于对所述音频流缓冲区中未被丢弃的音频帧进行解码。

可选的，在本发明的一个实施例中，所述丢帧模块702，还用于：

当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。

可选的，在本发明的一个实施例中，所述丢帧模块702对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者

所述丢帧模块702对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。

可选的，在本发明的一个实施例中，所述帧数据确定模块703，具体用于：

根据预设的统计周期，周期性地确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。

在本发明实施例的一个实施方式中，所述统计周期大于所述预设时长。

可选的，在本发明的一个实施例中，所述丢帧模块702，具体用于：

从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；

或

从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。

可选的，在本发明的一个实施例中，所述音频帧来源于视频文件，所述视频文件还包括视频帧；如图8所示，所述装置还包括：

视频帧解码模块704，用于对所述视频文件中的视频帧进行解码。

可选的，在本发明的一个实施例中，如图9所示，所述视频帧解码模块704，包括：

第一检测子模块704a，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于缓存视频帧数据；

空白帧填充子模块704b，用于在所述第一检测子模块704a的检测结果为是的情况下，向DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态；

视频帧解码子模块704c，用于对DSP缓冲区内的帧数据进行解码。

可选的，在本发明的一个实施例中，所述视频帧解码模块704，还包括：

第二检测子模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检测结果为否的情况下，触发所述第一检测子模块进行工作，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。

可选的，在本发明的一个实施例中，所述第一检测子模块704a，具体用于：

实时检测DSP缓冲区是否处于不饱和状态；

或

根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。

可选的，在本发明的一个实施例中，所述第一检测子模块704a，具体用于：

检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。

可选的，在本发明的一个实施例中，所述第一检测子模块704a，具体用于：

检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。

可选的，在本发明的一个实施例中，所述视频帧解码子模块704c，具体用于：

对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。

可选的，在本发明的一个实施例中，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述装置还包括：

播放模块，用于根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (22)

1.一种音频流解码方法，其特征在于，该方法包括：

确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，其中，所述音频帧来源于视频文件，所述视频文件还包括视频帧；

当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理，对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者

对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于第二数量阈值，且所述第二数量阈值小于所述第一数量阈值；

对所述音频流缓冲区中未被丢弃的音频帧进行解码；

对所述视频文件中的视频帧进行解码，其中，所述对所述视频文件中的视频帧进行解码，包括：

检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区为数字信号处理器的输入缓冲区，所述DSP缓冲区用于缓存视频帧数据；

如果是，则向DSP缓冲区中插入空白帧，直至该DSP缓冲区达到饱和状态；

对DSP缓冲区内的帧数据进行解码。

2.根据权利要求1所述的方法，其特征在于，还包括：

当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。

3.根据权利要求1或2所述的方法，其特征在于，确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，包括：

根据预设的统计周期，周期性地确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。

4.如权利要求3所述的方法，其特征在于，所述统计周期大于所述预设时长。

5.根据权利要求1或2所述的方法，其特征在于，所述对所述音频流缓冲区内的音频帧做丢弃处理，包括：

从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；

或

从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。

6.根据权利要求1所述的方法，其特征在于，在所述检测数字信号处理器DSP缓冲区是否处于不饱和状态之前，还包括：

检测当前是否有视频流数据缓存到所述DSP缓冲区，如果否，则执行所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。

7.根据权利要求1所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：

实时检测DSP缓冲区是否处于不饱和状态；

或

根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。

8.根据权利要求1所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：

检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。

9.根据权利要求1所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：

检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。

10.根据权利要求9所述的方法，其特征在于，所述对DSP缓冲区内的帧数据进行解码，包括：

对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。

11.根据权利要求1所述的方法，其特征在于，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述方法还包括：

根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。

12.一种音频流解码装置，其特征在于，该装置包括：

帧数确定模块，用于确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，其中，所述音频帧来源于视频文件，所述视频文件还包括视频帧；

丢帧模块，用于当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理，对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者

对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于第二数量阈值，且所述第二数量阈值小于所述第一数量阈值；

音频帧解码模块，用于对所述音频流缓冲区中未被丢弃的音频帧进行解码；

视频帧解码模块，用于对所述视频文件中的视频帧进行解码，其中，所述视频帧解码模块，包括：

第一检测子模块，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于缓存视频帧数据；

空白帧填充子模块，用于在所述第一检测子模块的检测结果为是的情况下，向DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态；

视频帧解码子模块，用于对DSP缓冲区内的帧数据进行解码。

13.根据权利要求12所述的装置，其特征在于，所述丢帧模块，还用于：

当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。

14.根据权利要求12或13所述的装置，其特征在于，所述帧数确定模块，具体用于：

根据预设的统计周期，周期性地确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。

15.根据权利要求14所述的装置，其特征在于，所述统计周期大于所述预设时长。

16.根据权利要求12或13所述的装置，其特征在于，所述丢帧模块，具体用于：

从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；

或

从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。

17.根据权利要求12所述的装置，其特征在于，所述视频帧解码模块，还包括：

第二检测子模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检测结果为否的情况下，触发所述第一检测子模块进行工作，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。

18.根据权利要求12所述的装置，其特征在于，所述第一检测子模块，具体用于：

实时检测DSP缓冲区是否处于不饱和状态；

或

根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。

19.根据权利要求12所述的装置，其特征在于，所述第一检测子模块，具体用于：

检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。

20.根据权利要求12所述的装置，其特征在于，所述第一检测子模块，具体用于：

检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。

21.根据权利要求20所述的装置，其特征在于，所述视频帧解码子模块，具体用于：

对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。

22.根据权利要求12所述的装置，其特征在于，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述装置还包括：

播放模块，用于根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。