[go: up one dir, main page]

WO2016015670A1 - 一种音频流解码方法及装置 - Google Patents

一种音频流解码方法及装置 Download PDF

Info

Publication number
WO2016015670A1
WO2016015670A1 PCT/CN2015/085612 CN2015085612W WO2016015670A1 WO 2016015670 A1 WO2016015670 A1 WO 2016015670A1 CN 2015085612 W CN2015085612 W CN 2015085612W WO 2016015670 A1 WO2016015670 A1 WO 2016015670A1
Authority
WO
WIPO (PCT)
Prior art keywords
buffer
frame
audio
video
frames
Prior art date
Application number
PCT/CN2015/085612
Other languages
English (en)
French (fr)
Inventor
邝锐强
Original Assignee
广州金山网络科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广州金山网络科技有限公司 filed Critical 广州金山网络科技有限公司
Publication of WO2016015670A1 publication Critical patent/WO2016015670A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Definitions

  • the present application relates to the field of streaming media technologies, and in particular, to an audio stream decoding method and apparatus.
  • the electronic device with the audio stream decoding function Before decoding the audio stream of the video file, the electronic device with the audio stream decoding function usually uses the memory of the queue structure as the audio stream in advance. Buffer, such as the AAC (Advanced Audio Coding) buffer in Figure 1; because the audio stream decoding consumes less CPU (Central Processing Unit) resources, the electronic device usually uses CPU to audio.
  • the stream is soft decoded.
  • An audio stream decoding method includes:
  • the audio frames that are not discarded in the audio stream buffer are decoded.
  • the detecting the digital signal processor DSP buffer is in an unsaturated state, including:
  • a frame dropping module configured to: when the number of frames is greater than the first threshold, and less than the total number of frames of the audio frame that can be buffered by the audio stream buffer, after the preset duration is exceeded, in the audio stream buffer Audio frames are discarded;
  • the frame dropping module is further configured to:
  • the audio frames in the audio stream buffer are discarded.
  • FIG. 5 is a flowchart of another audio stream decoding method according to an embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of a video frame decoding module 704 of FIG. 8 according to an embodiment of the present application.
  • the decoder of the electronic device can only decode 25 frames of audio frames, and the number of audio frame frames buffered by the audio stream buffer is 4 And so on, at the 12th second, the number of audio frame frames buffered by the audio stream buffer is 24 frames; at the 13th second, 27 frames of audio frames continue to arrive in the electronic device, and the decoder of the electronic device can only decode 25 frames of audio frames, the remaining 2 frames can not be decoded, and the buffering capacity of the audio stream buffer is 25 frames, and the number of currently buffered audio frames is 24 frames, and only 1 frame can be cached.
  • the buffer is saturated, and one frame can neither be cached nor decoded, and can only be discarded.
  • the embodiments of the present application include but are not limited to the above parameters.
  • the method in the embodiment of the present application can still reduce the number of dropped frames to a certain extent, and reduce the number of occurrences of popping sounds.
  • the number of frames of the audio frame buffered in the audio stream buffer has reached the total number of frames in the audio stream buffer that can buffer the audio frame.
  • the audio stream buffer can be immediately buffered. The audio frames inside are discarded.
  • the method of the embodiment of the present application can determine the number of frames of the audio frame currently buffered by the audio stream buffer of the electronic device, when the number of frames is greater than the first threshold, and is smaller than the audio frame that can be buffered by the audio stream buffer. After the preset number of frames, the audio frames in the audio stream buffer are discarded, and the audio frames that are not discarded in the audio stream buffer are decoded.
  • the DSP buffer may be periodically detected to be in an unsaturated state according to a preset detection period; for example, the buffer of the DSP is detected every 1 s.
  • the DSP buffer is tested every 1 s.
  • the frame data including the blank frame of the DSP buffer may be forced to overflow, thereby decoding the residual frame data in the DSP buffer.
  • the DSP buffer before detecting whether the DSP buffer is in an unsaturated state, it may be determined whether the DSP buffer is in an unsaturated state by detecting whether the video stream data is currently buffered to the DSP buffer; If it is detected that there is no video stream data buffered to the DSP buffer, it can be determined that the current network congestion is serious. If some video stream data remains in the DSP buffer at this time, a blank frame can be inserted into the DSP buffer to achieve The above residual video stream data is decoded as soon as possible.
  • an embodiment of the present application further provides an audio stream decoding apparatus.
  • an audio stream decoding apparatus may include:
  • the embodiment of the present application further provides a storage medium, where the storage medium is used to store an application, and the application is configured to perform an audio stream decoding according to an embodiment of the present application at runtime.
  • the audio stream decoding method of the present application includes:
  • the audio frames in the audio stream buffer are discarded.
  • the memory stores executable program code

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本申请实施例公开了一种音频流解码方法及装置，一种音频流解码方法，包括：确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；对所述音频流缓冲区中未被丢弃的音频帧进行解码。应用上述技术方案，本申请实施例采用在音频流缓冲区内的音频帧帧数大于第一数量阈值，且小于音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对音频帧做丢弃处理的方法，减少了音频帧解码过程中音频帧的丢帧次数，降低爆破音出现的次数。

Description

一种音频流解码方法及装置
本申请要求于2014年08月01日提交中国专利局、申请号为201410375254.1发明名称为“一种音频流解码方法及装置”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及流媒体技术领域，特别涉及一种音频流解码方法及装置。
背景技术
为降低网络环境不稳定给视频文件的音频播放效果带来的影响，在对该视频文件的音频流进行解码之前，具有音频流解码功能的电子设备通常会预先使用一段队列结构的内存作为音频流缓冲区，比如图1中的AAC(Advanced Audio Coding，高级音频编码)缓冲区；由于音频流解码耗用较少的CPU(Central Processing Unit，中央处理器)资源，该电子设备通常采用CPU对音频流进行软解码。
网络长时间处于波动状态，会导致网络设备中视频文件的音频流大量持续涌入电子设备，由于该电子设备CPU的解码速率是固定的，该音频流缓冲区的缓存能力是有限的，在音频流解码过程中，过多音频流的持续涌入势必会导致丢帧现象的出现。
现有技术中，网络设备中视频文件的音频流大量持续涌入电子设备，导致音频流缓冲区被迅速充满，此时，丢弃该音频流缓冲区队列尾或队列头的音频帧。
然而，音频帧的丢帧次数与该视频文件所呈现的声音效果存在直接关系：音频帧的丢帧次数越多，该视频文件播放过程中爆破音出现的次数也就越多；由于现有丢帧方法在音频流缓冲区处于饱和状态时，才会丢弃不能被立即解码/缓存的音频帧，使得该电子设备有大量持续的音频流涌入时不能及时对其进行解码及缓存，从而导致多次丢帧，爆破音现象多次出现。
发明内容
为解决上述问题，本申请实施例公开了一种音频流解码方法及装置，具体技术方案如下：
一种音频流解码方法，包括：
确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
对所述音频流缓冲区中未被丢弃的音频帧进行解码。
优选的，还包括：
当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。
优选的，对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者
对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。
优选的，确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，包括：
根据预设的统计周期，周期性地确定电子设备的音频流缓存区当前缓存的音频帧的帧数。
优选的，所述统计周期大于所述预设时长。
优选的，所述对所述音频流缓冲区内的音频帧做丢弃处理，包括：
从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；
或
从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。
优选的，所述音频帧来源于视频文件，所述视频文件还包括视频帧；所述方法还包括：对所述视频文件中的视频帧进行解码。
优选的，所述对所述视频文件中的视频帧进行解码，包括：
检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区为数字信号处理器的输入缓冲区，所述DSP缓冲区用于缓存视频帧数据；
如果是，则向DSP缓冲区中插入空白帧，直至该DSP缓冲区达到饱和状态；
对DSP缓冲区内的帧数据进行解码。
优选的，在所述检测数字信号处理器DSP缓冲区是否处于不饱和状态之前，还包括：
检测当前是否有视频流数据缓存到所述DSP缓冲区，如果否，则执行所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。
优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
实时检测DSP缓冲区是否处于不饱和状态；
或
根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
优选的，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态， 包括：
检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。
优选的，所述对DSP缓冲区内的帧数据进行解码，包括：
对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。
优选的，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述方法还包括：
根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。
一种音频流解码装置，包括：
帧数确定模块，用于确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
丢帧模块，用于当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
音频帧解码模块，用于对所述音频流缓冲区中未被丢弃的音频帧进行解码。
优选的，所述丢帧模块，还用于：
当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。
优选的，所述丢帧模块对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者
所述丢帧模块对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。
优选的，所述帧数据确定模块，具体用于：
根据预设的统计周期，周期性地确定电子设备的音频流缓存区当前缓存的音频帧的帧数。
优选的，所述统计周期大于所述预设时长。
优选的，所述丢帧模块，具体用于：
从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；
或
从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。
优选的，所述音频帧来源于视频文件，所述视频文件还包括视频帧；所述装置还包括：视频帧解码模块。
优选的，所述视频帧解码模块，包括：
第一检测子模块，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于缓存视频帧数据；
空白帧填充子模块，用于在所述检测模块的检测结果为是的情况下，向DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态；
视频帧解码子模块，用于对DSP缓冲区内的帧数据进行解码。
优选的，所述视频帧解码模块，还包括：
第二检测子模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检测结果为否的情况下，触发所述第一检测模块进行工作，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。
优选的，所述第一检测子模块，具体用于：
实时检测DSP缓冲区是否处于不饱和状态；
或
根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
优选的，所述第一检测子模块，具体用于：
检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
优选的，所述第一检测子模块，具体用于：
检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。
优选的，所述视频帧解码子模块，具体用于：
对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。
优选的，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述装置还包括：
播放模块，用于根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。
为了实现上述目的，本申请实施例还提供了一种存储介质，其中，该存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请所述的一种音频流解码方法。
为了实现上述目的，本申请实施例还提供了一种应用程序，其中，该应用程序用于在运行时执行本申请所述的一种音频流解码方法。
为了实现上述目的，本申请实施例还提供了一种电子设备，包括：
处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与 所述可执行程序代码对应的程序，以用于：
确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
对所述音频流缓冲区中未被丢弃的音频帧进行解码。
应用上述技术方案，可以确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理，对所述音频流缓冲区中未被丢弃的音频帧进行解码。
与现有技术相比，本申请实施例采用在音频流缓冲区内的音频帧帧数大于第一数量阈值，且小于音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对音频帧做丢弃处理的方法，减少了音频帧解码过程中音频帧的丢帧次数，降低爆破音出现的次数。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中音频流解码方法的示例性流程图；
图2为本申请实施例提供的一种音频流解码方法的流程图；
图3为现有技术音频流解码方法的示例性丢帧图；
图4为本申请实施例提供音频流解码方法的示例性丢帧图；
图5为本申请实施例提供的另一种音频流解码方法的流程图；
图6为本申请实施提供的图5中S204的一种实施方式的流程图；
图7为本申请实施例提供的一种音频流解码装置的结构示意图；
图8为本申请实施例提供的另一种音频流解码装置的结构示意图；
图9为本申请实施例提供的图8中视频帧解码模块704的一种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
随着网络多媒体技术的快速发展，多元化的网络多媒体文件不断丰富人们视觉和听觉感受；流媒体(比如视频流、音频流等)的出现，使得用户不必像非流式播放方式那样，待整个多媒体文件完全下载到播放设备本地后才能观看其中的内容；而只需经过几秒或几十秒的传输延迟即可在播放设备上对其进行解码及播放，它为用户带来了新的视听体验。
在网络环境不稳定的情况下，网路服务器侧的音频流持续大量地涌入电子设备中，该电子设备的解码能力及音频流缓冲区的缓存能力都是有限的，此时需要对音频帧做丢弃处理。由于音频的播放效果与音频帧的丢帧次数关系密切，即音频帧的丢帧次数越多，该音频在播放时爆破音出现的次数也就越多。为了使网络侧音频流的播放效果比较平滑，本申请实施例提供了一种音频流解码方法及装置。
下面首先对本申请实施例提供的一种音频流解码方法进行介绍。
需要说明的是，本申请实施例方法适用于电子设备中，在实际应用中，该电子设备可以为笔记本电脑、台式电脑、平板电脑，及智能手机等等，本申请实施例对此不作限定。
如图2所示，一种音频流解码方法，可以包括：
S201，确定电子设备的音频流缓冲区当前缓存的音频帧的帧数。
为了能够在网络不稳定的情况(比如网络不稳导致网络服务器侧的高级音频编码AAC音频流会瞬间涌入电子设备)下正常工作，通常会预先在该电子设备的中央处理器CPU中开辟一块音频流缓冲区，来暂时缓存来自网络服务器侧的AAC音频流数据。为了便于描述，在本申请实施例中，将开辟的音频流缓冲区简称为AAC缓冲区，如图1所示。
可以理解的是，当网络设备侧的AAC音频流的速率大于电子设备的解码速率时，流入该电子设备中的一部分音频帧因不能够被及时解码，而被临时缓存到AAC缓冲区中。此时，可以对AAC缓冲区当前缓存的音频帧的帧数进行统计，进而决定是否需要进行丢帧操作。
可选的，在本申请实施例的一个具体实施方式中，可以根据预设的统计周期，周期性地确定电子设备的音频流缓存区当前缓存的音频帧的帧数。比如每隔6s对AAC缓冲区内缓存的音频帧的帧数进行统计。
需要说明的是，本申请中的预设的统计周期可以为电子设备系统默认的统计周期，或用户根据实际需求自行设定的统计周期，本申请实施例对此不作限定。
S202，当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理。
需要说明的是，通常情况下，音频流缓存区能够缓存的音频帧的总帧数为25帧，本申请实施例中的第一数量阈值取值为15，当然，也可以根据实际需求自行设定，本申请实施例对此不作限定。
此外，基于实际经验，本申请实施例中的预设时长通常为5s，当然，也可以根据实际需求自行设定，本申请实施例对此不作限定。优选的，所述预设时长小于所述统计周期。
可选的，在本申请的一个实施方式中，在对所述音频流缓冲区内的音频帧做丢弃处理时，可以从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃。
可选的，在本申请的另一个实施方式中，在对所述音频流缓冲区内的音频帧做丢弃处理时，可以从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。
可选的，在对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值。此时，结合实例对本申请方法与现有技术进行比较，如图3和图4所示，通常情况下，电子设备中的解码器对音频帧的解码速率为25帧/秒，电子设备中的音频流缓冲区的存储容 量为25帧，可以取n1＝15，预设时长T＝5秒；网络服务器侧的音频流的涌入速度为27帧/秒。
为了方便理解，假定第0秒时，该音频流缓冲区是空的。如图3所示，现有技术方法中，第1秒时，27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，剩下的2帧缓存到音频流缓冲区中；第2秒时，继续有27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，此时该音频流缓冲区缓存的音频帧帧数是4；依次类推，第12秒时，该音频流缓冲区缓存的音频帧帧数是24帧；第13秒时，继续有27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，剩余2帧不能被解码，而该音频流缓冲区缓存的缓存能力是25帧，且当前缓存的音频帧帧数是24帧，只能再缓存1帧，此时该音频流缓冲区达到饱和状态，还有1帧既不能被缓存，又不能被解码，只能被丢弃。
第14秒时，继续有27帧音频帧到达该电子设备中，剩余2帧不能被解码，而该音频流缓冲区在第13秒时已达到饱和状态，剩余的2帧既不能被解码、又不能被缓存，只能丢弃。由此可知，在第12秒之后，每一秒都会出现丢帧现象。
如图4所示，在本申请方法中，第1秒时，27帧音频帧到达该电子设备中，该电子设备的解码器只能解码25帧音频帧，剩下的2帧缓存到音频流缓冲区中；以此类推，第8秒时，该音频流缓冲区缓存的音频帧帧数是16帧，大于n1，持续时长T＝5秒后，该音频流缓存区缓存的音频帧的帧数是24帧，此时对缓冲区中的音频帧进行丢弃，直至该缓存区缓存的音频帧的帧数是15帧，此后，只需间隔5秒对音频帧进行丢弃，而不必像现有技术那样每隔1秒都要丢帧。
以上实施例中列举实际参数仅仅是为方便理解，本申请实施例包括但不限于以上参数。在实际情况中，对于其它参数，本申请实施例的方法仍能在一定程度上降低了丢帧的次数，减少爆破音的出现次数。
可选的，在对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。比如，第一数量阈值为15，第二数量阈值可以为小于15的 整数值，此时，本申请实施例仍能够降低音频帧的丢帧次数，推导方法如上述实例，本申请对此不再赘述。
有时，在没有达到预设时长时，音频流缓冲内缓存的音频帧的帧数就已达到该音频流缓冲区能够缓存音频帧的总帧数，此时，可以立即对所述音频流缓冲区内的音频帧做丢弃处理。
S203，对所述音频流缓冲区中未被丢弃的音频帧进行解码。
由此可见，本申请实施例方法可以确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理，对所述音频流缓冲区中未被丢弃的音频帧进行解码。
与现有技术相比，本申请实施例采用在音频流缓冲区内的音频帧帧数大于第一数量阈值，且小于音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对音频帧做丢弃处理的方法，减少了音频帧解码过程中音频帧的丢帧次数，降低爆破音出现的次数。
可选的，在本申请的一个实施例中，所述音频帧来源于视频文件，所述视频文件还包括视频帧；如图5所示，所述方法还包括：
S204，对所述视频文件中的视频帧进行解码。
可选的，在本申请实施例的一个实施例中，如图6所示，上述S204，可以包括：
S204a，检测数字信号处理器DSP缓冲区是否处于不饱和状态；其中，所述DSP缓冲区为数字信号处理器的输入缓冲区，所述DSP缓冲区用于缓存视频帧数据。
通常情况下，DSP(Digital Signal Processor，数字信号处理器)内包含输入缓冲区和输出缓冲区，为了便于描述，在本申请实施例中，将数字信号处理器的输入缓冲区简称为DSP缓冲区，它的主要作用是对进入DSP的视频帧数据进行暂时缓存。
为了能够在网络不稳定的情况(比如网络不稳导致网络服务器侧的H.264视频流会瞬间涌入播放设备)下正常工作，通常会预先在视频播放设备的驱动或硬件中开辟一块视频流缓冲区，来暂时缓存来自网络服务器侧的H.264 视频流数据，为了便于描述，在本申请实施例中，将开辟的视频流缓冲区简称为H.264缓冲区。
可以理解的是，开辟的缓冲区越小，视频流到达DSP缓冲区的延时就越小，该视频流的播放延时也就越小，但可能导致播放不平滑；开辟的缓冲区越大，播放则越平滑，但视频流到达DSP缓冲区的延时就越长。
可选的，在本申请的一个实施方式中，可以实时检测DSP缓冲区是否处于不饱和状态。
可选的，在本申请的另一个实施方式中，可以根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态；比如每隔1s对DSP的缓冲区进行一次检测。比如每隔1s对DSP的缓冲区进行一次检测。
需要说明的是，本申请中的预设的检测周期可以为播放设备系统默认的检测周期，或用户根据实际需求自行设定的检测周期，本申请实施例对此不作限定。
S204b，向DSP缓冲区中插入空白帧，直至该DSP缓冲区达到饱和状态。
本申请实施例中的空白帧可以理解为透明帧，覆盖在具有实际画面内容的视频帧上不会对该视频帧的播放效果产生影响，在H.264编码方式中，该空白帧也被叫做EOS帧。
前面已经提到，只有当DSP缓冲区被充满时，DSP解码器才能够对该处于饱和状态的DSP缓冲区的视频帧进行解码；在本申请实施例中，当由于网络阻塞等原因致使DSP缓冲区处于不饱和状态时，可以向该处于未饱和状态的DSP缓冲区内插入空白帧，以使该DSP缓冲区迅速达到饱和状态。
需要说明的是，当DSP缓冲区处于饱和状态时，本申请实施例方法不会继续向该DPS缓冲区中插入空白帧，以避免因DSP缓冲区中帧数据过满而导致的丢帧问题。
S204c，对DSP缓冲区内的帧数据进行解码。
在DSP缓冲区达到饱和状态时，可以迫使该DSP缓冲区的包含空白帧在内的帧数据全部溢出，从而实现对该DSP缓冲区内残留的帧数据进行解码。
由此可见，在DSP缓冲区处于不饱和状态、DSP缓冲区中残留视频流不能被立即解码的情况下，本申请实施例能够采用向DSP缓冲区内插入不影响视 频流播放效果的空白帧的方法，使该DSP缓冲区快速达到饱和状态，继而对包含上述残留视频流的帧数据进行解码，实现了在不影响该部分视频流后续播放效果的基础上，对上述残留视频流数据的立即解码。
可选的，在本申请的一个实施例中，上述S204a，可以包括：
检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
可以理解的是，正常情况下，H.264缓冲区中的H.264视频流缓存到DSP缓冲区只需极短的时间；有时，网络会出现暂时阻塞的问题，但很快会恢复正常，此时DSP缓冲区可能会短暂的处于不饱和状态，很快又会达到饱和状态，且不会对后续的播放效果产生较大的影响。
基于上述情况，在本申请实施例中，可以设置一个不影响整体观看效果的时长阈值，如果DSP缓冲区处于不饱和状态的时长超过时长阈值，则向该DSP缓冲区内插入空白帧，使该DSP缓冲区迅速达到饱和状态；如果DSP缓冲区处于不饱和状态的时长不超过时长阈值(比如上述情况)，则可以不向该DSP缓冲区内插入空白帧。
可选的，在本申请的一个实施例中，上述S204a，可以包括：
检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。
可选的，在本申请的一个实施例中，上述S204c，可以包括：
对DSP缓冲区内的携带有网络标识的视频帧数据进行解码；其中，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。
可以理解的是，网络服务器侧发送的视频帧数据都携带有时间戳等网络标识，本申请实施例中的携带有网络标识的视频帧数据可以理解为网络服务器侧发送到播放设备中的视频帧数据，由于网络服务器侧发送的帧数据首先缓存到H.264缓冲区中，故也可以理解为来源于预先建立的H.264缓冲区的视频帧数据。
在本申请实施例中，可以只对包含实质内容的视频帧进行解码，从而维持了该视频帧的原始展示效果。
可选的，在本申请的一个实施例中，在上述S204a之前，还可以包括：
检测当前是否有视频流数据缓存到所述DSP缓存区。
在本申请实施例中，在检测DSP缓冲区是否处于不饱和状态之前，可以通过检测当前是否有视频流数据缓存到该DSP缓冲区，来确定是否需要检测DSP缓冲区是否处于不饱和状态；如果检测到当前没有视频流数据缓存到该DSP缓冲区，则可以确定当前网络阻塞较严重，如果此时该DSP缓冲区中残留部分视频流数据，则可以向该DSP缓冲区插入空白帧，以达到将上述残留视频流数据尽快进行解码的目的。
可选的，在本申请的一个实施例中，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述方法还可以包括：
根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。
可选的，本申请实施例方法也可以应用于音视频异步播放的场景。
可以理解的是，在某些应用场景，比如警察实时跟踪罪犯、实时远程控制等实时性要求较高的场景，更侧重于音频流与视频流播放的实时性，此时，电子设备可以直接对解码后的音频或视频进行播放，而无需再对两者同步播放，从而避免了网络原因导致的视频流堵塞，音频流无法播放；或音频流阻塞时，视频流也无法播放的发生。
相应于上面的方法实施例，本申请实施例还提供了的一种音频流解码装置。
如图7所示，一种音频流解码装置，可以包括：
帧数确定模块701，用于确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
丢帧模块702，用于当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
音频帧解码模块703，用于对所述音频流缓冲区中未被丢弃的音频帧进行解码。
可选的，在本申请的一个实施例中，所述丢帧模块702，还用于：
当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。
可选的，在本申请的一个实施例中，所述丢帧模块702对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者
所述丢帧模块702对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。
可选的，在本申请的一个实施例中，所述帧数据确定模块703，具体用于：
根据预设的统计周期，周期性地确定电子设备的音频流缓存区当前缓存的音频帧的帧数。
在本申请实施例的一个实施方式中，所述统计周期大于所述预设时长。
可选的，在本申请的一个实施例中，所述丢帧模块702，具体用于：
从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；
或
从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。
可选的，在本申请的一个实施例中，所述音频帧来源于视频文件，所述视频文件还包括视频帧；如图8所示，所述装置还包括：
视频帧解码模块704，用于对所述视频文件中的视频帧进行解码。
可选的，在本申请的一个实施例中，如图9所示，所述视频帧解码模块704，包括：
第一检测子模块704a，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于缓存视频帧数据；
空白帧填充子模块704b，用于在所述第一检测模块704a的检测结果为是的情况下，向DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态；
视频帧解码子模块704c，用于对DSP缓冲区内的帧数据进行解码。
可选的，在本申请的一个实施例中，所述视频帧解码模块704，还包括：
第二检测子模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检测结果为否的情况下，触发所述第一检测模块进行工作，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。
可选的，在本申请的一个实施例中，所述第一检测子模块704a，具体用于：
实时检测DSP缓冲区是否处于不饱和状态；
或
根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
可选的，在本申请的一个实施例中，所述第一检测子模块704a，具体用于：
检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
可选的，在本申请的一个实施例中，所述第一检测子模块704a，具体用于：
检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。
可选的，在本申请的一个实施例中，所述视频帧解码子模块704c，具体用于：
对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。
可选的，在本申请的一个实施例中，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述装置还包括：
播放模块，用于根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。
对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
为了实现上述目的，本申请实施例还提供了一种存储介质，其中，该存储介质用于存储应用程序，所述应用程序用于在运行时执行本申请实施例所述的一种音频流解码方法。其中，本申请所述的一种音频流解码方法，包括：
确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧 的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
对所述音频流缓冲区中未被丢弃的音频帧进行解码。
为了实现上述目的，本申请实施例还提供了一种应用程序，其中，该应用程序用于在运行时执行本申请实施例所述的一种音频流解码方法。其中，本申请所述的一种音频流解码方法，包括：
确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
对所述音频流缓冲区中未被丢弃的音频帧进行解码。
为了实现上述目的，本申请实施例还提供了一种电子设备，包括：
处理器、存储器、通信接口和总线；
所述处理器、所述存储器和所述通信接口通过所述总线连接并完成相互间的通信；
所述存储器存储可执行程序代码；
所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于：
确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
对所述音频流缓冲区中未被丢弃的音频帧进行解码。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有 的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (28)

  1. 一种音频流解码方法，其特征在于，该方法包括：
    确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
    当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
    对所述音频流缓冲区中未被丢弃的音频帧进行解码。
  2. 根据权利要求1所述的方法，其特征在于，还包括：
    当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。
  3. 根据权利要求1或2所述的方法，其特征在于，对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者
    对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。
  4. 根据权利要求1或2所述的方法，其特征在于，确定电子设备的音频流缓冲区当前缓存的音频帧的帧数，包括：
    根据预设的统计周期，周期性地确定电子设备的音频流缓存区当前缓存的音频帧的帧数。
  5. 如权利要求4所述的方法，其特征在于，所述统计周期大于所述预设时长。
  6. 根据权利要求1或2所述的方法，其特征在于，所述对所述音频流缓冲区内的音频帧做丢弃处理，包括：
    从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；
    或
    从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。
  7. 根据权利要求1所述的方法，其特征在于，所述音频帧来源于视频文件，所述视频文件还包括视频帧；所述方法还包括：对所述视频文件中的视频帧进行解码。
  8. 根据权利要求7所述的方法，其特征在于，所述对所述视频文件中的视频帧进行解码，包括：
    检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区为数字信号处理器的输入缓冲区，所述DSP缓冲区用于缓存视频帧数据；
    如果是，则向DSP缓冲区中插入空白帧，直至该DSP缓冲区达到饱和状态；
    对DSP缓冲区内的帧数据进行解码。
  9. 根据权利要求8所述的方法，其特征在于，在所述检测数字信号处理器DSP缓冲区是否处于不饱和状态之前，还包括：
    检测当前是否有视频流数据缓存到所述DSP缓冲区，如果否，则执行所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。
  10. 根据权利要求8所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
    实时检测DSP缓冲区是否处于不饱和状态；
    或
    根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
  11. 根据权利要求8所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
    检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
  12. 根据权利要求8所述的方法，其特征在于，所述检测数字信号处理器DSP缓冲区是否处于不饱和状态，包括：
    检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。
  13. 根据权利要求12所述的方法，其特征在于，所述对DSP缓冲区内的帧数据进行解码，包括：
    对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。
  14. 根据权利要求7所述的方法，其特征在于，所述视频文件的视频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述方法还包括：
    根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。
  15. 一种音频流解码装置，其特征在于，该装置包括：
    帧数确定模块，用于确定电子设备的音频流缓冲区当前缓存的音频帧的帧数；
    丢帧模块，用于当该帧数大于第一数量阈值，且小于所述音频流缓冲区能缓存的音频帧的总帧数时，在经过预设时长后，对所述音频流缓冲区内的音频帧做丢弃处理；
    音频帧解码模块，用于对所述音频流缓冲区中未被丢弃的音频帧进行解码。
  16. 根据权利要求15所述的装置，其特征在于，所述丢帧模块，还用于：
    当该帧数达到所述总帧数时，立即对所述音频流缓冲区内的音频帧做丢弃处理。
  17. 根据权利要求15或16所述的装置，其特征在于，所述丢帧模块对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第一数量阈值；或者
    所述丢帧模块对所述音频流缓冲区内的音频帧做丢弃处理后，所述音频流缓冲区内音频帧的帧数等于所述第二数量阈值，且所述第二数量阈值小于所述第一数量阈值。
  18. 根据权利要求15或16所述的装置，其特征在于，所述帧数据确定模块，具体用于：
    根据预设的统计周期，周期性地确定电子设备的音频流缓存区当前缓存的音频帧的帧数。
  19. 根据权利要求18所述的装置，其特征在于，所述统计周期大于所述预设时长。
  20. 根据权利要求15或16所述的装置，其特征在于，所述丢帧模块，具体用于：
    从所述音频流缓冲区的队列尾开始，对音频帧进行丢弃；
    或
    从所述音频流缓冲区的队列头开始，对音频帧进行丢弃。
  21. 根据权利要求15所述的装置，其特征在于，所述音频帧来源于视频文件，所述视频文件还包括视频帧；所述装置还包括：视频帧解码模块。
  22. 根据权利要求21所述的装置，其特征在于，所述视频帧解码模块，包括：
    第一检测子模块，用于检测数字信号处理器DSP缓冲区是否处于不饱和状态，其中，所述DSP缓冲区用于缓存视频帧数据；
    空白帧填充子模块，用于在所述第一检测模块的检测结果为是的情况下，向DSP缓冲区中插入空白帧EOS，直至该DSP缓冲区达到饱和状态；
    视频帧解码子模块，用于对DSP缓冲区内的帧数据进行解码。
  23. 根据权利要求22所述的装置，其特征在于，所述视频帧解码模块，还包括：
    第二检测子模块，用于检测当前是否有视频流数据缓存到所述DSP缓冲区，并在检测结果为否的情况下，触发所述第一检测模块进行工作，其中，所述视频流数据为：预先建立的视频数据缓冲区中的视频帧数据，所述预先建立的视频数据缓冲区用于缓存来源于网络服务器侧的视频帧数据。
  24. 根据权利要求22所述的装置，其特征在于，所述第一检测子模块，具体用于：
    实时检测DSP缓冲区是否处于不饱和状态；
    或
    根据预设的检测周期，周期性地检测DSP缓冲区是否处于不饱和状态。
  25. 根据权利要求22所述的装置，其特征在于，所述第一检测子模块，具体用于：
    检测DSP缓冲区处于不饱和状态的时长是否超过预设的阈值。
  26. 根据权利要求22所述的装置，其特征在于，所述第一检测子模块，具体用于：
    检测DSP缓冲区中是否存在来自预先建立的视频数据缓冲区中的视频帧数据，且未被视频帧数据充满。
  27. 根据权利要求26所述的装置，其特征在于，所述视频帧解码子模块，具体用于：
    对DSP缓冲区内的携带有网络标识的视频帧进行解码，所述携带有网络标识的视频帧为来源于预先建立的视频流缓冲区的帧数据。
  28. 根据权利要求15所述的装置，其特征在于，所述视频文件的视 频帧携带有时间戳，所述视频文件的音频帧携带有时间戳；所述装置还包括：
    播放模块，用于根据所述视频帧的时间戳与所述音频帧的时间戳的对应关系，对视频帧的解码结果及音频帧的解码结果进行同步播放。
PCT/CN2015/085612 2014-08-01 2015-07-30 一种音频流解码方法及装置 WO2016015670A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410375254.1 2014-08-01
CN201410375254.1A CN104113777B (zh) 2014-08-01 2014-08-01 一种音频流解码方法及装置

Publications (1)

Publication Number Publication Date
WO2016015670A1 true WO2016015670A1 (zh) 2016-02-04

Family

ID=51710389

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/085612 WO2016015670A1 (zh) 2014-08-01 2015-07-30 一种音频流解码方法及装置

Country Status (2)

Country Link
CN (1) CN104113777B (zh)
WO (1) WO2016015670A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112511848A (zh) * 2020-11-09 2021-03-16 网宿科技股份有限公司 直播方法、服务端及计算机可读存储介质
CN113014997A (zh) * 2021-03-12 2021-06-22 上海哔哩哔哩科技有限公司 缓存更新方法及装置
CN113082710A (zh) * 2021-04-23 2021-07-09 杭州雾联科技有限公司 一种音频播放方法、装置、电子设备及存储介质
CN113225598A (zh) * 2021-05-07 2021-08-06 上海一谈网络科技有限公司 移动端音视频同步的方法、装置、设备及存储介质
CN113225617A (zh) * 2021-04-28 2021-08-06 臻迪科技股份有限公司 播放视频处理方法、装置及电子设备
CN113301426A (zh) * 2021-04-07 2021-08-24 深圳市麦谷科技有限公司 视频直播的预览方法、装置、终端设备和存储介质
CN113542795A (zh) * 2020-04-21 2021-10-22 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN114268830A (zh) * 2021-12-06 2022-04-01 咪咕文化科技有限公司 云导播同步方法、装置、设备及存储介质
CN115103216A (zh) * 2022-07-19 2022-09-23 康键信息技术（深圳）有限公司 直播数据的处理方法、装置、计算机设备及存储介质

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104113778B (zh) * 2014-08-01 2018-04-03 广州猎豹网络科技有限公司 一种视频流解码方法及装置
CN104113777B (zh) * 2014-08-01 2018-06-05 广州猎豹网络科技有限公司 一种音频流解码方法及装置
CN105100874A (zh) * 2015-06-29 2015-11-25 百度在线网络技术（北京）有限公司 一种用于多媒体播放的方法与设备
CN105847946A (zh) * 2016-05-28 2016-08-10 刘健文 一种传屏视频处理方法
CN105872728A (zh) * 2016-05-28 2016-08-17 刘健文 一种用于多屏互动的传屏视频处理方法
CN105847971A (zh) * 2016-05-28 2016-08-10 刘健文 一种用于传屏视频的处理方法
CN107438198A (zh) * 2016-05-29 2017-12-05 刘健文 一种用于传屏视频的显示终端
CN107438199A (zh) * 2016-05-29 2017-12-05 刘健文 一种传屏视频用显示终端
CN107438197A (zh) * 2016-05-29 2017-12-05 刘健文 一种显示终端
CN106658176A (zh) * 2016-11-07 2017-05-10 广州视源电子科技股份有限公司 远程视频显示方法及系统
CN108882013A (zh) * 2017-05-09 2018-11-23 北京鸿合智能系统有限公司 调整音视频播放速率的方法、装置、电子设备及存储介质
CN109996094B (zh) * 2017-12-29 2021-08-13 杭州海康威视系统技术有限公司 视频播放方法、装置及系统
CN108347645B (zh) * 2018-01-19 2021-02-26 浙江大华技术股份有限公司 一种视频帧解码显示的方法及装置
CN111381973B (zh) * 2018-12-28 2024-03-01 中兴通讯股份有限公司 一种语音数据处理方法、装置及计算机可读存储介质
CN109756789B (zh) * 2018-12-28 2021-10-19 视联动力信息技术股份有限公司 一种音视频数据包的丢包处理方法和系统
CN113380280B (zh) * 2018-12-29 2022-11-22 百度在线网络技术（北京）有限公司 数据处理方法、装置和存储介质
CN109830243B (zh) * 2019-01-30 2021-01-12 腾讯科技（深圳）有限公司 音效处理方法、装置及计算机设备
CN110312159B (zh) * 2019-05-24 2022-03-11 深圳市朗强科技有限公司 一种信号接收装置、流媒体传输系统及流媒体传输方法
CN113900619A (zh) * 2019-09-27 2022-01-07 北京西山居互动娱乐科技有限公司 一种音频数据处理方法及装置
CN110677715B (zh) * 2019-10-11 2022-04-22 北京达佳互联信息技术有限公司 一种解码方法、解码器、电子设备及存储介质
CN112995746B (zh) 2019-12-18 2022-09-09 华为技术有限公司 视频处理方法、装置与终端设备
CN111355975B (zh) * 2020-03-26 2021-09-07 郑州信大捷安信息技术股份有限公司 一种直播客户端音视频延时调节播放系统及方法
CN111901666B (zh) 2020-07-01 2021-05-11 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备以及存储介质
CN114095769B (zh) * 2020-08-24 2024-05-14 海信视像科技股份有限公司 一种应用级播放器的直播低延迟处理方法及显示设备
CN112511885A (zh) * 2020-11-20 2021-03-16 深圳乐播科技有限公司 音视频同步方法、装置及存储介质
CN114093375A (zh) * 2021-03-02 2022-02-25 北京沃东天骏信息技术有限公司 解码方法、装置和计算机可读存储介质
CN114512139B (zh) * 2022-04-18 2022-09-20 杭州星犀科技有限公司 多路音频混音的处理方法、系统、混音处理器和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280301A1 (en) * 2006-05-31 2007-12-06 Yuusuke Yamanaka Stream data processing apparatus and stream data processing method
CN101753422A (zh) * 2008-12-12 2010-06-23 Tcl集团股份有限公司 一种提高网络音频主观质量的方法
CN102739503A (zh) * 2011-04-01 2012-10-17 华平信息技术股份有限公司 VoIP去抖动缓冲区的处理方法
CN103391415A (zh) * 2012-05-11 2013-11-13 安凯(广州)微电子技术有限公司 一种录像数据丢帧处理方法及系统
CN103780908A (zh) * 2014-02-25 2014-05-07 成都佳发安泰科技股份有限公司 一种高效的h264解码方法
CN104113777A (zh) * 2014-08-01 2014-10-22 广州金山网络科技有限公司 一种音频流解码方法及装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995536B2 (en) * 2003-07-23 2015-03-31 Broadcom Corporation System and method for audio/video synchronization
CN1937778A (zh) * 2005-09-20 2007-03-28 腾讯科技（深圳）有限公司 一种流媒体播放方法、系统及设备
CN101340590B (zh) * 2008-08-14 2010-07-07 北京创毅视讯科技有限公司 复用装置和复用方法
CN102378065A (zh) * 2011-10-19 2012-03-14 江西省南城县网信电子有限公司 基于mpeg-4的流媒体服务器端配置缓冲区的方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070280301A1 (en) * 2006-05-31 2007-12-06 Yuusuke Yamanaka Stream data processing apparatus and stream data processing method
CN101753422A (zh) * 2008-12-12 2010-06-23 Tcl集团股份有限公司 一种提高网络音频主观质量的方法
CN102739503A (zh) * 2011-04-01 2012-10-17 华平信息技术股份有限公司 VoIP去抖动缓冲区的处理方法
CN103391415A (zh) * 2012-05-11 2013-11-13 安凯(广州)微电子技术有限公司 一种录像数据丢帧处理方法及系统
CN103780908A (zh) * 2014-02-25 2014-05-07 成都佳发安泰科技股份有限公司 一种高效的h264解码方法
CN104113777A (zh) * 2014-08-01 2014-10-22 广州金山网络科技有限公司 一种音频流解码方法及装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113542795A (zh) * 2020-04-21 2021-10-22 腾讯科技（深圳）有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN112511848A (zh) * 2020-11-09 2021-03-16 网宿科技股份有限公司 直播方法、服务端及计算机可读存储介质
CN112511848B (zh) * 2020-11-09 2023-06-20 网宿科技股份有限公司 直播方法、服务端及计算机可读存储介质
CN113014997A (zh) * 2021-03-12 2021-06-22 上海哔哩哔哩科技有限公司 缓存更新方法及装置
CN113301426A (zh) * 2021-04-07 2021-08-24 深圳市麦谷科技有限公司 视频直播的预览方法、装置、终端设备和存储介质
CN113082710A (zh) * 2021-04-23 2021-07-09 杭州雾联科技有限公司 一种音频播放方法、装置、电子设备及存储介质
CN113082710B (zh) * 2021-04-23 2024-05-28 杭州雾联科技有限公司 一种音频播放方法、装置、电子设备及存储介质
CN113225617A (zh) * 2021-04-28 2021-08-06 臻迪科技股份有限公司 播放视频处理方法、装置及电子设备
CN113225598A (zh) * 2021-05-07 2021-08-06 上海一谈网络科技有限公司 移动端音视频同步的方法、装置、设备及存储介质
CN114268830A (zh) * 2021-12-06 2022-04-01 咪咕文化科技有限公司 云导播同步方法、装置、设备及存储介质
CN114268830B (zh) * 2021-12-06 2024-05-24 咪咕文化科技有限公司 云导播同步方法、装置、设备及存储介质
CN115103216A (zh) * 2022-07-19 2022-09-23 康键信息技术（深圳）有限公司 直播数据的处理方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN104113777A (zh) 2014-10-22
CN104113777B (zh) 2018-06-05

Similar Documents

Publication Publication Date Title
WO2016015670A1 (zh) 一种音频流解码方法及装置
US10855742B2 (en) Buffering in HTTP streaming client
US10097878B2 (en) Video playback method and control terminal thereof
CN106713855B (zh) 一种视频播放方法及装置
CN109587551B (zh) 一种流媒体直播卡顿的判断方法、装置、设备及存储介质
US6665751B1 (en) Streaming media player varying a play speed from an original to a maximum allowable slowdown proportionally in accordance with a buffer state
WO2016015667A1 (zh) 一种视频流解码方法及装置
CN103051955B (zh) 流媒体播放方法及装置
JP2010539739A (ja) データ・フローを同期化する方法
CN111627463B (zh) 语音vad尾点确定方法及装置、电子设备和计算机可读介质
CN107948713B (zh) 一种延时直播方法及系统
WO2020125153A1 (zh) 一种基于流媒体技术的网络视频流畅播放控制方法
US20150110134A1 (en) Adapting a Jitter Buffer
JP2018514804A5 (zh)
CN113490055B (zh) 数据处理方法和装置
CN108540855A (zh) 一种适用于网络直播场景下的自适应低延时流媒体播放软件
CN105979354A (zh) 一种频道切换方法及装置
US10200433B2 (en) Client device, a method for receiving a streaming media data and a streaming media data transmission system
CN113596545A (zh) 音轨切换方法、装置、媒体播放设备和计算机存储介质
CN115102931B (zh) 自适应调整音频延迟的方法及电子设备
CN110072125A (zh) 视频播放方法及装置
US20220256215A1 (en) Systems and methods for adaptive output
TWI431986B (zh) Information processing apparatus and method, and program
US20240340507A1 (en) Methods, systems, and media for streaming video content using adaptive buffers
CN113727186A (zh) 一种实时视频通话的视频播放方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15827472

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205N DATED 12/05/2017)

122 Ep: pct application non-entry in european phase

Ref document number: 15827472

Country of ref document: EP

Kind code of ref document: A1