CN101848396B

CN101848396B - 传输流音视频同步及防抖动方法

Info

Publication number: CN101848396B
Application number: CN 200910188501
Authority: CN
Inventors: 胡小华
Original assignee: Shenzhen SDMC Technology Co Ltd
Current assignee: Shenzhen SDMC Technology Co Ltd
Priority date: 2009-11-30
Filing date: 2009-11-30
Publication date: 2012-10-17
Anticipated expiration: 2029-11-30
Also published as: CN101848396A

Abstract

本发明揭示了一种传输流音视频同步及防抖动方法，应用于传输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，所述方法包括步骤：将获取的第一次节目时钟参考设置为基准时间；判断网络是否发生抖动；如是，更新基准时间；否则，进行下一步骤；根据基准时间以及音频展现时间戳或者视频展现时间戳计算音频有效时间戳或者视频有效时间戳。本发明的传输流音视频同步及防抖动方法，通过在网络出现抖动时，对基准时间进行调整，实现对音视频有效时间戳的突变，获取线性增大的音视频有效时间戳，以保证视频平滑流畅以及音视频同步，提升网络传输的可靠性。

Description

传输流音视频同步及防抖动方法

技术领域

本发明涉及到音视频同步技术，特别涉及到传输流音视频同步及防抖动方法。

背景技术

传输流是针对可能出现显著错误的环境中，进行节目传输和存储而定义。因此，当信号差或外部干扰引起传输流网络抖动时，为了能够保证其正常工作，需要提供特殊的机制减轻或消除网络抖动的影响，该特殊机制即为传输流防抖动机制。例如：当一个移动数字接收终端，从一个网络信号强的区域进入信号弱的区域再回到信号强的区域，该过程中就会产生网路的波动，在信号弱的区域，移动数字接收终端接收不到数据或接收到的数据有误，使其播放不出节目或播放马赛克；当重新回到信号强的区域时，移动数字接收终端要求能够立刻恢复正常播放，而不能出现静帧、音视频不同步等现象。

另外，传输流作为一种复合流，其能包含一个或多个节目数据，并且各节目数据都可分开独立传输，客户端能够从传输流中抽取出独立的节目内容并生成该包含该节目数据的节目流；当网络抖动数据出错时，同一节目的音视频数据由于丢失或数据出错，很可能会导致最终的音视频播放不同步。

当前通用的音视频同步处理机制如下：系统时钟恢复通过提供一个外部时钟来实现，音频、视频单元的时间信息PTS(Presentation Time stamp，展现时间戳)可以从解析PES(Packet Elementary Stream，分组基本流)包得到，具体实现如下：

(1)选择一个外部时钟作为系统参考时钟；

(2)设置音频、视频共同的一个时间基准；

(3)以当前解析出的音频、视频的PTS时间与时间基准的差值作为其呈现时间；

(4)在音频、视频呈现端(显示端)，根据系统时钟及相应的呈现时间信息依次呈现；若音频或视频的呈现时间大于系统当前时间，则立即呈现；否则，缓存该音频或视频直到指定的时间到来时才呈现。

或者，上述方法的一种简化版本，如下：

(1)以音频时钟作为系统参考时钟；

(2)设置音频、视频共同的一个时间基准；

(4)在音频、视频呈现端(显示端)，比较音频、视频的呈现时间信息来呈现；若视频的呈现时间小于等于音频的呈现时间，则立即呈现；否则，缓存该视频直到指定的时间到来时才呈现。

上述两种方法在传输流网络发生抖动的时候，由于没有一个很好的预测网络抖动及消除网络抖动的方法，都会导致一个音频或视频的停顿，或者是音频、视频的不同步。

发明内容

本发明的目的之一为提供传输流音视频同步及防抖动方法，可确保传输流音视频的同步。

本发明提出一种传输流音视频同步及防抖动方法，应用于传输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，所述方法包括步骤：

将获取的第一次节目时钟参考设置为基准时间；

判断网络是否发生抖动；如是，根据当前节目时钟参考、上次节目时钟参考以及当前的基准时间更新基准时间；否则，进行下一步骤；

根据基准时间以及音频展现时间戳或者视频展现时间戳计算音频有效时间戳或者视频有效时间戳。

优选地，所述判断网络是否发生抖动的步骤进一步包括步骤：

设置节目时钟参考的突变阈值；

判断当前节目时钟参考与上次节目时钟参考之差的绝对值是否大于其与突变阈值的乘积；如是，则发生抖动；否则，未发生抖动。

优选地，所述更新基准时间的步骤进一步包括步骤：

将当前节目时钟参考与上次节目时钟参考之差与当前的基准时间相加；

设定两者之和为更新的基准时间。

优选地，所述音频有效时间戳的计算方式为：

将音频展现时间戳减去基准时间。

优选地，所述视频有效时间戳的计算方式为：

将视频展现时间戳减去基准时间。

本发明的传输流音视频同步及防抖动方法，通过在网络出现抖动时，对基准时间进行调整，实现对音视频有效时间戳的突变，获取线性增大的音视频有效时间戳，以保证视频平滑流畅以及音视频同步，提升网络传输的可靠性。

附图说明

图1是本发明一实施例中传输流的复用端操作示意图；

图2是本发明一实施例中传输流的解复用端操作示意图；

图3是本发明一实施例中传输流的复用及解复用示意图；

图4是本发明一实施例中传输流音视频同步及防抖动方法的步骤流程图；

图5是本发明一实施例的一实施方式中传输流音视频同步及防抖动方法的步骤流程图；

图6是本发明一实施例中音视频有效时间戳计算示意图；

图7是本发明另一实施例中更新基准时间的步骤流程图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

本发明通过在传输流的解析过程中，将第一次获取的节目时钟参考设置为基准时间，并可在网络出现抖动时，对该基准时间进行调整，并利用该基准时间计算音、视频有效时间戳，以此实现音视频的同步，提升网络传输的可靠性。

由于传输流(Transport Stream，TS流)中各节目的音频、视频以及PSI(Program Specifically Information，节目特定信息)数据等都是独立传输的；因此，在传输流的复用及解复用过程中，需要加入特定的信息来表征各节目任意一部分何时呈现；即在复用的时候实时的加入一定的时间信息，待解复用时再根据该时间信息呈现音视频内容，以此保证同一节目的音频、视频能够同步呈现。

在传输流的形成中加入相应的时间信息，比如PTS(Presentation TimeStamp，展现时间戳)、DTS(Decoding Time Stamp，解码时间戳)以及PCR(Program Clock Reference，节目时钟参考)等。该加入时间信息的具体的操作如下：

(1)在传输流复用端，主要进行注入时间信息及多节目的复合操作，其中时间信息的注入如下所示(参照图1)：

I、在将ES流(Elementary Stream，基本流)打包为PES流(PacketElementary Stream，分组基本流)时，根据STC(System Time Clock，系统时钟)作参考将PTS以及DTS时钟信息注入PES包中；

II、在将PES流打包为传输流时，将PID以及PCR时间信息注入到TS包中；

(2)在传输流解复用端，解复用即是将同一信道中不同时序进行传输的节目分离出来；音视频同步由DTS、PTS以及PCR三者协调完成，并且PCR是重建系统时间基准的绝对时标，而DTS和PTS是解码和重现时刻的相对时标，但在实际应用中可以忽略DTS时间信息，通过应用PTS与PCR信息来实现音视频的同步(参照图2)。

音视频的同步主要是恢复系统时钟，比较系统时钟与当前音视频上的时间信息，以此控制音频、视频的呈现。在传输流复用端，音频、视频流通过共同的节目参考时钟，产生指示音频和视频的正确显示和解码时序的时间信息，同时可用来指示在抽样瞬间系统时钟的瞬时值；在传输流解复用端，通过恢复当前的系统时钟及正确使用音视频的时间信息，实现音视频同步(参照图3)。

参照图4，提出本发明一实施例的一种传输流音视频同步及防抖动方法，应用于传输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，所述方法包括：

步骤S10、将获取的第一次节目时钟参考设置为基准时间；

步骤S11、判断网络是否发生抖动；如是，更新基准时间(步骤S110)；否则，进行下一步骤；

步骤S12、根据基准时间以及音频展现时间戳或者视频展现时间戳计算音频有效时间戳或者视频有效时间戳。

如步骤S10所述，在传输流解析中，取第一次解析获得的PCR(节目时钟参考)时间PCR_TIME为基准时间PCR_BASE_0，当前PCR时间CUR_PCR等于PCR_TIME，上次PCR时间LAST_PCR等于0；若基准时间PCR_BASE_0不为0，即已经获取了基准时间值，则LAST_PCR等于CUR_PCR，CUR_PCR等于PCR_TIME。

如步骤S11所述，若网络发生抖动引发了数据流的损失，此时由于传输流中PCR出现时钟周期远小于音频PTS及视频PTS出现时钟周期；因此，PCR时间信息的突变能够最先表征出传输流的抖动。而且，如需保证视频平滑流畅以及音视频同步，就需要一个线性增大的音视频有效时间戳，为此可通过对音视频有效时间戳的突变实现。

因此，通过PCR的时钟周期判断出网络发生抖动后，可通过更新基准时间(步骤S110)，实现对音视频有效时间戳的突变。

参照图5，在本实施例的一实施方式中，上述步骤S11进一步包括：

步骤S111、设置节目时钟参考的突变阈值；

步骤S112、判断当前节目时钟参考(当前PCR)与上次节目时钟参考(上次PCR)之差的绝对值是否大于其与突变阈值的乘积；如是，则发生抖动；否则，未发生抖动。

如步骤S111所述，将解析的当前PCR时间与上次解析获取的上次PCR时间的差值记为DELTA_PCR；当第一次解析获取PCR时间的时候DELTA_PCR为0，以后每次解析完PCR时间后DELTA_PCR等于CUR_PCR减去LAST_PCR；并设置一个PCR时间突变阈值VALUE。

如步骤S112所述，若解析的当前PCR时间与上次PCR时间差值的绝对值(|CUR_PCR-LAST_PCR|)大于VALUE与DELTA_PCR的乘积，就认为当前传输流发生了网络抖动。否则，进行步骤S12。

如步骤S12所述，在传输流解析中，取解析获得的当前音频PTS时间为CUR_PTS_AUDIO，将当前音频PTS时间与基准时间的差值(CUR_PTS_AUDIO-PCR_BASE_0)作为当前的音频有效时间戳AUDIO_TIMESTAMP。

且，取解析获得的当前视频PTS时间为CUR_PTS_VIDEO，将当前视频PTS时间与基准时间的差值(CUR_PTS_VIDEO-PCR_BASE_0)作为当前的视频有效时间戳VIDEO_TIMESTAMP。(参照图6)

参照图7，提出本发明另一实施例的一种传输流音视频同步及防抖动方法，上述步骤S110进一步包括：

步骤S1101、将当前节目时钟参考与上次节目时钟参考之差与当前的基准时间相加；

步骤S1102、设定两者之和为更新的基准时间。

若当前传输流发生了网络抖动，DELTA_PCR值保持最近一次计算获得的有效值不变，基准时间PCR_BASE_0为通过调整PCR基准时间PCR_BASE_0，通过将PCR_BASE_0加上当前PCR时间与上次PCR时间的差值(PCR_BASE_0+(CRU_PCR-LAST_PCR))，实现对基准时间的调整，以平衡音视频的抖动，达到音视频同步。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims

1.一种传输流音视频同步及防抖动方法，应用于传输流解析过程中，所述传输流包括节目时钟参考、音频展现时间戳以及视频展现时间戳，其特征在于，所述方法包括步骤：

将获取的第一次节目时钟参考设置为基准时间；

设置节目时钟参考的突变阈值；

判断当前节目时钟参考与上次节目时钟参考之差的绝对值是否大于其与突变阈值的乘积；如是，根据当前节目时钟参考、上次节目时钟参考以及当前的基准时间更新基准时间；否则，进行下一步骤；

2.根据权利要求1所述的传输流音视频同步及防抖动方法，其特征在于，所述更新基准时间的步骤进一步包括步骤：

设定两者之和为更新的基准时间。

3.根据权利要求1或2所述的传输流音视频同步及防抖动方法，其特征在于，所述音频有效时间戳的计算方式为：

将音频展现时间戳减去基准时间。

4.根据权利要求1或2所述的传输流音视频同步及防抖动方法，其特征在于，所述视频有效时间戳的计算方式为：

将视频展现时间戳减去基准时间。