CN108183774B - 一种流媒体传输的前向纠错方法和系统 - Google Patents

Abstract

本发明公开一种流媒体传输的前向纠错方法和系统，该方法包括：发送端获取流媒体传输时的当前网络质量数据；所述发送端依据所述当前网络质量数据，按照预设规则动态设置所述发送端的前向纠错冗余参数，并依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码；接收端接收所述冗余编码并依据所述冗余编码动态调整所述接收端的前向纠错冗余参数；所述接收端依据所述接收端自适应的前向纠错冗余参数恢复所述流媒体的数据包。本发明实现依据当前网络质量和流媒体传输情况，动态调整发送端的前向纠错冗余参数；同时接收端能够自适应冗余参数并进行丢失数据包的恢复。节省网络传输带宽和人力成本，提高数据传输的时效性和用户体验。

Description

一种流媒体传输的前向纠错方法和系统

技术领域

本发明涉及数据传输技术领域，尤其涉及一种流媒体传输的前向纠错方法和系统。

背景技术

随着网络的普及和多媒体技术的发展，流媒体技术的应用越来越广泛。人们通常会采用语音和视频进行实时通讯，或者在网络中上传直播视频与观看者进行互动。

目前，流媒体的服务通常将码流数据按一定规则打包后，以数据包的形式进行发送。接收端接收到数据包后即可获得传输的码流。然而，网络的服务质量通常不受保障，数据传输时经常会遭受不定数量的数据包丢失的情况，视频的传输尤为明显，进而影响接收端的观看效果和观看体验。在数据包尤其是视频数据的数据包恢复的技术方案中，为了减少视频的延迟而提高视频的实时性，通常采用前向纠错方法来对传输中丢失的数据包进行恢复。现有的前向纠错方法在数据传输前会设置特定的冗余参数，并依据冗余参数对数据进行冗余编码，以此在接收端中设置同样的冗余参数，并依据同样的冗余参数和冗余编码对丢失的数据包进行恢复；且在此次流媒体的传输或直播视频交互中一直采用同样的冗余参数。

然而，现有的前向纠错方法比较单一，影响数据的传输效率，增加数据的延迟性。此外人工对接收端冗余参数的设置增加人力成本，且时效性低。

发明内容

本发明实施例提供了一种流媒体传输的前向纠错方法和系统，能够动态调整前向纠错的冗余参数，并自适应冗余参数进行丢失数据包的恢复。

第一方面，本发明实施例提供了一种流媒体传输的前向纠错方法，包括：

发送端获取流媒体传输时的当前网络质量数据；

所述发送端依据所述当前网络质量数据，按照预设规则动态设置所述发送端的前向纠错冗余参数，并依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码；

接收端接收所述冗余编码并依据所述冗余编码动态调整所述接收端的前向纠错冗余参数；

所述接收端依据所述接收端自适应的前向纠错冗余参数恢复所述流媒体的数据包。

第二方面，本发明实施例提供了一种流媒体传输的前向纠错系统，包括：发送端和接收端，其中，

所述发送端用于执行如下操作：获取流媒体传输时的当前网络质量数据；依据所述当前网络质量数据，按照预设规则动态设置所述发送端的前向纠错冗余参数，并依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码；

所述接收端用于执行如下操作：接收所述冗余编码并依据所述冗余编码动态调整所述接收端的前向纠错冗余参数；依据所述接收端自适应的前向纠错冗余参数恢复所述流媒体的数据包。

本发明通过获取流媒体传输时的当前网络质量数据，依据流媒体的传输情况和当前网络质量数据，发送端动态设置发送端的前向纠错冗余参数，并依据前向纠错冗余参数对流媒体进行冗余编码；接收端接收到流媒体对应的冗余编码后，自适应接收端的前向纠错冗余参数，最终以自适应得到的冗余参数对丢失的数据包进行恢复。本发明实现了依据当前的网络质量数据和流媒体的传输情况，动态调整发送端的前向纠错冗余参数；同时接收端能够自适应冗余参数并进行丢失数据包的恢复。节省了网络传输带宽和人力成本，提高数据传输的时效性和用户体验。

附图说明

图1为本发明实施例一提供的一种流媒体传输的前向纠错方法的流程图；

图2为本发明实施例二提供的发送端中前向纠错方法的流程图；

图3为本发明实施例三提供的接收端中前向纠错方法的流程图；

图4为本发明实施例四提供的一种流媒体传输的前向纠错系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的一种流媒体传输的前向纠错方法的流程图，本实施例可适用于流媒体传输时数据恢复的情况，该方法可以由流媒体传输的前向纠错系统来执行。该方法具体包括如下步骤：

步骤110、发送端获取流媒体传输时的当前网络质量数据。

在本发明具体实施例中，流媒体又叫流式媒体，是指采用流式传输方式进行传输和播放的媒体，即边传边播的媒体，例如直播、即时音频或视频通讯等。提供流媒体的提供方在网络上传输媒体的同时或者在较短的延迟时间内，接收流媒体的接收方不断地接收并观看或收听被传输的流媒体。当前网络质量数据可以为当前的网络服务质量(Quality ofService，QoS)，QoS中的参数包括但不限于：带宽、通信时延、时延抖动、丢包率或者跳数。QoS参数可以由接收端反馈或者由网络节点反馈给发送端。

本实施例依据流媒体的传输情况，当传输情况不佳，或者无法满足接收端的要求时，此时需要开启前向纠错功能，以此提高流媒体的传输质量。因此通过动态设置发送端的前向纠错冗余参数，以此来控制前向纠错功能的反复打开与关闭。

步骤120、发送端依据当前网络质量数据，按照预设规则动态设置发送端的前向纠错冗余参数，并依据发送端的前向纠错冗余参数对流媒体进行冗余编码。

在本发明具体实施例中，前向纠错冗余参数为进行冗余编码的依据。前向纠错冗余参数包括但不局限于：冗余层级、每层冗余的冗余比例以及每层冗余的冗余度等参数。冗余层级越多，对数据传输时的保护性能越高，但相应的编码和解码算法也越复杂。冗余比例表示待编码的数据包与生成的冗余数据包的比例。例如，一层冗余比例为10，表示由10个媒体数据包生成1个冗余数据包；二层冗余比例为3，表示由3个一层冗余数据包生成1个二层冗余数据包；以此类推。本实施例设置一层冗余比例范围为2至25，即可设置一层冗余比例最小值为2，最大值为25；设置二层冗余比例范围为2至8，即可设置二层冗余比例最小值为2，最大值为8。由于多余二层的多层冗余的复杂度较高，故本实施例不做考虑。

冗余度表示冗余数据包占所有数据包的比例。假设一层冗余比例为n，二层冗余比例为m，则当仅设置一层冗余层级时，则冗余度为

当设置了两层冗余层级时，则冗余度为

例如，假设一层冗余比例为5，二层冗余比例为3，则当仅设置一层冗余层级时，则冗余度约为16.67％；当设置了两层冗余层级时，则冗余度约为21.05％。可以理解的是，冗余比例越高，冗余度越低，进而丢包的补偿能力即数据的恢复能力越差，额外占用的网络带宽越小，延迟时间越长。

本实施例可以根据接收端需求以及实际的网络质量，预先设置一定的参数设置规则，并依据当前网络质量数据与预设规则的对应关系，动态设置发送端的前向纠错冗余参数。以使得网络质量较佳，或者流媒体传输效果较好时，关闭或者适当的提高冗余比例，从而降低数据传输的冗余度，节省网络带宽的占用；而当网络质量较差，或者流媒体传输效果较差时，打开或适当的降低冗余比例，从而提高数据传输的冗余度，增强数据的恢复能力，以提高数据的传输效果。

示例性的，音频数据占用带宽约为每秒5-6KB，该数据流包括了实时传输协议(Real-time Transport Protocol，RTP)、用户数据报协议(User Datagram Protocol，UDP)和网络之间互连的协议(Internet Protocol，IP)包头的开销，每帧的帧长是42.67ms，帧率是23.4，即每秒约23.4个数据包。对于音频传输时的前向纠错冗余参数的设置建议以下两种情况：第一种是设置一层冗余且冗余比例为2，第二种是设置一层冗余且冗余比例为5。具体的，第一种设置情况的冗余比例低而冗余度较高，达到33.33％。若基于媒体包提高冗余度为50.00％，则额外占用的网络带宽增加较多，总体占用带宽达到8-9KB,每2帧音频数据冗余一个前向纠错冗余数据包，理论延迟时间为85.3ms。该方案对音频数据的冗余度要求很高，适用于对音频延迟性且连续性要求较高的场景。由于音频数据总体占用带宽并不高，因此增加至50％也属于可接受范围。第二种设置情况的冗余比例较高而冗余度一般，达到16.67％。若基于媒体包提高冗余度为20.00％，占用带宽达到6-7KB，每5帧音频数据冗余一个前向纠错冗余数据包，理论延迟时间为213ms。该方案对音频数据的冗余度要求一般，增加20％也属于比较好的范围，在带宽消耗增加和提高音频效果方面达到比较好的平衡，适用于对音频延迟性要求不高，但对连续性要求较高的场景。

示例性的，对于视频数据的冗余参数的设置比音频数据要复杂的多。根据视频分辨率、质量参数、帧率和压缩算法等参数进行评估，直播应用在各场景下占用的带宽各不相同，范围大致包括20KB/s、40KB/s、80KB/s和150KB/s等，该数据流包括RTP、UDP和IP包头的开销。视频帧率范围在10至25帧之间，由于视频编码的数据量大，一般需要分包发送，所以正如音频数据冗余参数的设置一样，视频数据的前向纠错冗余参数配置根据帧率设置的意义不大。由于视频编码发送占用带宽较高，且占用带宽与视频分辨率、帧率、质量参数和压缩算法都相关，因此本实施例根据带宽的占用量来进行冗余参数的配置。由于视频数据占用带宽较高，故冗余度应设置为较低情况，达到避免额外带宽占用太高的目的。表1为本实施例仅根据视频数据带宽的占用量来设置冗余参数的预设规则。

表1根据视频数据带宽的占用量来设置冗余参数的预设规则

视频数据占用带宽	冗余层级	冗余比例	冗余度	增加带宽
					20KB/S	一层冗余	一层3	25.0％	33.3％
40KB/S	两层冗余	一层5，二层2	23.1％	30.0％
					80KB/S	两层冗余	一层5，二层3	21.1％	26.7％
150KB/S	两层冗余	一层8，二层3	14.3％	16.7％
					300KB/S	两层冗余	一层10，二层5	10.7％	12.0％

其中，增加带宽为冗余编码中的冗余数据包额外占用的带宽比例。例如，对于一层冗余且冗余比例为3的冗余参数，其冗余编码后，冗余数据包额外占用的带宽为1/3≈33.33％。值得注意的是，真实环境中视频数据流占用带宽波动范围较大，如40KB/S的视频流，波动范围可能在30KB/S至60KB/S之间。因此在实际设置冗余参数时要需要结合实际情况和预设规则具体而定。

若仅考虑视频数据占用带宽的情况来设置前向纠错冗余参数，则与实际业务应用无关。然而引人前向纠错功能的主要目的就是优化用户体验，因此也要根据实际业务需要对冗余参数进行优化，以冗余时间范围为出发点进行设计。当冗余时间单位太大时，前向纠错的丢包恢复不如后向纠错的丢包补偿，而太小的冗余时间单位则增加额外带宽的占用，性价比较低。本实施例建议两种视频数据传输时冗余参数的设置情况：第一种是低延迟，以约200ms为一个冗余时间单位，从而达到比较好的延迟效果；第二种是稍高延迟，以约400ms为一个冗余时间单位，在保证视频传输流畅下降低冗余数据占用的额外带宽。考虑到每个视频数据包所携带的数据量是不等的，本实施例以平均值进行计算，设定每个包携带800Byte数据。以占用带宽为150KB/S的视频码流为例，计算得出200ms内约传输40个视频数据包，因此建议冗余参数配置为两层冗余，一层冗余比例为8，二层冗余比例为5。基于以上思路计算得到冗余时间单位为200ms时设置冗余参数的预设规则如表2所示。

表2冗余时间单位为200ms时设置冗余参数的预设规则

综上所述，冗余参数的设置既与视频数据占用带宽有关，也与预期的冗余程度和恢复效果有关。具体情况下，冗余参数设置数值都不影响前向纠错功能的正常使用，但影响个别媒体包的恢复。

发送端最终依据为发送端设置的前向纠错冗余参数打开前向纠错编码器，在发送端依据流媒体生成媒体数据包之后，首先利用RTP协议媒体数据包进行封装，以使后期解码后的媒体数据包是包含RTP协议封装的，供接收端后续的媒体处理中使用；其次把媒体数据包插入前向纠错编码器，以使前向纠错编码器依据媒体数据包进行冗余编码，生成冗余数据包，并利用RTP协议对冗余数据包进行封装处理，每个包的包头都会标记其通道ID。发送端和接收端一一对应，同时由通道ID标识。发送端基于UDP协议将封装后的媒体数据包和冗余数据包发送至接收端。

步骤130、接收端接收冗余编码并依据冗余编码动态调整接收端的前向纠错冗余参数。

在本发明具体实施例中，接收端开启前向纠错解码器，并将流媒体对应的媒体数据包和冗余编码后的冗余数据包插入前向纠错解码器中，进而前向纠错解码器从插入的数据包中获取并动态调整前向纠错冗余参数，达到前向纠错解码器中前向纠错冗余参数自适应，以与发送端动态调整的前向纠错冗余参数得到匹配。

示例性的，前向纠错解码器根据冗余数据包的接收情况来自适应冗余参数。第一，当前向纠错解码器仅插入了一层冗余数据包时，无论发送端的前向纠错编码器是否有二层冗余，前向纠错解码器仅设置为一层冗余层级，同时根据一层冗余数据包得到一层冗余比例。第二，当前向纠错解码器仅插入了二层冗余数据包时，前向纠错解码器设置为两层冗余层级，同时根据二层冗余数据包得到二层的冗余比例；但一层冗余比例得不到，保持默认值为0。第三，当前向纠错解码器先插入了一层冗余数据包而后插入了二层冗余数据包时，先设置冗余层级为一层，并根据一层冗余数据包得到一层冗余比例；然后设置冗余层级为二层，并根据二层冗余数据包得到二层冗余比例。第四，当前向纠错解码器先接收到二层冗余数据包而后接收到一层冗余数据包时，先设置冗余层级为二层，并根据二层冗余数据包得到二层冗余比例；然后仍保持冗余层级为二层，并根据一层冗余数据包得到一层冗余比例。第五，当前向纠错解码器未插入任何冗余数据包时，冗余层级和冗余比例均为默认值0。可以理解的是，数据包在传输的过程发生丢包的情况是无法预测的，接收端在接收到数据包后，会将接收到的数据包全部插入前向纠错解码器中，前向纠错解码器会根据实际的数据包插入情况进行冗余参数的自适应调整。

在本实施例中，在接收端依据接收端的前向纠错冗余参数恢复流媒体之前，首先检查接收端中媒体数据包和冗余数据包的接收和缓存情况，判断是否发生丢包。若检查到发生丢包事件，则接收端获取所丢包的包序号。以此为前向纠错解码器丢包的恢复做好准备。

步骤140、接收端依据接收端自适应的前向纠错冗余参数恢复流媒体的数据包。

在本发明具体实施例中，接收端的前向纠错解码器依据前向纠错解码器自适应的前向纠错冗余参数计算最大搜索长度。同时接收端将所丢包的包序号插入前向纠错解码器，以使前向纠错解码器依据所丢包的包序号在最大搜索范围内进行搜索，减少搜索量，提高丢失数据包的恢复效率。并根据搜索到的冗余数据包来恢复流媒体所丢失的数据包。

具体的，当冗余比例变大时，则冗余度降低，如当前缓存的媒体数据包过多，适当的丢弃缓存队列头部的部分媒体数据包，可节约内存，提高数据包的查询效率。前向纠错编码器在动态调整前向纠错冗余参数时，前向纠错解码器通过分析新收到的冗余数据包，可得到新的冗余比例要求。

此外，在缓存的数据包队列中可能出现不同冗余比例的情况，即一个是新冗余比例和一个是原冗余比例。相应的，当恢复媒体数据包时需要重新确定最大搜索长度。当新冗余比例大于原冗余比例时，通常可以找到该媒体数据包对应的冗余数据包，但由于冗余比例的变大导致最大搜索长度的变大，进而也可能存在找到错误的冗余数据包的情况。然而当新冗余比例小于原冗余比例时，由于冗余比例的变小导致最大搜索长度的变小，进而可能找不到该媒体数据包对应的冗余数据包。若未能找到，则放弃该媒体包的恢复，返回解码失败消息；若能够找到，则应该采用原冗余比例对媒体数据包进行恢复，从而才能恢复出正确的媒体数据包。

当冗余参数变化时，在短暂的时间内，前向纠错解码器的数据包恢复将存在稍许的混乱情况，此时为了保持兼容性，需要执行各种异常情况的保护，避免恢复出错。随着前向纠错解码器的历史缓存不断被清除，原冗余比例对应的数据包都被清除，解码器内部就按照新冗余比例执行了。

本实施例的技术方案，通过获取流媒体传输时的当前网络质量数据，依据流媒体的传输情况和当前网络质量，动态设置发送端的前向纠错冗余参数，并依据前向纠错冗余参数对流媒体进行冗余编码；接收端接收到流媒体对应的冗余编码后，自适应接收端的前向纠错冗余参数，最终以自适应得到的冗余参数对丢失的数据包进行恢复。本发明实现了依据当前的网络质量数据和流媒体的传输情况，动态调整发送端的前向纠错冗余参数；同时接收端能够自适应冗余参数并进行丢失数据包的恢复。节省了网络传输带宽和人力成本，提高数据传输的时效性和用户体验。

实施例二

本实施例在上述实施例一的基础上，提供了流媒体传输的前向纠错方法的一个优选实施方式，能够动态设置发送端的前向纠错冗余参数。图2为本发明实施例二提供的发送端中前向纠错方法的流程图，如图2所示，该方法包括以下具体步骤：

步骤210、发送端获取流媒体传输时的当前网络质量数据。

在本发明具体实施例中，当前网络质量数据可以为当前的网络服务质量QoS，QoS中的参数包括但不限于：带宽、通信时延、时延抖动、丢包率或者跳数。QoS参数可以由接收端反馈或者由网络节点反馈给发送端。

步骤220、发送端依据当前网络质量数据，若当前网络质量不满足流媒体的传输要求，则开启前向纠错功能。

在本发明具体实施例中，依据当前网络质量数据，当传输情况不佳，或者无法满足接收端的要求时，此时需要开启前向纠错功能，以此提高流媒体的传输质量。因此通过动态设置发送端的前向纠错冗余参数，以此来控制前向纠错功能的反复打开与关闭。

示例性的，前向纠错冗余参数中的冗余层级可根据具体情况而设定不同的层级数量，当设定冗余层级为0时，则可以视为关闭前向纠错功能；而当设定冗余层级为大于0的正整数时，则可以视为打开前向纠错功能。或者，在前向纠错冗余参数中添加标志为，当设定标志位为0时，则可以视为关闭前向纠错功能；当设定标志位为1时，则可以视为打开前向纠错功能。本实施例不对前向纠错功能的反复打开或关闭的实施手段进行具体限定。

步骤230、发送端依据当前网络质量数据，按照预设规则动态设置发送端的前向纠错冗余参数。

在本发明具体实施例中，可以根据接收端需求以及实际的网络质量，预先设置一定的参数设置规则，并依据当前网络质量数据与预设规则的对应关系，动态设置发送端的前向纠错冗余参数。以使得网络质量较佳，流媒体传输效果较好时，关闭或者适当的提高冗余比例，从而降低数据传输的冗余度，节省网络带宽的占用。而当网络质量较差或者流媒体传输效果较差时，打开或适当的降低冗余比例，从而提高数据传输的冗余度，增强数据的恢复能力，以提高数据的传输效果。

示例性的，对于音频传输时的前向纠错冗余参数的设置建议以下两种情况：第一种是设置一层冗余且冗余比例为2，第二种是设置一层冗余且冗余比例为5。对于视频数据传输时的冗余参数的设置，可以依据直播应用各场景下带宽的占用情况和冗余时间来综合设计冗余参数设置的预设规则。

步骤240、发送端依据发送端的前向纠错冗余参数打开前向纠错编码器。

在本发明具体实施例中，依据发送端的前向纠错冗余参数打开前向纠错编码器。示例性的，本实施例可以设置冗余层级为0、1或2，相应的可以根据冗余层级来控制前向纠错编码器的开启状态。当冗余层级为1或2等大于0的正整数时，此时需要对媒体数据包进行冗余编码，进而根据冗余层级来打开前向纠错编码器。

步骤250、发送端依据流媒体生成媒体数据包，利用实时传输协议对媒体数据包进行封装处理，并把封装后的媒体数据包插入前向纠错编码器，以使前向纠错编码器依据媒体数据包进行冗余编码，生成冗余数据包。

在本发明具体实施例中，发送端的前向纠错编码器用于实现对媒体数据包的冗余编码，生成对应的冗余数据包。具体的，发送端首先依据流媒体生成媒体数据包，利用RTP协议媒体数据包进行封装，其次将封装后的媒体数据包插入前向纠错编码器进行缓存，当达到冗余比例后，编码器根据缓存的数据包生成冗余数据包，并返回给上层；若为两层冗余时，则同样将媒体数据包和一层冗余数据包插入前向纠错编码器进行缓存，当达到冗余比例后，编码器根据缓存的数据包生成二层冗余数据包，实现冗余编码，并返回给上层。在生成冗余数据包后，随即也释放了媒体数据包和一层冗余数据包占用的缓存。本实施例在冗余编码时，上层可按任意顺序传入媒体数据包和冗余数据包，但编码器会根据各数据包的包序号来进行编码，进而不对上层的传入顺序进行限定，实现上更为灵活。

示例性的，假设设置冗余层级为一层，冗余比例为5：则按照包序号进行冗余编码时，包序号为1至18，其中包序号为6的数据包为包序号为1至5的媒体数据包的冗余数据包，同理包序号为12的数据包为包序号为7至11的媒体数据包的冗余数据包，包序号为18的数据包为包序号为13至17的媒体数据包的冗余数据包。而假设设置冗余层级为两层，一层冗余比例为5，二层冗余比例为3：则则按照包序号进行冗余编码时，包序号为1至19，一层冗余数据包同上，而包序号为19的数据包为包序号为6、12和18的一层冗余数据包的二层冗余数据包。

步骤260、发送端利用实时传输协议对冗余数据包进行封装处理。

步骤270、发送端基于用户数据报协议将封装后的媒体数据包和冗余数据包发送至接收端。

在本发明具体实施例中，发送端和接收端一一对应，同时由通道ID标识。在发送端生成所传输的流媒体的媒体数据包和冗余数据包后，利用RTP协议对媒体数据包和冗余数据包进行封装处理，每个数据包的包头都会标记其通道ID。其中，RTP协议是一个网络传输协议，在低延迟的多媒体通讯上广泛应用。最后发送端基于UDP协议将封装后的媒体数据包和冗余数据包发送至接收端。

本实施例的技术方案，在流媒体传输情况不能满足接收方需求的情况下，开启前向纠错功能；通过获取流媒体传输时的当前网络质量数据，依据流媒体的传输情况和当前网络质量数据，按照预设规则动态设置发送端的前向纠错冗余参数，进而打开前向纠错编码器，依据前向纠错冗余参数对流媒体进行冗余编码、封装和发送。本发明实现了依据当前的网络质量数据和流媒体的传输情况，动态调整发送端的前向纠错冗余参数，从而节省了网络传输带宽，提高数据传输的时效性和用户体验。

实施例三

本实施例在上述实施例一的基础上，提供了流媒体传输的前向纠错方法的一个优选实施方式，能够依据发送端动态设置的前向纠错冗余参数自适应调整接收端的前向纠错冗余参数。图3为本发明实施例三提供的接收端中前向纠错方法的流程图，如图3所示，该方法包括以下具体步骤：

步骤310、接收端开启前向纠错解码器。

步骤320、接收端将媒体数据包和冗余数据包插入前向纠错解码器，以使前向纠错解码器依据媒体数据包和冗余数据包动态调整前向纠错解码器的前向纠错冗余参数。

在本发明具体实施例中，在接收端开启前向纠错解码器之后，接收端将流媒体对应的媒体数据包和冗余编码后的冗余数据包插入前向纠错解码器中，进而前向纠错解码器从插入的数据包中获取并动态调整前向纠错冗余参数，达到前向纠错解码器中前向纠错冗余参数自适应，以与发送端动态调整的前向纠错冗余参数得到匹配。

本实施例为实现前向纠错解码功能，接收端需要将接收到的媒体数据包和冗余数据包插入前向纠错解码器中，在解码器内缓存一定数量的媒体数据包和冗余数据包，包括接收到的一层冗余数据包和二层冗余数据包。考虑到前向纠错解码主要处理实时情况，只缓存最近收到的媒体数据包和冗余数据包即可，保留的数据包个数既不能太多，也不能太少；若太多则浪费内存，且影响查询效率，若保存的过少，则可能影响前向纠错解码的成功率。为方便根据包序号进行查询，本实施例采用以包序号为主键的Map表来缓存一定数量的媒体数据包和冗余数据包。

相应的，在解码器在解码后还要对一定范围的数据进行清除和释放。本实施例还可以设置最大时间长度来实现缓存的清除，即当数据包缓存的时间大于最大时间长度时，则进行缓存的清除。通常从插入数据到开始播放的时间长度的时间范围在400ms至2200ms之间，缓存时间长则延迟大，在网络情况稍差时连续性更好；反之缓存时间短延迟小，但网络情况稍差时出现卡顿的频率会更高，本实施例支持缓存时间的动态调整。使用最大时间长度方法清除缓存数据，其优点是可以保证缓存包的时间长度都达到最大时间长度，不会发生缓存时间太短的现象，满足前向纠错解码器解码的需求。且当缓存时间长度远大于最大时间长度时没有实际意义，延迟太大了，毕竟不考虑时效性时，采用后向纠错来解决丢包问题的成本更低。值得注意的是，前向纠错解码器缓存清除时，当缓存数据列表保存的数据对象少于20个时，不进行检查。检查频率以时间为单位，每次间隔为500ms。

步骤330、接收端检查接收端中媒体数据包和冗余数据包的接收和缓存情况；若检查到媒体数据包和/或冗余数据包发生丢包，则获取所丢包的包序号。

在本发明具体实施例中，在接收端依据接收端的前向纠错冗余参数恢复流媒体的数据包之前，首先检查接收端中媒体数据包和冗余数据包的接收和缓存情况，判断是否发生丢包。若检查到发生了丢包，则接收端获取所丢包的包序号。

具体的，由于编码器都是根据各数据包的包序号进行冗余编码的，因此接收端在接收到冗余编码后，可以按顺序查找是否存在丢失的数据包。若无丢失情况，则无需执行丢包补偿等操作；若存在丢包情况，则确定所丢失包的包序号，并根据上述的冗余编码规则，在一定范围内向后查找与所丢失包的包对应的冗余数据包，尝试进行解码，以恢复丢失的数据包。

步骤340、接收端的前向纠错解码器依据前向纠错解码器自适应的前向纠错冗余参数计算最大搜索长度。

在本发明具体实施例中，当前向纠错解码器执行丢失数据包的恢复工作时，需要在一定的范围内进行搜索，一般有两种方式，一是搜索所有缓存数据包，二是仅搜索必要范围。显而易见，采用方式二，确定必须的最大搜索长度，可减少搜索量，提高效率。基于上述接收端自适应得到的冗余层级和各层级的冗余比例，可计算出最大搜索长度。假设一层冗余比例为n，二层冗余比例为m，则当仅设置一层冗余层级时，则最大搜索长度为n；当设置了两层冗余层级时，则最大搜索长度为(n+1)×m。

步骤350、接收端将所丢包的包序号插入前向纠错解码器，以使前向纠错解码器依据最大搜索长度恢复流媒体所丢失的数据包。

在本发明具体实施例中，前向纠错解码器依据最大搜索长度对所丢失的数据包进行恢复。示例性的，假设一层冗余比例为5，二层冗余比例为3，所丢包的包序号为2。则当仅设置一层冗余层级时，则最大搜索长度为5，即在所丢包的包序号后的5个数据包的搜索长度内，一定能搜索到与其对应的冗余数据包6；当设置了两层冗余层级时，则最大搜索长度为18，即在所丢包的包序号后的18个数据的搜索长度内，一定能找到与其对应的一层冗余数据包6和/或二层冗余数据包19。最终，利用搜索到的冗余数据包解码出流媒体所丢失的数据包，即包含RTP协议封装的媒体数据包。

本实施例的技术方案，接收端接收到流媒体对应的冗余编码后，将流媒体对应的媒体数据包和冗余数据包插入前向纠错解码器中，前向纠错解码器依据插入的数据包自适应调整前向纠错解码器的前向纠错冗余参数；并且当检查到流媒体对应的媒体数据包和/或冗余数据包发生丢包时，获取所丢包的包序号；最终前向纠错解码器依据自适应的冗余参数明确最大搜索长度，并依据插入的所丢包的包序号在最大搜索长度内对丢失的数据包进行恢复。本发明通过对接收端配置前向纠错解码器，实现了前向纠错解码器对前向纠错冗余参数的自适应调整和所丢失数据包的恢复。节省了网络传输带宽和人力成本，提高数据传输的时效性和用户体验。

实施例四

图4为本发明实施例四提供的一种流媒体传输的前向纠错系统的结构示意图，本实施例可适用于流媒体传输时数据恢复的情况，该装置可实现本发明任意实施例所述的流媒体传输的前向纠错方法。该系统具体包括：发送端410和接收端420，其中，

所述发送端410用于执行如下操作：获取流媒体传输时的当前网络质量数据；依据所述当前网络质量数据，按照预设规则动态设置所述发送端的前向纠错冗余参数，并依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码；

所述接收端420用于执行如下操作：接收所述冗余编码并依据所述冗余编码动态调整所述接收端的前向纠错冗余参数；依据所述接收端自适应的前向纠错冗余参数恢复所述流媒体的数据包。

进一步的，所述发送端410用于：

在所述发送端410获取流媒体传输时的当前网络质量数据之后，依据所述当前网络质量数据，若当前网络质量不满足所述流媒体的传输要求，则开启前向纠错功能。

进一步的，所述发送端410还用于：

依据所述发送端410的前向纠错冗余参数打开前向纠错编码器4101；

依据所述流媒体生成媒体数据包，并把所述媒体数据包插入所述前向纠错编码器4101，以使所述前向纠错编码器4101依据所述媒体数据包进行冗余编码，生成冗余数据包。

进一步的，所述发送端410还用于：

在所述发送端410依据所述发送端410的前向纠错冗余参数对所述流媒体进行冗余编码之后，利用实时传输协议对所述媒体数据包和所述冗余数据包进行封装处理；

基于用户数据报协议将封装后的所述媒体数据包和所述冗余数据包发送至所述接收端420。

进一步的，所述接收端420用于：

开启前向纠错解码器4201；

将所述媒体数据包和所述冗余数据包插入所述前向纠错解码器4201，以使所述前向纠错解码器4201依据所述媒体数据包和所述冗余数据包动态调整所述前向纠错解码器4201的前向纠错冗余参数。

进一步的，所述接收端420用于：

在所述接收端420依据所述接收端420的前向纠错冗余参数恢复所述流媒体的数据包之前，检查所述接收端420中所述媒体数据包和所述冗余数据包的接收和缓存情况；

若检查到所述媒体数据包和/或所述冗余数据包发生丢包，则获取所丢包的包序号。

进一步的，所述接收端420用于：

在将所述媒体数据包和所述冗余数据包插入所述前向纠错解码器4201之后，以使所述前向纠错解码器4201依据所述前向纠错解码器4201自适应的前向纠错冗余参数计算最大搜索长度；

将所丢包的包序号插入所述前向纠错解码器4201，以使所述前向纠错解码器4201依据所述最大搜索长度恢复所述流媒体所丢失的数据包。

本实施例的技术方案，通过发送端获取流媒体传输时的当前网络质量数据，依据流媒体的传输情况和当前网络质量数据，动态设置发送端的前向纠错冗余参数，并依据前向纠错冗余参数对流媒体进行冗余编码；接收端接收到流媒体对应的冗余编码后，自适应接收端的前向纠错冗余参数，最终以自适应得到的冗余参数对丢失的数据包进行恢复。本发明实现了依据当前的网络质量数据和流媒体的传输情况，动态调整发送端的前向纠错冗余参数；同时接收端能够自适应冗余参数并进行丢失数据包的恢复。节省了网络传输带宽和人力成本，提高数据传输的时效性和用户体验。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (7)

1.一种流媒体传输的前向纠错方法，其特征在于，包括：

发送端获取流媒体传输时的当前网络质量数据；

所述发送端依据所述当前网络质量数据，按照预设规则动态设置所述发送端的前向纠错冗余参数，并依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码；其中，所述发送端依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码，包括：所述发送端依据所述发送端的前向纠错冗余参数打开前向纠错编码器；所述发送端依据所述流媒体生成媒体数据包，并把所述媒体数据包插入所述前向纠错编码器，以使所述前向纠错编码器依据所述媒体数据包进行冗余编码，生成冗余数据包；

接收端接收所述冗余编码并依据所述冗余编码动态调整所述接收端的前向纠错冗余参数，包括：

所述接收端开启前向纠错解码器；

所述接收端将所述媒体数据包和所述冗余数据包插入所述前向纠错解码器，以使所述前向纠错解码器依据所述媒体数据包和所述冗余数据包动态调整所述前向纠错解码器的前向纠错冗余参数；

所述接收端依据所述接收端自适应的前向纠错冗余参数恢复所述流媒体的数据包。

2.根据权利要求1所述的方法，其特征在于，在所述发送端获取流媒体传输时的当前网络质量数据之后，包括：

依据所述当前网络质量数据，若当前网络质量不满足所述流媒体的传输要求，则开启前向纠错功能。

3.根据权利要求1所述的方法，其特征在于，在所述发送端依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码之后，包括：

所述发送端利用实时传输协议对所述媒体数据包和所述冗余数据包进行封装处理；

所述发送端基于用户数据报协议将封装后的所述媒体数据包和所述冗余数据包发送至所述接收端。

4.根据权利要求1所述的方法，其特征在于，在所述接收端依据所述接收端的前向纠错冗余参数恢复所述流媒体的数据包之前，包括：

所述接收端检查所述接收端中所述媒体数据包和所述冗余数据包的接收和缓存情况；

若检查到所述媒体数据包和/或所述冗余数据包发生丢包，则所述接收端获取所丢包的包序号。

5.根据权利要求1或4所述的方法，其特征在于，所述接收端依据所述接收端的前向纠错冗余参数恢复所述流媒体的数据包，包括：

所述接收端的所述前向纠错解码器依据所述前向纠错解码器自适应的前向纠错冗余参数计算最大搜索长度；

所述接收端将所丢包的包序号插入所述前向纠错解码器，以使所述前向纠错解码器依据所述最大搜索长度恢复所述流媒体所丢失的数据包。

6.一种流媒体传输的前向纠错系统，其特征在于，包括：发送端和接收端，其中，

所述发送端用于执行如下操作：获取流媒体传输时的当前网络质量数据；依据所述当前网络质量数据，按照预设规则动态设置所述发送端的前向纠错冗余参数，并依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码；其中，所述发送端依据所述发送端的前向纠错冗余参数对所述流媒体进行冗余编码，包括：所述发送端依据所述发送端的前向纠错冗余参数打开前向纠错编码器；所述发送端依据所述流媒体生成媒体数据包，并把所述媒体数据包插入所述前向纠错编码器，以使所述前向纠错编码器依据所述媒体数据包进行冗余编码，生成冗余数据包；

所述接收端用于执行如下操作：接收所述冗余编码并依据所述冗余编码动态调整所述接收端的前向纠错冗余参数；依据所述接收端自适应的前向纠错冗余参数恢复所述流媒体的数据包；

所述接收端用于：

开启前向纠错解码器；

将媒体数据包和冗余数据包插入所述前向纠错解码器，以使所述前向纠错解码器依据所述媒体数据包和所述冗余数据包动态调整所述前向纠错解码器的前向纠错冗余参数。

7.根据权利要求6所述的系统，其特征在于，所述发送端用于：

在所述发送端获取流媒体传输时的当前网络质量数据之后，依据所述当前网络质量数据，若当前网络质量不满足所述流媒体的传输要求，则开启前向纠错功能。

Images