CN102111644A - 媒体传输控制方法、装置及系统 - Google Patents

Abstract

本发明公开一种媒体传输控制方法、装置及系统，涉及媒体技术领域，解决了现有技术中直接将用于实时播放的媒体码流进行录播得到的媒体码流质量较低的问题。该方法包括：将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量；直接发送所述第一媒体码流给接收端；缓存所述第二媒体码流；在传输网络存在冗余带宽时发送所述缓存的第二媒体码流给所述接收端。另一个方法包括：接收发送端发送的第一媒体码流和第二媒体码流；播放接收到的所述第一媒体码流；保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。本发明实施例主要用于媒体技术领域。

Description

媒体传输控制方法、装置及系统

技术领域

本发明涉及媒体技术领域，尤其涉及一种媒体传输控制方法、装置及系统。

背景技术

为了保存实时传输的媒体码流，通常需要将媒体码流进行录制。如：在线视频录播可以针对网络上实时观看、在线点播的视频源，如视频会议、数字电视等视频数据进行录制保存，用于后续观看。而上述的在线视频，一般都需要经过编码压缩之后再进行传输。视频图像的编码质量，如清晰度、流畅度，一般会受到网络带宽的影响。

现有技术方案中，在线视频的录播通过直接将实时播放的视频码流保存起来，作为录制回放的内容。例如：在视频会议中，终端A与终端B通过媒体服务器(MCU：Multipoint Control Unit，多点控制单元)进行多画面会议。当终端B想要保存会议记录时，就会在会议进行的过程中，接收来自于MCU的多画面视频码流，一方面将接收到的上述多画面视频码流进行实时播放，另一方面同时会将该多画面视频码流直接进行录制并保存在硬盘中，用于回放。

在实现上述在线视频的录播过程中，发明人发现现有技术中至少存在如下问题：会议视频在实时传输时，当视频图像的纹理比较复杂、运动量较大时，MCU一侧的编码器的编码输出比特率较高。如果此时网络传输带宽相对较低，为了满足会议视频的实时网络传输，需要通过降低在线视频实时播放时的视频图像编码质量，从而来降低编码器的输出比特率。由于现有技术直接将上述在线视频中编码质量较差的视频图像码流进行保存作为录制内容，导致在线视频录播后的视频质量也较差，从而影响了在线视频的录播质量，无法在所述在线视频实时播放质量的基础上提高所述在线视频的录播质量。

发明内容

本发明的实施例提供一种媒体传输控制方法、装置及系统。在满足媒体码流的实时播放需求的同时，提高媒体码流的录播质量。

为达到上述目的，本发明的实施例采用如下技术方案：

一种媒体传输控制方法，包括：

将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量；

直接发送所述第一媒体码流给接收端；

缓存所述第二媒体码流；

在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端。

一种媒体传输控制方法，包括：

接收发送端发送的第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于所述第一媒体码流的质量；

播放接收到的所述第一媒体码流；

保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

一种发送端，包括：

编码单元，用于将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量；

第一发送单元，用于直接发送所述第一媒体码流给接收端；

缓存单元，用于缓存所述第二媒体码流；

第二发送单元，用于在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端。

一种接收端，包括：

接收单元，用于接收发送端发送的第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于所述第一媒体码流的质量；

播放单元，用于播放接收到的所述第一媒体码流；

保存单元，用于保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

一种媒体传输控制系统，包括：发送端，用于将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量，直接发送所述第一媒体码流给接收端，并缓存所述第二媒体码流，在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端；

接收端，用于发送端发送的接收第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于所述第一媒体码流的质量，然后将接收到的所述第一媒体码流进行播放，并保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

本发明实施例提供的媒体传输控制方法、装置及系统，通过将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量。所述第一媒体码流编码完成之后将直接进行发送，所述第二媒体码流先进行缓存，在传输网络存在冗余带宽时，再发送所述缓存的第二媒体码流给所述接收端。当接收到直接发送的所述第一媒体码流后，将所述第一媒体码流用于播放，满足媒体码流的播放需求。

当接收到发送端发送的所述缓存的第二媒体码流时，保存所述第一媒体码流和所述第二媒体码流，用于回放。由于录制保存的内容为所述第一媒体码流和所述第二媒体码流，因此得到的录制视频质量将为所述第一媒体码流和所述第二媒体码流两者相加的质量，比现在技术中直接录制实时播放的媒体码流得到的质量要高。

或者保存所述第二媒体码流，所述第二媒体码流在编码输出后要比所述第一媒体码流的质量高，因而也提高了录制播放的媒体码流质量，使得录播的媒体码流质量要高于播放的媒体码流质量。

由于所述第二媒体码流编码完成后不是直接发送，而是先进行缓存，可以保证用于直接播放的所述第一媒体码流传输的实时性和流畅性，然后在传输网络出现冗余带宽时进行发送，从而也解决了现有技术中无法利用传输网络中出现的动态冗余带宽来提高播放媒体码流录播质量的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中媒体传输控制方法的流程图；

图2为本发明实施例中发送端的结构框图；

图3为本发明实施例中媒体传输控制方法的流程图；

图4为本发明实施例中接收端的结构框图；

图5为本发明实施例中媒体传输控制系统的结构图；

图6为本发明实施例1中媒体传输控制方法的流程图；

图7为本发明实施例1中发送端的结构框图；

图8为本发明实施例1中接收端的结构框图；

图9为本发明实施例1中媒体传输控制系统的结构图；

图10为本发明实施例2中媒体传输控制方法的流程图；

图11为本发明实施例2中发送端的结构框图；

图12为本发明实施例2中接收端的结构框图；

图13为本发明实施例2中媒体传输控制系统的结构图。

具体实施方式

本发明实施例提供一种媒体传输控制方法，可以在满足媒体码流实时播放需求的同时，有效利用网络上动态出现的冗余带宽，来提高媒体码流的录播质量。如图1所示，该方法包括以下步骤：

101、将原始媒体文件编码为第一媒体码流和第二媒体码流。所述第二媒体码流的质量高于所述第一媒体码流的质量。

所述第一媒体码流满足实时播放的质量要求，所述第二媒体码流用于提高媒体码流的录制质量。

102、直接发送所述第一媒体码流给接收端。

所述第一媒体码流满足实时播放的质量要求，编码完成之后就直接进行发送，并用于实时播放。需要说明的是，上述的实时播放指的是，能够直接进行发送给接收端，通过接收端进行播放，但事实上，由于网络拓扑的原因以及带宽的影响，并不能够达到发送端发送之后，能够实时在接收端输出。

103、缓存所述第二媒体码流。

所述第二媒体码流用于提高媒体码流的录制质量，在所述第二媒体码流编码完成之后，在传输第一媒体流的过程中，先不进行直接发送，可以保证第一媒体流的传输时的带宽，有效的保证了传输所述第一媒体码流的实时性和流畅性。

104、在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端。

在实施步骤104的过程中，将所述第二媒体码流缓存之后，在传输网络存在冗余带宽时进行发送，由于所述第二媒体码流的质量高于所述第一媒体码流的质量，不仅可以充分利用传输网络中出现的冗余带宽来发送提高媒体码流录制质量的所述第二媒体码流，同时将所述第二媒体码流作为录制回放的内容，从而提高了录制媒体码流的质量。

为了实现上述方法，本发明实施例提供一种发送端，如图2所示，包括：编码单元21、第一发送单元22、缓存单元23和第二发送单元24。

其中，编码单元21用于将原始媒体文件编码为第一媒体码流和第二媒体码流。编码单元21在具体实现上，可以为单一的编码器，对第一媒体流以及第二媒体流进行编码；该编码单元21也可以包括两个编码子单元(图未示)，分别用来对第一媒体流以及第二媒体流的编码。

所述第二媒体码流的质量高于所述第一媒体码流的质量。所述媒体码流的质量可以通过量化步长、性噪比或编码带宽来表示，也可以通过输出帧率来表示；或者还可以通过分辨率来表示。所述第二媒体码流与所述第一媒体码流相比，具有以下特征的一种或多种：较小的量化步长、较大的性噪比、较大的编码带宽、具有较高的输出帧率、或者具有较高的分辨率。

然后第一发送单元22用于直接发送所述第一媒体码流给接收端，该第一媒体码流用于接收端直接播放。缓存单元23用于缓存所述第二媒体码流，第二发送单元24用于在传输网络存在冗余带宽时，发送所述缓存单元23缓存的第二媒体码流。在具体的实现过程中，所述的第二发送单元24与所述1第一发送单元22可以共用同一物理硬件来实现。

由于第二发送单元24利用传输网络中存在的冗余带宽进行发送上述第二媒体码流，因而保证了所述第一发送单元22发送的所述第一媒体码流的实时性和流畅性，同时也解决了现有技术中无法利用冗余带宽提高录制媒体码流质量的问题。

本发明实施例还提供一种媒体传输控制方法，如图3所示，该方法包括以下步骤：

301、接收发送端发送的第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于第一媒体码流的质量。

302、播放接收到的所述第一媒体码流。当接收到所述第一媒体码流之后对其进行解码并进行播放，所述解码后的第一媒体码流仅仅满足实时播放的质量需求。

303、保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

在实施303的过程中，当接收到第二媒体码流之后，将所述第一媒体码流和所述第二媒体码流同时进行保存，作为录制内容用于回放，所述第一媒体码流和所述第二媒体码流同时进行解码得到的质量要高于对所述第一媒体码流进行解码得到的实时播放质量。或者将第二媒体码流进行保存，作为录制内容用于回放。

由于该第二媒体码流的质量高于所述第一媒体码流的编码质量，且当存在冗余带宽的情况下传输，与现有技术中直接录制实时播放的媒体码流相比，提高了录制回放的媒体码流质量，而且还保证了第一媒体流的传输带宽，有效保证了接收端的用户对视频码流观看的实时性。

本发明实施例还提供一种接收端，如图4所示，该装置包括：接收单元41、播放单元42和保存单元43。

其中，接收单元41用于接收发送端发送的第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于第一媒体码流的质量。本实施例中，接收单元41完成第一媒体码流以及第二媒体码流的接收，在具体的实现过程中，接收单元41可以包括两个接受子单元(图未示)，分别由这两个接收子单元分别完成对所述第一媒体流以及所述第二媒体流的接收。

播放单元42用于播放接收到的所述第一媒体码流。所述的播放单元，包括电视机以及其他各种类型的显示器或监视器，其中监视器可以包括笔记本式PC、壁挂式显示器、地面安装式显示器、或者自立式显示器。其具体的类型包括但不限于：LCD监视器或等离子监视器，所述监视器能够显示720i，720p，1080i，1080p或者任何其他分辨率的视频。

保存单元43用于保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。所述的保存单元43，可以为非易失性存储器，包括但不限于：ROM、PROM、EPROM、闪存。

通过所述播放单元42实现媒体码流的实时播放，同时通过保存单元43将所述第一媒体码流和所述第二媒体码流进行保存作为录制回放的内容，或者将所述第二媒体码流进行保存作为录制回放的内容，所述第二媒体码流的质量高于第一媒体码流的质量，与现有技术中直接保存用于实时播放的第一媒体码流相比，提高了录制后的媒体码流质量。

本发明实施例提供一种媒体传输控制系统，如图5所示，该系统包括：发送端51和接收端52。

其中发送端51用于将原始媒体文件编码为第一媒体码流和第二媒体码流，并且所述第二媒体码流的质量高于第一媒体码流的质量。然后直接发送所述第一媒体码流给接收端，缓存所述第二媒体码流，在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端。所述发送端将用于实时播放的所述第一媒体码流直接发送，从而满足媒体码流的实时播放需求，并将用于提高媒体码流录制质量的所述第二媒体码流进行缓存，保证了媒体码流传输的实时性，同时充分利用传输网络中出现的冗余带宽来发送上述第二媒体码流，解决了现有技术中无法利用冗余带宽来提高录制后的媒体码流质量的问题。

接收端52用于接收所述发送端51直接发送的第一媒体码流和所述在传输网络存在冗余带宽时发送的第二媒体码流，所述第二媒体码流的质量高于第一媒体码流的质量。将接收到的所述第一媒体码流进行实时播放，并保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

通过接收端52对所述第一媒体码流进行解码可以实现媒体码流的实时播放，同时对所述第一媒体码流和所述第二媒体码流同时进行保存为录制回放的内容，或者对第二媒体码流进行保存为录制回放的内容，从而实现了媒体码流的录制，由于所述第二媒体码流的质量高于第一媒体码流的质量，与现有技术直接录制实时播放的媒体码流相比，提高了录制回放的媒体码流质量。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本发明实施例假设应用场景为视频会议中对在线会议视频进行录制，采用的编码方法为性噪比分层编码方法。下面以上述应用场景为例来详细介绍一种媒体码流传输控制方法，如图6所示，该方法包括以下步骤：

601、设定实时播放视频的目标编码参数，如：目标编码比特率、目标平均量化步长或目标信噪比，并按照上述已经设定好的实时播放视频的目标编码参数对原始视频图像进行编码得到一个基本层视频码流。

602、设定录制回放视频的目标编码参数，如：目标编码比特率、目标平均量化步长或目标信噪比，所述录制回放视频的目标编码参数优于实时播放视频的目标编码参数。当基本层视频码流中重建图像的平均量化步长大于录制回放视频的目标平均量化步长时，或者基本层视频码流中重建图像的性噪比小于录制回放视频的目标性噪比时，按照上述已经设定好的录制回放视频的目标编码参数，使用原始视频图像与基本层视频码流中的重建图像进行差值编码，得到增强层视频码流，所述增强层视频码流可以为一个或多个增强层视频码流。所述增强层视频码流和基本层视频码流的质量通过量化步长、性噪比或编码带宽来表示，所述增强层视频码流与所述基本层视频码流相比，具有较小的量化步长，较大的性噪比，较大的编码带宽。

603、直接发送所述一个基本层视频码流给接收端。该基本层视频码流满足实时播放的质量要求。

604、缓存所述一个或多个增强层视频码流。所述增强层视频码流用于配合基本层视频码流来提高录制实时播放视频后的质量。本步骤可以保证用于实时播放的基本层视频码流传输的实时性。

605、在传输网络存在冗余带宽时，发送所述缓存的一个或多个增强层视频码流给所述接收端。当编码器的实时输出比特率低于传输网络带宽时，即传输网络存在冗余带宽。所述冗余带宽可以为：上述发送所述基本层视频码流的过程中动态出现的冗余带宽、暂停发送所述基本层视频码流时产生的冗余带宽或者发送完所述基本层视频码流后产生的冗余带宽。如：视频会议进行过程中当编码图像的场景比较简单、运动量较小时，通常编码器实时输出比特率较低，传输网络中就会动态出现冗余带宽，会议暂停或者会议结束后传输网络中也出现冗余带宽。

将所述增强层视频码流缓存之后，可以在会议进行过程中动态出现冗余带宽时进行发送，因而可以充分利用传输网络中出现的冗余带宽来发送提高视频码流录制质量的所述增强层视频码流，从而提高了在线视频录制的质量。

606、在直接发送所述基本层视频码流和在传输网络存在冗余带宽时，发送的所述缓存的一个或多个增强层视频码流之后，接收发送端发送的基本层视频码流和增强层视频码流。

607、将接收到的所述基本层视频码流进行实时播放。当接收到所述基本层视频码流之后对其进行解码，并进行实时播放。所述解码后的基本层视频码流仅仅满足实时播放的质量需求。

608、保存接收到的所述基本层视频码流和所述增强层视频码流。

将所述基本层视频码流和所述增强层视频码流同时进行保存，作为录制内容用于回放，所述基本层视频码流和所述增强层视频码流同时进行解码得到的质量要高于对所述基本层视频码流进行解码得到的实时播放质量，与现有技术中直接录制实时播放的视频码流相比，提高了录制回放的视频码流质量。

本发明实施例提供一种发送端，如图7所示，包括：编码单元71、第一发送单元72、缓存单元73和第二发送单元74。

其中，编码单元71用于将原始视频码流采用性噪比分层编码方法，按照已经设定好的实时播放视频的目标编码参数对原始视频图像进行编码得到基本层视频码流。然后编码单元71还用于当基本层视频码流中重建图像的平均量化步长大于录制回放视频的目标平均量化步长时，或者基本层视频码流中重建图像的性噪比小于录制回放视频的目标性噪比时，按照上述已经设定好的录制回放视频的目标编码参数，使用原始视频图像与基本层视频码流中的重建图像进行差值编码，得到增强层视频码流，并且所述增强层视频码流的质量高于所述基本层视频码流的质量，由于所述增强层视频码流和基本层视频码流的质量通过量化步长、性噪比或编码带宽来表示，也就是所述增强层视频码流与所述基本层视频码流相比，具有较小的量化步长，较大的性噪比，较大的编码带宽。

然后第一发送单元72用于直接发送所述基本层视频码流到接收端，该基本层视频码流用于实时播放。缓存单元73用于缓存所述增强层视频码流，第二发送单元74用于在传输网络存在冗余带宽时，发送所述缓存单元83缓存的增强层视频码流。由于第二发送单元74利用传输网络中存在的冗余带宽，如视频会议进行过程中动态出现的冗余带宽，进行发送上述增强层视频码流到所述接收端，因而保证了所述第一发送单元72发送的所述基本层视频码流的实时性和流畅性，同时也解决了现有技术中无法利用冗余带宽提高录制视频的问题。

本发明实施例还提供一种接收端，如图8所示，该装置包括：接收单元81、播放单元82和保存单元83。

其中，接收单元81用于接收发送端发送的基本层视频码流和增强层视频码流，所述增强层视频码流为在传输网络存在冗余带宽时，发送的所述缓存的增强层视频码流。由于所述增强层视频码流和基本层视频码流的质量通过量化步长、性噪比或编码带宽来表示，也就是所述增强层视频码流与所述基本层视频码流相比，具有较小的量化步长，较大的性噪比，较大的编码带宽。

播放单元82用于将接收到的所述基本层视频码流进行实时播放。保存单元83用于保存接收到的所述基本层视频码流和所述增强层视频码流。将所述基本层视频码流和所述增强层视频码流同时进行保存，作为录制内容用于回放。

通过所述播放单元82实现视频码流的实时播放，同时通过保存单元83将所述基本层视频码流和所述增强层视频码流进行保存作为录制回放的内容，与现有技术中直接保存用于实时播放的视频码流相比，提高了录制后的媒体码流质量。

本发明实施例还提供一个媒体传输控制系统，如图9所示，该系统包括：发送端91和接收端92。

其中发送端91用于将原始媒体文件采用分层编码方法编码为基本层视频码流和增强层视频码流，并且所述增强层视频码流的质量高于基本层视频码流的质量，当所述增强层视频码流和基本层视频码流的质量通过量化步长、性噪比或编码带宽来表示时，也就是所述增强层视频码流与所述基本层视频码流相比，具有较小的量化步长，较大的性噪比，较大的编码带宽。

然后直接发送所述基本层视频码流给接收端，缓存所述增强层视频码流，在传输网络存在冗余带宽时，发送所述缓存的增强层视频码流给所述接收端。所述发送端将用于实时播放的所述基本层视频码流直接发送，从而满足媒体码流的实时播放需求，并将用于提高媒体码流录制质量的所述增强层视频码流进行缓存，保证了媒体码流传输的实时性，同时充分利用传输网络中出现的冗余带宽来发送上述增强层视频码流，解决了现有技术中无法利用冗余带宽来提高录制后的媒体码流质量的问题。

接收端92用于接收所述发送端91直接发送的基本层视频码流和所述在传输网络存在冗余带宽时发送的增强层视频码流，所述增强层视频码流的质量高于所述基本层视频码流的质量。将接收到的所述基本层视频码流进行实时播放，并保存接收到的所述基本层视频码流和所述增强层视频码流。

通过接收端92对所述基本层视频码流进行解码可以实现媒体码流的实时播放，同时对所述基本层视频码流和所述增强层视频码流同时进行保存为录制回放的内容，并且由于所述增强层视频码流与所述基本层视频码流相比，具有较小的量化步长，较大的性噪比，较大的编码带宽，与现有技术直接录制实时播放的媒体码流相比，提高了录制回放的媒体码流质量。

另外，本实施例假设应用场景中所采用的编码方法还可以为时间分层编码方法或空间分层编码方法。当采用时间分层编码方法时，步骤601和步骤602将采用下述步骤601A和步骤602A进行替换：

601A、设定实时播放视频的目标编码参数，如：目标编码比特率、目标输出帧率，并按照上述已经设定好的实时播放视频的目标编码参数对原始视频图像进行编码得到一个基本层视频码流。

602A、设定录制回放视频的目标编码参数，如：目标编码比特率、目标输出帧率，所述录制回放视频的目标编码参数优于实时播放视频的目标编码参数。实时统计基本层视频码流的实时帧率，当实时帧率低于录制回放视频的目标输出帧率时，对原始视频图像中未进行基本层编码的图像帧进行编码，如：编码器使用15fps的输出帧率，对第1帧、3帧、5帧、、、N帧进行编码得到基本层视频码流之后，编码器对第2帧、4帧、6帧、、、N+1帧等未进行编码的图像帧进行编码得到一个或者多个增强层视频码流，所述增强层视频码流和基本层视频码流的质量通过输出帧率来表示，也就是所述增强层视频码流的输出帧率高于或者至少等于所述基本层视频码流的输出帧率。所述增强层视频码流用于在基本层视频码流的基础上，提高显示帧率。

当采用空间分层编码方法时，步骤601和步骤602将采用下述步骤601B和步骤602B进行替换：

601B、设定实时播放视频的目标编码参数，如：目标编码比特率、目标分辨率，并按照上述已经设定好的实时播放视频的目标编码参数对原始视频图像进行编码，如可以采用QCIF格式的亚采样图像进行编码得到一个基本层视频码流。

602B、设定录制回放视频的目标编码参数，如：目标编码比特率、目标分辨率，所述录制回放视频的目标编码参数优于实时播放视频的目标编码参数。按照录制回放视频的目标分别率，使用原始视频图像和基本层重建图像的插值图像，进行差值编码得到一个或者多个增强层视频码流，所述增强层视频码流和基本层视频码流的质量通过分辨率来表示，也就是所述增强层视频码流的图像分辨率高于所述基本层视频码流的图像分辨率。当解码器同时获得并解码基本层视频码流和增强层视频码流，则可以得到CIF格式的图像分辨率，从而可以提高进行录制的视频质量。

本发明实施例中假设应用场景为采用分层编码方法对在线视频的录制，本发明实时例的应用场景还可以为采用质量分层编码方法或者子带分层编码方法对在线音频进行录制。

当采用质量分层编码方法时，发送端按照设定的用于实时播放音频的目标编码量化步长对原始音频信号进行编码得到一个基本层音频码流。同时按照设定的用于录制回放音频的目标编码量化步长，对原始信号与基本层音频码流的重建信号，进行差值编码得到至少一个增强层音频码流。所述增强层音频码流和基本层音频码流的质量用量化步长来表示，所述增强层音频码流的编码量化步长要小于所述基本层音频码流的编码量化步长，也就是得到的所述增强层音频码流的音质要优于所述基本层音频码流的音质。该质量分层方法常用于语音编码。

然后发送端会直接发送所述基本层音频码流，满足在线音频的实时播放需求，并将所述至少一个增强层音频码流进行缓存，在网络出现冗余带宽的时候发送所述至少一个增强层音频码流给接收端。所述接收端接收到所述基本层音频码流和所述至少一个增强层音频码流的处理过程与上述基本层视频码流和增强层音频码流的处理过程相同，在此不再赘述。

当采用子带分层编码时，发送端将指定的较为重要的音频子带范围，如：2kHz-6kHz内的原始音频信号进行编码得到一个基本层音频码流，并直接将所述基本层音频码流发送给接收端。同时对剩余音频子带范围内的原始音频信号进行编码，得到至少一个增强层音频码流，并将所述至少一个增强层音频码流进行缓存，在网络出现冗余带宽的时候发送所述至少一个增强层音频码流给接收端。该子带分层方法常用于音乐编码。所述接收端接收到所述基本层音频码流和所述至少一个增强层音频码流的处理过程与上述基本层视频码流和增强层音频码流的处理过程相同，在此不再赘述。

实施例2：

本发明实施例以编码方法为多路编码方法时，对在线视频的录制为例，详细说明一种媒体传输控制方法，如图10所示，该方法包括以下步骤：

1001、设定实时播放视频的目标编码参数，如：目标编码比特率、目标输出帧率、目标显示分辨率等，并按照上述已经设定好的实时播放视频的目标编码参数对原始视频图像进行编码得到第一路用于实时播放的视频码流。

1002、设定录制回放视频的目标编码参数，如：目标编码比特率、目标输出帧率、目标显示分辨率等，所述录制回放视频的目标编码参数优于实时播放视频的目标编码参数。按照上述已经设定好的录制回放视频的目标编码参数，对原始视频图像进行编码得到另外一路或者多路用于录制回放视频码流。所述另外一路或者多路用于录制回放视频码流的质量要高于上述第一路用于实时播放的视频码流的质量，所述用于录制回放视频码流和用于实时播放视频码流的质量通过编码比特率、输出帧率和显示分辨率来表示，因而得到的所述用于录制回放视频码流与用于实时播放视频码流相比，具有较大的编码带宽、较高的输出帧率、较高的显示分辨率。所述用于录制回放视频码流和用于实时播放视频码流的质量除了可以通过编码比特率、输出帧率和显示分辨率来表示之外，还可以采用量化步长、性噪比等编码参数来表示。

1003、直接发送上述步骤1001中编码得到的第一路用于实时播放的视频码流到接收端。该第一路用于实时播放的视频码流满足实时播放的质量要求。

1004、缓存步骤1002中所述另外一路或者多路用于录制回放的视频码流。所述另外一路或者多路用于录制回放的视频码流用于提高录制视频的质量。本步骤可以保证用于实时播放的第一路用于实时播放的视频码流传输的实时性。

1005、在传输网络存在冗余带宽时，发送步骤1004中缓存的另外一路或者多路用于录制回放的视频码流到上述接收端。当编码器的实时输出比特率低于传输网络带宽时，即传输网络存在冗余带宽。所述冗余带宽可以为：上述发送所述用于实时播放的视频码流的过程中动态出现的冗余带宽、暂停发送所述用于实时播放的视频码流时产生的冗余带宽或者发送完所述用于实时播放的视频码流后产生的冗余带宽。如：视频会议进行过程中当编码图像的场景比较简单、运动量较小时，通常编码器实时输出比特率较低，传输网络中就会动态出现冗余带宽，会议暂停或者会议结束后传输网络中也出现冗余带宽。

将所述另外一路或者多路用于录制回放的视频码流缓存之后，可以在会议进行过程中动态出现冗余带宽时进行发送，因而可以充分利用传输网络中出现的冗余带宽来发送提高视频码流录制质量的所述用于录制回放的视频码流，从而提高了在线视频录制的质量。

1006、当直接发送所述第一路用于实时播放的视频码流后，或在传输网络存在冗余带宽时，发送的所述缓存的另外一路或者多路用于录制回放的视频码流之后。接收发送端发送的第一路用于实时播放的视频码流和另外一路或者多路用于录制回放的视频码流。

1007、将接收到的所述第一路用于实时播放的视频码流进行实时播放。当接收到所述第一路用于实时播放的视频码流之后对其进行解码，并进行实时播放。所述解码后的第一路用于实时播放的视频码流仅仅满足实时播放的质量需求。

1008、保存接收到的所述另外一路或者多路用于录制回放的视频码流。将所述另外一路或者多路用于录制回放的视频码流进行保存，作为录制内容用于回放，所述另外一路或者多路用于录制回放的视频码流进行解码得到的质量要高于对所述第一路用于实时播放的视频码流进行解码得到的实时播放质量，与现有技术中直接录制实时播放的视频码流相比，提高了录制回放的视频码流质量。

本发明实施例提供一种发送端，如图11所示，包括：编码单元111、第一发送单元112、缓存单元113和第二发送单元114。

其中，编码单元111用于将原始视频码流采用多路编码方法，按照已经设定好的实时播放视频的目标编码参数对原始视频图像进行编码得到第一路用于实时播放的视频码流。然后编码单元111还用于按照已经设定好的录制回放视频的目标编码参数，使用原始视频图像进行编码得到另外一路或者多路用于录制回放视频码流。所述另外一路或者多路用于录制回放视频码流的质量与上述第一路用于实时播放的视频码流的质量相比，具有较大的编码带宽、较高的输出帧率、较高的显示分辨率。

然后第一发送单元112用于直接发送所述第一路用于实时播放的视频码流到接收端，该第一路用于实时播放的视频码流用于实时播放。缓存单元113用于缓存所述另外一路或者多路用于录制回放视频码流，第二发送单元114用于在传输网络存在冗余带宽时，发送所述缓存单元113缓存的另外一路或者多路用于录制回放视频码流。由于第二发送单元114利用传输网络中存在的冗余带宽时，如视频会议进行过程中动态出现的冗余带宽、会议暂停或者会议结束后产生冗余带宽时进行发送上述另外一路或者多路用于录制回放视频码流，因而保证了所述第一发送单元112发送的所述第一路用于实时播放的视频码流的实时性和流畅性，同时也解决了现有技术中无法利用冗余带宽提高录制视频的问题。

本发明实施例还提供一种接收端，如图12所示，该装置包括：接收单元121、播放单元122和保存单元123。

其中，接收单元121用于接收发送端发送的第一路用于实时播放的视频码流和所述另外一路或者多路用于录制回放视频码流，所述另外一路或者多路用于录制回放视频码流为在传输网络存在冗余带宽时，发送端送的所述缓存的另外一路或者多路用于录制回放视频码流。所述另外一路或者多路用于录制回放视频码流与上述第一路用于实时播放的视频码流相比，具有较大的编码带宽、较高的输出帧率、较高的显示分辨率。播放单元122用于将接收到的所述第一路用于实时播放的视频码流进行实时播放。保存单元123用于保存接收到的所述另外一路或者多路用于录制回放视频码流。将所述另外一路或者多路用于录制回放视频码流进行保存，作为录制内容用于回放。

通过所述播放单元122实现视频码流的实时播放，同时通过保存单元123将所述另外一路或者多路用于录制回放视频码流进行保存作为录制回放的内容，由于所述另外一路或者多路用于录制回放视频码流在编码比特率、输出帧率和显示分辨率等编码参数要优于上述第一路用于实时播放的视频码流的相应编码参数，与现有技术中直接保存用于实时播放的视频码流相比，提高了录制后的视频码流质量。

本发明实施例还提供一种媒体传输控制系统，如图13所示，该系统包括：发送端131和接收端132。

其中发送端131用于将原始视频码流采用多路编码方法，按照已经设定好的实时播放视频的目标编码参数对原始视频图像进行编码得到第一路用于实时播放的视频码流。然后按照已经设定好的录制回放视频的目标编码参数，使用原始视频图像进行编码得到另外一路或者多路用于录制回放视频码流。所述另外一路或者多路用于录制回放视频码流的质量要高于上述第一路用于实时播放的视频码流的质量。

然后直接发送所述第一路用于实时播放的视频码流到接收端132，该第一路用于实时播放的视频码流用于实时播放。缓存所述另外一路或者多路用于录制回放视频码流，在传输网络存在冗余带宽时，发送所述缓存的另外一路或者多路用于录制回放视频码流到上述接收端132。由于利用传输网络中存在的冗余带宽，如视频会议进行过程中动态出现的冗余带宽，进行发送上述另外一路或者多路用于录制回放视频码流，因而保证了所述第一路用于实时播放的视频码流的实时性和流畅性，同时也解决了现有技术中无法利用冗余带宽提高录制视频的问题。

接收端132用于接收发送端131发送的第一路用于实时播放的视频码流和所述另外一路或者多路用于录制回放视频码流。将接收到的所述第一路用于实时播放的视频码流进行实时播放。然后保存接收到的所述另外一路或者多路用于录制回放视频码流。将所述另外一路或者多路用于录制回放视频码流进行保存，作为录制内容用于回放。

由于所述另外一路或者多路用于录制回放视频码流的质量要高于上述第一路用于实时播放的视频码流的质量，与现有技术中直接保存用于实时播放的视频码流相比，提高了录制后的视频码流质量。

本发明实施例中的应用场景为采用多路编码方法来实现对在线视频的编码，从而得到一路用于实时播放的视频码流和至少一路用于录制回放视频码流。另外本发明实施例还可以采用多路编码方法对在线音频进行编码，得到一路用于实时播放的音频码流和至少一路用于录制回放音频码流。所述对一路用于实时播放的音频码流和至少一路用于录制回放音频码流的处理过程与上述方法中对一路用于实时播放的视频码流和至少一路用于录制回放视频码流的处理过程相同，在此不再赘述。

本发明实施例主要应用于媒体技术领域，用于在线音视频的录制，如视频会议中，终端录制来自MCU的多画面视频码流、MCU录制来自终端的会场视频码流，以及数字电视广播中，机顶盒录制电视节目等。通过将原始媒体文件编码为用于实时播放的码流和用于录制回放的码流，并利用传输网络中动态出现的冗余带宽发送用于录制回放的码流。如：会议(节目)暂停、会议(节目)结束，才传送增强层视频码流或多路用于录制回放的视频码流，保证实时观看视频不受到影响。所述用于录制回放的码流质量要优于所述用于实时播放的码流质量。当接收到所述用于实时播放的码流时直接进行解码播放，接收到所述用于录制回放的码流时进行保存作为录制回放的内容。与现有技术中直接保存实时播放的媒体码流相比，提高了录制后的媒体码流的质量。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本发明可借助软件加必需的通用硬件的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘，硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (12)

1.一种媒体传输控制方法，其特征在于，包括：

将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量；

直接发送所述第一媒体码流给接收端；

缓存所述第二媒体码流；

在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端。

2.根据权利要求1所述的媒体传输控制方法，其特征在于，所述在传输网络存在冗余带宽时为：在所述第一媒体码流的发送过程中存在动态出现的冗余带宽时、在所述第一媒体码流的暂停发送期间传输网络中产生冗余带宽时或者所述第一媒体码流发送结束后在传输网络中产生冗余带宽时。

3.根据权利要求1或2所述的媒体传输控制方法，其特征在于，所述第一媒体码流为采用分层编码方法得到的基本层媒体码流，所述第二媒体码流为采用所述分层编码方法得到的至少一个增强层媒体码流；

或者所述第一媒体码流和第二媒体码流为采用多路编码方法得到的媒体码流，并且第二媒体码流的质量高于第一媒体码流的质量。

4.根据权利要求3所述的媒体传输控制方法，其特征在于，所述分层编码方法包括以下编码方法的一种：信噪比分层编码方法、时间分层编码方法、空间分层编码方法、质量分层编码方法和子带分层编码方法。

5.一种媒体传输控制方法，其特征在于，包括：

接收发送端发送的第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于所述第一媒体码流的质量；

播放接收到的所述第一媒体码流；

保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

6.根据权利要求5所述的媒体传输控制方法，其特征在于，在保存接收到的所述第一媒体码流和所述第二媒体码流时，所述第一媒体码流为采用分层编码方法得到的基本层媒体码流，所述第二媒体码流为采用所述分层编码方法得到的至少一个增强层媒体码流；

在保存接收到的所述第二媒体码流时，所述第一媒体码流和所述第二媒体码流为采用多路编码方法得到的媒体码流，并且所述第二媒体码流的质量高于所述第一媒体码流的质量。

7.一种发送端，其特征在于，包括：

编码单元，用于将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量；

第一发送单元，用于直接发送所述第一媒体码流给接收端；

缓存单元，用于缓存所述第二媒体码流；

第二发送单元，用于在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端。

8.根据权利要求7所述的发送端，其特征在于，所述第二发送单元用于在所述第一媒体码流的发送过程中存在动态出现的冗余带宽时、在所述第一媒体码流的暂停发送期间传输网络中产生冗余带宽时或者所述第一媒体码流发送结束后在传输网络中产生冗余带宽时，发送所述缓存的第二媒体码流给所述接收端。

9.根据权利要求7所述的发送端，其特征在于，所述编码单元用于将原始媒体文件采用分层编码方法编码为基本层媒体码流和至少一个增强层媒体码流，所述第一媒体码流为所述基本层媒体码流，所述第二媒体码流为所述增强层媒体码流；

或者所述编码单元用于将原始媒体文件采用多路编码方法编码为多路媒体码流，所述第一媒体码流和第二媒体码流为采用多路编码方法得到的媒体码流，并且第二媒体码流的质量高于第一媒体码流的质量。

10.一种接收端，其特征在于，包括：

接收单元，用于接收发送端发送的第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于所述第一媒体码流的质量；

播放单元，用于播放接收到的所述第一媒体码流；

保存单元，用于保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

11.根据权利要求10所述的接收端，其特征在于，所述保存单元用于保存接收到的所述第一媒体码流和所述第二媒体码流时，所述第一媒体码流为采用分层编码方法得到的基本层媒体码流，所述第二媒体码流为采用所述分层编码方法得到的至少一个增强层媒体码流；

或者所述保存单元用于保存接收到的所述第二媒体码流时，所述第一媒体码流和所述第二媒体码流为采用多路编码方法得到的媒体码流，并且所述第二媒体码流的质量高于所述第一媒体码流的质量。

12.一种媒体传输控制系统，其特征在于，包括：发送端，用于将原始媒体文件编码为第一媒体码流和第二媒体码流，所述第二媒体码流的质量高于所述第一媒体码流的质量，直接发送所述第一媒体码流给接收端，并缓存所述第二媒体码流，在传输网络存在冗余带宽时，发送所述缓存的第二媒体码流给所述接收端；

接收端，用于接收发送端发送的第一媒体码流和第二媒体码流，所述第二媒体码流为在传输网络存在冗余带宽时进行发送，并且所述第二媒体码流的质量高于所述第一媒体码流的质量，然后将接收到的所述第一媒体码流进行实时播放，并保存接收到的所述第一媒体码流和所述第二媒体码流，或者保存接收到的所述第二媒体码流。

Images