CN101917326B - 一种分布式转码系统及其任务调度方法 - Google Patents

Abstract

本发明公开了一种分布式转码系统的任务调度方法，所述分布式转码系统包括多个转码服务器和用户终端，以及，连接在所述转码服务器和用户终端之间的调度服务器，所述的方法包括：在所述调度服务器中注册系统内各转码服务器的信息；各转码服务器向所述调度服务器实时反馈其运行状态信息；所述调度服务器依据所述运行状态信息将相应的转码任务调度至对应的转码服务器进行处理。本发明可以使转码任务调度更高效、更合理，并节省系统资源。

Description

一种分布式转码系统及其任务调度方法

技术领域

本发明涉及分布式处理的技术领域，特别是涉及一种分布式转码系统的任务调度方法及装置。 

背景技术

随着当前媒体处理技术的发展，以及，网络视频、手机视频等各种新媒体方式的兴起，目前传统媒体也逐渐向服务化发展，并且更加注重用户参与性，如在常见的优酷、土豆等视频网站上，用户可以将自己制作的各种格式的视频作品上传，其它用户就可以通过统一的FLV(Flash Video)格式在线观看；在传统媒体行业，鼓励市民将自己获取的新闻视频资料作为电视台新闻线索的来源，但是目前各种前端采集设备采用不同的格式，如不同公司生产的摄像机采集出的文件格式不一样，而不同播出渠道对文件格式码率又有不同的要求。并且，随着高清的发展以及国家广电总局今年对各电视台高标清同播的要求，除了当前高清节目的播出，以往标清节目的历史资料为适应高清播出要求，也需要进行相应的码率转换。因此，转码系统如今被广泛应用在各种多媒体技术领域及行业，如电视台、电台、广告公司、视频网站等。 

在支持网络化的应用中，视频转码通常基于分布式的转码系统实现。这种分布式的转码系统通常包括多个转码服务器，当接收到客户端(web终端)提交的转码请求时，则通过调度中心，将转码任务调度给相应的转码服务器进行处理。在调度时，调度中心一般采用均匀分配原则向系统内的各个转码服务器分发转码任务，例如，调用中心先后接收到三条请求，分别为请求1、请求2和请求3，当前有三台转码服务器A、B、C，为保证各台服务器的负载均衡，则将请求1分至A服务器，请求2分至B服务器，请求3分至C服务器，而不是将请求1、请求2和请求3分至某一台服务器。 

然而在具体应用中，转码服务器不可避免地会出现硬件、软件方面的故障，从而可能导致任务处理阻塞的情形；并且，若某台服务器的被某个任务阻塞，其后的任务往往也无法响应，因而严重影响转码效率。 

发明内容

本发明所要解决的技术问题是提供一种分布式转码系统的任务调度方法及装置，以使转码任务调度更高效、更合理，并节省系统资源。 

为了解决上述技术问题，本发明实施例公开了一种分布式转码系统的任务调度方法，所述分布式转码系统包括多个转码服务器和用户终端，以及，连接在所述转码服务器和用户终端之间的调度服务器，所述的方法包括： 

在所述调度服务器中注册系统内各转码服务器的信息； 

各转码服务器向所述调度服务器实时反馈其运行状态信息，所述转码服务器的运行状态信息包括转码服务器的当前工作状态信息和资源占用信息； 

所述调度服务器依据所述运行状态信息将相应的转码任务调度至对应的转码服务器进行处理；其中，所述转码任务为调度服务器根据接收的各用户终端的转码任务请求生成；所述转码任务具有优先等级信息，所述调度服务器进行调度处理的步骤进一步包括： 

将优先等级最高的转码任务，调度给当前工作状态为空闲且资源占用最少的转码服务器。 

优选的，所述转码服务器的信息为IP地址信息。 

优选的，所述调度服务器进行调度处理的步骤进一步包括： 

若当前系统内所有转码服务器的当前工作状态均为忙碌，则暂停所述转码任务的调试处理。 

本发明实施例还公开了一种分布式转码系统，所述分布式转码系统包括多个转码服务器和用户终端，以及，连接在所述转码服务器和用户终端之间的调度服务器，调度服务器接收各用户终端的转码任务请求，生成转码任务，其中，所述调度服务器包括： 

注册模块，用于注册系统内各转码服务器的信息； 

调度处理模块，用于依据各转码服务器实时反馈的运行状态信息，将相应的转码任务调度至对应的转码服务器进行处理； 

所述转码任务具有优先等级信息，所述调度处理模块进一步包括： 

优先调度子模块，用于将优先等级最高的转码任务，调度给当前工作状态为空闲且资源占用最少的转码服务器； 

所述转码服务器包括： 

主动反馈模块，用于向所述调度服务器实时反馈其运行状态信息，所述转码服务器的运行状态信息包括转码服务器的当前工作状态信息和资源占用信息。 

优选的，所述转码服务器的信息为IP地址信息。 

优选的，所述调度处理模块进一步包括： 

中止调度子模块，用于在当前系统内所有转码服务器的当前工作状态均为忙碌时，暂停所述转码任务的调试处理。 

与现有技术相比，本发明具有以下优点： 

本发明通过在所述调度服务器中注册系统内各转码服务器的信息，使调度服务器与各转码服务器可以在网络上互相访问，并且，各转码服务器会向所述调度服务器主动、实时反馈其运行状态信息；在转码任务调度处理时，调度服务器只需要依据当前各转码服务器反馈的运行状态信息直接调度即可；而不需要调度服务器首先主动去获取各转码服务器的运行状态，与转码服务器先进行一次关于运行状态的交互才能进行调度。 

并且，本发明还可以直接将优先级最高的转码任务，调度给当前工作状态为空闲且资源占用最少的转码服务器，不仅保证了任务的及时处理，还减少了转码服务器挑选的过程，从而使得转码任务的调度更高效、更合理，并有效节省了系统资源。 

附图说明

图1是本发明的一种分布式转码系统的任务调度方法实施例的步骤流程图； 

图2是本发明的一种分布式转码系统的结构示意图。 

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。 

本发明可用于众多通用或专用的计算系统环境或配置中。例如：多处理器系统、服务器、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。 

本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。 

本发明实施例的核心构思之一在于，在所述调度服务器中注册系统内各转码服务器的信息，使调度服务器与各转码服务器可以在网络上互相访问，并且，各转码服务器会向所述调度服务器主动、实时反馈其运行状态信息；在转码任务调度处理时，调度服务器只需要依据当前各转码服务器反馈的运行状态信息直接调度即可，从而使得转码任务的调度更高效、更合理，并有效节省了系统资源。 

参考图1，示出了本发明的一种分布式转码系统的任务调度方法实施例的步骤流程图，其中，所述分布式转码系统可以包括多个转码服务器和用户终端，以及，连接在所述转码服务器和用户终端之间的调度服务器，本实施例具体可以包括以下步骤： 

步骤101、在所述调度服务器中注册系统内各转码服务器的信息； 

步骤102、各转码服务器向所述调度服务器实时反馈其运行状态信息； 

步骤103、所述调度服务器依据所述运行状态信息将相应的转码任务调度至对应的转码服务器进行处理。 

随着互联网和手机网络的不断进化，媒体传播的平台越来越多，相应的传播平台支持的媒体格式也越来越多，从手机，到IPTV、高清数字广播，不同平台对内容的格式要求完全不同。为了使媒体数据能够在异构网络之间、不同种类的接入设备之间以及不同格式之间透明交换，压缩视频流之间的转码成为数字视频中较热的研究方向。压缩视频流转码.就是将一种标准和格式的压缩视频流处理成更适应于某特定应用的另一种标准和格式的压缩视频流。视频转码对压缩的视频码流进行端到端的处理.使得转码后的压缩码流更能适应传输信道带宽以及接收端的要求。 

由于多媒体转码，尤其是视频转码是非常耗时、耗费计算机资源的处理过程，因此，在实际中优选的是，采用集群技术来加速这个过程，即采用分布式的转码系统。应用本发明在高效的调度管理下，让多个转码任务在集群内并行进行，从而极大地提高转码的吞吐率。 

为使本领域技术人员更好地理解本发明，以下简单介绍本发明中所述分布式转码系统的大致工作过程。 

一般而言，调度服务器会与各用户终端(web终端)及转码服务器进行交互，接收源用户终端提交的转码任务请求并在其内部进行排队，然后将队列中的转码任务，基于高效、合理化的要求调度给当前最适合的转码服务器，转码服务器执行具体的视频转码处理后，将转码结果返回至调度服务器，再由调度服务器分发至对应的目标用户终端。 

为使调度服务器与各转码服务器可以在网络上互相访问，在具体实现中，在调度服务器中注册的系统内各转码服务器的信息，可以为每个转码服务器的IP地址和设备标识信息。即系统内每个转码服务器都会配 置固定的IP地址和设备名，将所述IP地址，或者，IP地址和设备名注册在调度服务器中，就可实现调度服务器与各转码服务器的通信互连。 

对于转码任务调度的高效化及合理化，本专利发明人考虑从结合转码服务器的实际情况及调度服务器的快速反应两方面来实现、转码服务器的实际情况，具体可以通过转码服务器的当前工作状态信息和资源占用信息来体现，例如，当前是否忙碌还是空闲，以及，转码服务器本身的内存、CPU占用情况。在本发明实施例，这些信息是由转码服务器主动、实时地向调度服务器汇报的。在这种情况下，调度服务器就不需要在调度每个任务之前，再与转码服务器发起一次关于其运行状态的交互，只需要依据转码服务器主动反馈的运行状态信息，即读取其内部存储的信息，相应分配转码任务就可以了，从而使调度服务器对于各个任务的调度达到快速反应的目的。 

为结合用户实际需求更好地调度，本发明针对调度服务器中排队的转码任务可以进一步配置优先等级信息，当调度服务器在调度任务时，会先查看所有空闲转码服务器的性能状态，然后将优先级别最高的任务优先调度给性能状态最佳(资源占用最少)的服务器。若所有转码服务器都处于忙碌状态，则暂时不调度转码任务，等到有空闲的转码服务器再进行调度。可见，应用本发明实施例，若某个服务器遇到硬件或软件故障，导致任务阻塞，调度服务器也不会继续向其分发任务，而会将其它任务交由其它有条件处理的转码服务器进行处理，从而进一步提高了系统的处理效率。 

需要说明的是，对于前述的方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。 

参考图2，示出了本发明的一种分布式转码系统的结构示意图，所述分布式转码系统可以包括多个转码服务器21和用户终端23，以及，连接在所述转码服务器21和用户终端23之间的调度服务器22，其中，所述调度服务器22可以包括以下模块： 

注册模块，用于注册系统内各转码服务器的信息； 

调度处理模块，用于依据各转码服务器实时反馈的运行状态信息，将相应的转码任务调度至对应的转码服务器进行处理； 

所述转码服务器21可以包括以下模块： 

主动反馈模块，用于向所述调度服务器实时反馈其运行状态信息。 

所述分布式转码系统的大致工作过程为，调度服务器22会与各用户终端23及转码服务器21进行交互，接收源用户终端提交的转码任务请求并在其内部进行排队，然后将队列中的转码任务，基于高效、合理化的要求调度给当前最适合的转码服务器21，转码服务器21执行具体的视频转码处理后，将转码结果返回至调度服务器22，再由调度服务器22分发至对应的目标用户终端23。 

在具体实现中，所述转码服务器的信息可以为IP地址信息；所述转码服务器的运行状态信息包括转码服务器的当前工作状态信息和资源占用信息。 

在本发明的一种优选实施例中，所述转码任务具有优先等级信息，所述调度处理模块可以进一步包括以下子模块： 

优先调度子模块，用于将优先等级最高的转码任务，调度给当前工作状态为空闲且资源占用最少的转码服务器。 

在实际中，所述调度处理模块还可以包括以下子模块： 

中止调度子模块，用于在当前系统内所有转码服务器的当前工作状态均为忙碌时，暂停所述转码任务的调试处理。 

由于本实施例基本相应于前述方法实施例，故本实施例的描述中未详尽之处，可以参见前述实施例中的相关说明，在此就不赘述了。本说明书中的各个实施例重点说明的都是与其他实施例的不同之处，各个实 施例之间相同相似的部分互相参见即可。 

以上对本发明所提供的一种分布式转码系统的任务调度方法及一种分布式转码系统的任务调度装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。 

Claims (6)

1.一种分布式转码系统的任务调度方法，其特征在于，所述分布式转码系统包括多个转码服务器和用户终端，以及，连接在所述转码服务器和用户终端之间的调度服务器，所述的方法包括：

在所述调度服务器中注册系统内各转码服务器的信息；

各转码服务器向所述调度服务器实时反馈其运行状态信息，所述运行状态信息包括转码服务器的当前工作状态信息和资源占用信息；

所述调度服务器依据所述运行状态信息将相应的转码任务调度至对应的转码服务器进行处理；

其中，所述转码任务为调度服务器根据接收的各用户终端的转码任务请求生成；所述转码任务具有优先等级信息，所述调度服务器进行调度处理的步骤进一步包括：

将优先等级最高的转码任务，调度给当前工作状态为空闲且资源占用最少的转码服务器。

2.如权利要求1所述的方法，其特征在于，所述转码服务器的信息为IP地址信息。

3.如权利要求1所述的方法，其特征在于，所述调度服务器进行调度处理的步骤进一步包括：

若当前系统内所有转码服务器的当前工作状态均为忙碌，则暂停所述转码任务的调试处理。

4.一种分布式转码系统，其特征在于，所述分布式转码系统包括多个转码服务器和用户终端，以及，连接在所述转码服务器和用户终端之间的调度服务器，调度服务器接收各用户终端的转码任务请求，生成转码任务，其中，所述调度服务器包括：

注册模块，用于注册系统内各转码服务器的信息；

调度处理模块，用于依据各转码服务器实时反馈的运行状态信息，将相应的转码任务调度至对应的转码服务器进行处理；

所述转码任务具有优先等级信息，所述调度处理模块进一步包括：

优先调度子模块，用于将优先等级最高的转码任务，调度给当前工作状态为空闲且资源占用最少的转码服务器；

所述转码服务器包括：

主动反馈模块，用于向所述调度服务器实时反馈其运行状态信息，所述转码服务器的运行状态信息包括转码服务器的当前工作状态信息和资源占用信息。

5.如权利要求4所述的系统，其特征在于，所述转码服务器的信息为IP地址信息。

6.如权利要求4所述的系统，其特征在于，所述调度处理模块进一步包括：

中止调度子模块，用于在当前系统内所有转码服务器的当前工作状态均为忙碌时，暂停所述转码任务的调试处理。

Images