CN101635728A

CN101635728A - 内容分发网络中数据同步的方法及系统

Info

Publication number: CN101635728A
Application number: CN200910168945A
Authority: CN
Inventors: 刘皓; 刘宇; 王剑春
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2009-09-02
Filing date: 2009-09-02
Publication date: 2010-01-27
Anticipated expiration: 2029-09-02
Also published as: CN101635728B; EP2461536A1; US20120166391A1; US9191439B2; WO2011026430A1; RU2012110975A; EP2461536A4; RU2517382C2

Abstract

本发明披露了一种内容分发网络中数据同步的方法及系统，涉及管理侧数据库、数据同步处理管理器、能力侧数据库、数据同步处理代理器以及数据同步客户端，该方法包括：数据同步客户端从数据同步处理管理器请求获取到归属的数据同步处理代理器，建立与归属的同步处理代理器的心跳联系，以获知该数据同步代理处理器的运行状态；数据同步处理管理器扫描管理侧数据库，若检查到有需通知到所有的数据同步客户端的同步任务，则在能力侧数据库中为每一数据同步处理代理器生成同步任务。本发明减轻了同步处理管理器的负担，使得系统压力得到均衡，从而提高了系统的性能。

Description

内容分发网络中数据同步的方法及系统

技术领域

本发明涉及内容分发网络(CDN，Content Delivery Network)的数据同步技术，尤其涉及CDN中分布式服务端主动同步的方法及系统。

背景技术

在通信技术领域，IPTV(Internet Protocol TV或Interactive Personal TV)意思是互联网协议电视，也称交互式网络电视，是一种基于互联网的多媒体通信技术。IPTV利用宽带网的基础设施，以家用电视机或计算机作为主要终端设备，通过互联网协议IP传送电视信号，向家庭用户提供包括电视在内的多种交互式数字媒体服务。

内容分发网络CDN是一种新的网络架构，将业务的内容发布到最接近用户的网络“边缘”，使用户可以就近取得其所需的内容，从而提高系统的运行效率。CDN在技术上可以全面解决由于用户访问量大，服务器分布不均对骨干网带来的拥塞问题，同时可以提高用户访问流媒体服务器的速度以及缩短对用户的服务请求的响应时间。

CDN为了确保分布在不同地点的内容数据的一致性，需要在内容数据进行更新后针对不同地点进行同步处理。在CDN上有一个数据同步处理管理器应用模块，部署在CDN的业务处理机上，用于执行IPTV系统管理侧下发的任务以及为数据同步客户端分配可服务的同步处理代理器等。从业务处理机分离出来的数据同步处理代理器，是用于分担业务处理机部分功能的一台物理设备，主要执行的操作是保持与数据同步客户端之间的心跳关系，并与数据同步客户端进行数据同步处理等。

目前，在IPTV系统的内容分发网络中，数据同步处理管理器和数据同步处理代理器虽然已经采用了分布式部署，但是由于只有数据同步处理管理器可以获得管理侧的任务，所以对于数据同步服务端(包括同步处理管理器和同步处理代理器)主动向数据同步客户端发起的同步的数据传输，依然只能在数据同步处理管理器上进行。

随着业务量的提高，数据同步客户端设备及其需要获取的同步的消息的数据量也相应地增大，使得原有的所有主动接口只能由数据同步管理器进行数据同步触发的系统架构遭遇性能危机。

发明内容

本发明所要解决的技术问题是提供一种内容分发网络中数据同步的系统及方法，能够在内容分发网络的分布式服务端的主动同步过程中均衡系统压力，从而提高系统工作的稳定性。

为了解决上述技术问题，本发明提供了一种内容分发网络中数据同步的方法，涉及管理侧数据库、数据同步处理管理器、能力侧数据库、数据同步处理代理器以及数据同步客户端，该方法包括：

数据同步客户端从数据同步处理管理器请求获取到归属的数据同步处理代理器，建立与归属的同步处理代理器的心跳联系，以获知数据同步代理处理器的运行状态；

数据同步处理管理器扫描所述管理侧数据库，若检查到有需通知到所有的数据同步客户端的同步任务，则在能力侧数据库中为每一数据同步处理代理器生成同步任务。

进一步地，数据同步处理管理器若检查到只需通知到个别的数据同步客户端的同步任务，且查询到这些数据同步客户端所属的同步处理代理器，则在能力侧数据库中为查询到的同步处理代理器生成同步任务。

进一步地，管理侧数据库中的同步任务，是管理侧管理平台在需要进行数据更新时，将要更新的业务数据写入管理侧数据库的同时生成的。

进一步地，该方法还包括：

数据同步处理代理器扫描能力侧数据库，若检查存在需要执行的同步任务及其要更新的业务数据，则将要更新的业务数据保存到本地，同时主动向所服务的数据同步客户端发送同步数据通知。

进一步地，该方法还包括：

数据同步客户端接收到数据同步处理代理器发送的同步数据通知后，向同步处理代理器发送同步数据请求；通过数据同步处理代理器返回的同步数据响应收到及保存本次同步任务要更新的业务数据。

为了解决上述技术问题，本发明提供了一种内容分发网络中数据同步的系统，包括：管理侧数据库、数据同步处理管理器、能力侧数据库、数据同步处理代理器以及数据同步客户端，其中：

管理侧数据库，用于生成及保存同步任务及其更新的业务数据；

数据同步客户端，用于从数据同步处理管理器请求获取到归属的数据同步处理代理器，建立与归属的同步处理代理器的心跳联系，以获知该数据同步代理处理器的运行状态；

数据同步处理管理器，用于根据数据同步客户端的请求为数据同步客户端分配所属的数据同步处理代理器；扫描管理侧数据库，若检查到有需通知到所有的数据同步客户端的同步任务，则在能力侧数据库中为每一数据同步处理代理器生成同步任务；

能力侧数据库，用于保存同步任务及其要更新的业务数据。

进一步地，

数据同步处理管理器若检查到只需通知到个别的数据同步客户端的同步任务，且查询到这些数据同步客户端所属的同步处理代理器，则在能力侧数据库中为查询到的同步处理代理器生成同步任务。

进一步地，

管理侧数据库中的同步任务，是管理侧管理平台在需要进行数据更新时，将要更新的业务数据写入的同时生成及保存的。

进一步地，

数据同步处理代理器，用于扫描能力侧数据库，若检查存在需要执行的同步任务及其要更新的业务数据，则将要更新的业务数据保存到本地，同时主动向所服务的数据同步客户端发送同步数据通知。

进一步地，

数据同步客户端，接收到数据同步处理代理器发送的同步数据通知后，向同步处理代理器发送同步数据请求，通过数据同步处理代理器返回的同步数据响应收到及保存本次同步任务要更新的业务数据。

本发明通过采用数据同步处理代理器配合数据同步处理管理器进行数据同步处理，来减轻以往同步处理管理器过重的负担，使得系统压力得到均衡，从而提高了系统的性能。

附图说明

图1是本发明的在IPTV系统中内容分发网络数据同步处理系统实施例的框架结构图；

图2是本发明的在IPTV系统中内容分发网络数据同步方法实施例流程时序图；

图3是本发明的方法实施例中数据同步处理管理器为数据同步客户端生成数据同步任务的流程图；

图4是本发明的方法实施例中数据同步处理代理器通知数据同步客户端进行数据同步的流程图；

图5是本发明的方法实施例中数据同步处理代理器根据数据同步客户端的数据同步请求返回同步数据的流程图。

具体实施方式

以下结合附图和优选实施例对本发明的技术方案进行详细地阐述。以下例举的实施例仅仅用于说明和解释本发明，而不构成对本发明技术方案的限制。

图1是本发明以IPTV系统为实施例给出的内容分发网络数据同步处理系统的框架结构，主要包括一个数据同步处理管理器和多个数据同步处理代理器，以及隶属各个数据同步处理代理器的多个数据同步客户端；其中：

数据同步处理管理器，用于为数据同步客户端分配可服务的同步处理代理器；若扫描到管理侧数据库是否有同步任务，则在能力侧数据库为每一同步处理代理器生成同步任务，或为请求数据同步的数据同步客户端相应的同步处理代理器生成同步任务；

数据同步处理管理器在数据同步客户端请求数据同步处理代理器时，根据负载均衡策略为其分配数据同步处理代理器，同时更新该数据同步处理代理器的数据同步客户端连接数。

数据同步处理代理器，用于在为其服务的数据同步客户端扫描到能力侧数据库有同步任务时，将查获的同步数据保存在其内存数据库中，并通知该数据同步客户端；在收到数据同步客户端的数据同步请求时，将从内存数据库中查获的同步数据返回给该数据同步客户端；

数据同步客户端，用于向数据同步处理管理器请求数据同步处理代理器，并建立与分配到的同步处理代理器的心跳联系；在收到同步处理代理器的数据同步通知后，向该同步处理代理器发出数据同步请求，并通过该同步处理代理器返回的数据同步响应获取相应的同步数据。

如图2所示，本发明以IPTV系统为实施例，给出内容分发网络中数据同步方法流程，包括如下步骤：

步骤1：数据同步客户端向数据同步处理管理器请求数据同步处理代理器，并得到数据同步处理管理器返回的其归属的同步处理代理器；

数据同步客户端请求数据同步处理代理器的时机为：本设备启动时，服务获取请求周期到达时，或在检测到当前业务处理代理器异常时。

步骤2：数据同步客户端建立与其归属的数据同步处理代理器的心跳联系，以获知为其服务的数据同步代理处理器是否处于正常运行状态；

步骤3、4：数据同步处理管理器扫描管理侧数据库，检查是否存在要执行的同步任务，如果存在(即管理侧数据库返回要执行的同步任务)，且要求通知到所有数据同步客户端，则在能力侧数据库中为每一数据同步处理代理器生成(即插入)一条对应的任务，并得到能力侧数据库返回的操作结果；

管理侧管理平台在需要进行数据更新时，将要更新的业务数据写入管理侧数据库，同时向管理侧数据库中的任务表中插入对应的同步任务。

在另一实施例里，如果数据同步处理管理器检查存在只针对个别的数据同步客户端的同步任务，且查询到这些数据同步客户端它们所属的数据同步处理代理器，则在能力侧数据库中为这些同步处理代理器一一生成对应的任务，并得到能力侧数据库返回的操作结果。

步骤5、6：数据同步处理代理器定时扫描能力侧数据库，检查是否存在需要执行的同步任务，如果存在(即能力侧数据库返回要执行的同步任务)，则将需要更新的数据保存到本地内存数据库中，同时主动向所服务的数据同步客户端(譬如EPG服务设备)发送同步数据通知；

数据同步处理代理器根据能力侧数据库中查获的数据同步任务的任务标识、任务类型、需要进行数据同步的客户端标识等参数，查询能力侧数据库，将需要同步的数据保存在内存数据库中，然后主动向需要进行数据同步的客户端发送该任务类型的数据同步通知。

步骤7：数据同步客户端接收到数据同步处理代理器发来的同步数据通知，向对应的同步处理代理器发送同步数据请求，数据同步处理代理器将本次同步任务要更新的业务数据通过同步数据响应返回给数据同步客户端；

数据同步客户端在接收到数据同步通知后，在下一个空闲周期，按照接收到的消息类型调用相应的接口向该数据同步处理代理器发送该任务类型的数据同步请求。

数据同步处理代理器接收到数据同步请求后，根据请求中的任务类型，从内存数据库中解析需要进行数据同步的数据，发送给数据同步客户端。

步骤8：数据同步处理代理器更新数据库中本任务的状态为同步成功。

图3是本发明上述方法实施例中数据同步处理管理器为数据同步客户端生成数据同步任务的方法流程，是在查询到管理侧数据库中存在数据同步任务后执行的，包括如下步骤：

步骤301：判断查询到的任务是否要求通知到所有数据同步客户端，是则执行步骤302，否则执行步骤303；

302：在能力侧数据库中为每一个数据同步处理代理器生成数据同步任务，执行步骤306；

303：查询内存数据库中该任务相应的数据同步客户端与数据同步处理代理器之间的对应关系；

304：该客户端是否存在对应的数据同步处理代理器，是则执行步骤305，否则执行步骤307；

305：根据该对应关系在能力侧数据库中为需要进行数据同步处理的数据同步代理器生成数据同步任务；

306：更新管理侧数据库中任务状态为已生成同步任务，结束流程；

307：更新管理侧数据库中任务状态为生成同步任务失败，结束流程。

图4是本发明上述方法实施例中数据同步处理代理器通知数据同步客户端进行数据同步的流程，是在查询到能力侧数据库中存在本代理器的数据同步任务后执行，包括如下步骤：

401：根据该任务的任务标识、任务类型从能力侧数据库查询到需同步的数据，并将其保存在本地内存数据库中；

402：向要进行数据同步的数据同步客户端发送数据同步通知；

403：判断通知发送是否成功，是则执行步骤404，否则执行步骤406；

数据同步处理代理器经过一段时间延迟后若收到数据同步客户端的回复，则判断通知发送成功；否则，则判断通知发送失败。

404：更新能力侧数据库中该任务的状态为已通知；

405：等待数据同步客户端请求获取同步数据，结束流程；

406：判断重复通知次数是否超过阀值，是则执行步骤407，否则执行步骤408；

407：更新能力侧数据库中该任务的状态为通知失败，结束流程；

408：在下一周期重复发送数据同步通知，返回步骤403执行。

图5是本发明上述方法实施例中数据同步处理代理器根据数据同步客户端的数据同步请求返回同步数据的流程，是在接收到数据数据同步客户端的数据同步请求通知后执行，包括如下步骤：

501：检查该数据同步客户端是否合法，是则执行步骤502，否则结束流程；

502：根据数据同步请求通知中的任务类型、客户端标识将同步数据返回给数据同步客户端；

503：判断返回是否成功，是则执行步骤504，否则执行步骤505；

数据同步处理代理器经过一段时间延迟后若收到数据同步客户端的回复，则判断返回成功；否则，则判断返回失败。

504：更新能力侧数据库中该任务状态为同步成功，结束流程；

505：判断重复返回次数是否超过阀值，是则执行步骤506，否则执行步骤507；

506：更新能力侧数据库中该任务状态为同步失败，结束流程；

507：在下一周期重复返回同步数据，返回步骤503执行。

综上实施例可以看出，本发明针对IPTV系统的内容分发网络中的数据同步系统，采用数据同步处理代理器配合数据同步处理管理器，来减轻数据同步处理管理器的负担，使得系统压力得到均衡，从而可以提高系统的性能。

本发明除了应用在交互式网络电视商用系统中，还可以应用在视频监控等其它基于内容分发网络的系统中。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，但这只是为便于理解而举的实例，不应认为本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，可以做出各种可能的等同改变或替换，这些改变或替换都应属于本发明的保护范围。

Claims

1、一种内容分发网络中数据同步的方法，涉及管理侧数据库、数据同步处理管理器、能力侧数据库、数据同步处理代理器以及数据同步客户端，该方法包括：

数据同步客户端从数据同步处理管理器请求获取到归属的数据同步处理代理器，建立与所述归属的同步处理代理器的心跳联系，以获知所述数据同步代理处理器的运行状态；

所述数据同步处理管理器扫描所述管理侧数据库，若检查到有需通知到所有的数据同步客户端的同步任务，则在所述能力侧数据库中为每一数据同步处理代理器生成所述同步任务。

2、按照权利要求1所述的方法，其特征在于，所述数据同步处理管理器若检查到只需通知到个别的数据同步客户端的同步任务，且查询到这些数据同步客户端所属的同步处理代理器，则在所述能力侧数据库中为查询到的所述同步处理代理器生成所述同步任务。

3、按照权利要求1或2所述的方法，其特征在于，所述管理侧数据库中的同步任务，是管理侧管理平台在需要进行数据更新时，将要更新的业务数据写入所述管理侧数据库的同时生成的。

4、按照权利要求1或2所述的方法，其特征在于，还包括：

所述数据同步处理代理器扫描所述能力侧数据库，若检查存在需要执行的同步任务及其要更新的业务数据，则将所述要更新的业务数据保存到本地，同时主动向所服务的数据同步客户端发送同步数据通知。

5、按照那权利要求4所述的方法，其特征在于，还包括：

所述数据同步客户端接收到所述数据同步处理代理器发送的所述同步数据通知后，向所述同步处理代理器发送同步数据请求；通过所述数据同步处理代理器返回的同步数据响应收到及保存本次同步任务要更新的业务数据。

6、一种内容分发网络中数据同步的系统，包括：管理侧数据库、数据同步处理管理器、能力侧数据库、数据同步处理代理器以及数据同步客户端，其中：

所述管理侧数据库，用于生成及保存同步任务及其更新的业务数据；

所述数据同步客户端，用于从所述数据同步处理管理器请求获取到归属的数据同步处理代理器，建立与所述归属的同步处理代理器的心跳联系，以获知所述数据同步代理处理器的运行状态；

所述数据同步处理管理器，用于根据所述数据同步客户端的请求为所述数据同步客户端分配所属的数据同步处理代理器；扫描所述管理侧数据库，若检查到有需通知到所有的数据同步客户端的同步任务，则在所述能力侧数据库中为每一数据同步处理代理器生成所述同步任务；

所述能力侧数据库，用于保存所述同步任务及其要更新的业务数据。

7、按照权利要求6所述的系统，其特征在于，

所述数据同步处理管理器若检查到只需通知到个别的数据同步客户端的同步任务，且查询到这些数据同步客户端所属的同步处理代理器，则在所述能力侧数据库中为查询到的所述同步处理代理器生成所述同步任务。

8、按照权利要求6或7所述的系统，其特征在于，

所述管理侧数据库中的同步任务，是管理侧管理平台在需要进行数据更新时，将要更新的业务数据写入的同时生成及保存的。

9、按照权利要求6或7所述的系统，其特征在于，

所述数据同步处理代理器，用于扫描所述能力侧数据库，若检查存在需要执行的同步任务及其要更新的业务数据，则将所述要更新的业务数据保存到本地，同时主动向所服务的数据同步客户端发送同步数据通知。

10、按照权利要求9所述的系统，其特征在于，

所述数据同步客户端，接收到所述数据同步处理代理器发送的所述同步数据通知后，向所述同步处理代理器发送同步数据请求，通过所述数据同步处理代理器返回的同步数据响应收到及保存本次同步任务要更新的业务数据。