CN100486330C - 支持异地存储方式的流媒体服务器的实现方法 - Google Patents

Abstract

支持异地存储方式的流媒体服务器的实现方法，属于计算机多媒体技术领域，涉及流媒体服务器的实现方法以及流媒体数据的传输，存储和读取方法。本方法实现的本地服务器包括四个模块：流化传输模块，虚拟文件模块，数据请求模块，数据接收模块。包括以下步骤：将电影文件进行重新组织，分别存储在本地服务器和内容分发服务器；用户点播这些电影文件时，虚拟文件模块通过从操作系统接管特定的目录从而虚拟出此文件的方法，实时的向内容分发服务器请求电影数据，向用户提供服务。本方法的优点是流化传输模块与虚拟文件模块相互独立，不影响流化传输模块原有的服务。

Description

支持异地存储方式的流媒体服务器的实现方法

技术领域

本发明涉及计算机多媒体技术领域，尤其涉及一种支持异地存储方式的流媒体服务器的实现方法以及流媒体数据的传输、存储和读取方法。

背景技术

随着网络的发展，网络速度的提高，各种各样的音视频服务器也越来越多，其中流媒体服务器的应用变得更加广泛，用户也逐渐习惯于在网络上点播电影，实时收看节目。随着宽带网络的发展，特别是宽带接入技术的发展，网络传输的瓶颈正在被打破，这就为流媒体技术的发展提供了基础，而流媒体服务器对用户提供高质量的服务也成为可能，例如要求服务器提供码率尽可能高的影片，尽可能多的影片供用户选择。

现在的流媒体服务器的实现方法多是所有的影片全部存储在本地服务器上，从而只能对用户提供本服务器上的影片，为了提供更丰富的节目，往往采取加大服务器磁盘容量或者采用集群服务器的方式。但是这种实现方式将所有的容量压力都集中在了本地服务器上，却没有充分利用网络的功能，会使本地服务器逐渐不堪重负。

发明内容

技术问题：本发明针对现有的流媒体服务器(以后统称为流化传输模块)提供了一种基于虚拟文件系统方式的支持异地存储方式的流媒体服务器的实现方法，在不改动现有的流化传输模块的前提下，使得流化传输模块能够支持向用户提供采用异地存储方式存储的电影服务，可解决本地服务器的压力过大的问题，充分利用网络的功能。

技术方案：通过虚拟文件模块，数据请求模块，数据接收模块，连同流化传输模块一起构成了本系统。其中，流化传输模块通过向操作系统发出系统调用读取数据向用户提供流媒体服务，与客户端以实时流传输协议(RTSP，RealTime Streaming Protocol)、实时传输协议(RTP，Real-time Transport Protocol和实时传输控制协议(RTCP，Real-time Transport Control Protocol)进行交互；虚拟文件模块通过从操作系统接管数据块文件所在目录的方法，向流化传输模块提供统一的文件操作接口，将从上一级服务器传输过来的电影数据片断，通过虚拟映射的方式，变成该目录中的本地文件；数据请求模块向上级内容分发服务器发送数据请求，数据接收模块接收来自上级内容分发服务器的数据。

本方法包括以下步骤：

a).将电影文件进行为按照电影播放的时间顺序，以M秒为单位，将此M秒之内的所有音视频数据提取出来，形成一个数据片断，并按照时间顺序将这些片断组织成新的数据文件，同时生成索引文件，分别存放在本地流媒体服务器与内容分发服务器，或单独存放在媒体服务器中，或单独存放在上级内容分发服务器中；

b).户端向流媒体服务器发出电影点播请求；

c).流化传输模块接收到客户端的电影点播请求，根据路径区别电影文件完全存储在本地还是部分存储在本地，如果完全存储在本地，则与普通文件读取方式相同，如果部分存储在本地，则向虚拟文件模块提出数据请求；

d).虚拟文件模块将本地硬盘数据和上级内容分发服务器传过来的数据片断(放在本地内存中)映射成流化传输模块所请求的本地目录下的完整文件，向流化传输模块提供数据服务；

e).虚拟文件模块将当前流化数据与索引文件信息进行比较，判断是否需要向上级内容分发服务器申请新的数据，如果需要，则执行第6步，否则执行第8步；

f).数据申请模块向上级内容分发服务器申请数据；

g).数据接收模块从上级内容分发服务器接收数据；

h).流化传输模块读取数据发送给客户端；

i).从第c步到第h部循环进行，直到点播结束，撤销映射，释放资源。

所述的步骤a包括：所述的电影重新组织方式为按照电影播放的时间顺序，以M秒为单位，将此M秒之内的所有音视频数据提取出来，形成一个数据片断，并按照时间顺序将这些片断组织成新的数据文件，同时生成索引文件，标记数据文件中各种数据的存储方式，索引文件和数据文件可以存放在媒体服务器或上级内容分发服务器或两者均存储。

流化传输模块与虚拟文件模块相互独立，通过不同的存储目录区分流化传输模块是否需要向上级内容分发服务器申请数据。虚拟文件模块通过从操作系统接管特定的目录的方式接收流化传输模块的读取数据请求，不与流化传输模块直接通信。虚拟文件模块通过读取索引文件找到数据的存储位置进行数据读取。虚拟文件模块通过关键点判断是否需要进行数据请求的步骤。

有益效果：虚拟文件模块与流化传输模块各自独立，虚拟文件模块的实现不影响流化传输模块；现有的流媒体服务器软件都可以很容易的通过本方法，使它支持异地方式的点播，同时不影响流媒体服务器原有的服务；由于与流化传输模块相分离，具体实现简单。

采用本方法设计的服务器，一台内容服务器，可以同时服务多台流媒体服务器，增加了整体的服务能力。

对于一些比较冷门的影片，由于点播的人很少，如果流媒体服务器如果将他全部存储在本地，浪费了存储空间，进一步的，由于是冷门影片，用户点播的概率很小，而且有很大的可能性，用户只看了开头几分钟之后，不再观看。可以将这种影片大部分存储在内容服务器上，下面的流媒体服务器只存储电影篇头，这样每台服务器都可以向用户提供这部影片的服务，同时减少了占用的磁盘空间。

附图说明

图1：流媒体服务器构成框图。

图2：本发明详细实现流程图。

图3：索引文件结构。

图4：数据文件结构。

具体实施方式

下面结合苹果(Apple)公司的流媒体服务器Darwin举出我们在具体实施本发明方法时的例子。由于本发明虚拟文件模块与流化传输模块相分离，所以本发明不仅适用于Darwin服务器，对其他服务器如RealNetworks公司的Helix服务器等同样适用。

电影文件采用了MP4格式的电影文件，每个MP4文件，由媒体信息(’moov’atom，元数据)和媒体数据(’mdat’atom)两部分组成。鉴于MP4文件中，音视频数据及其索引数据并不一定按时间顺序交织在一起，因此需要对原始的MP4文件进行预处理，使其中的音视频数据及索引数据按一定的时间间隔(选择了30秒)组织成大的数据块形成新的数据文件，并生成索引文件标记新的数据文件中的数据的存储情况，新的数据文件由文件切割工具切割成两部分，一部分存储在本地得流媒体服务器上，另一部分存储在内容分发服务器上，存储在本地的数据部分包含所有的元数据，以及180秒的媒体数据，即本地服务器对于采用异地存储存储方式存储的影片都存储了一个影片的前180秒的数据，在不向内容服务器申请数据的情况下可以向用户提供前180秒的播放服务。

采用的操作系统环境为Linux操作系统，虚拟文件模块通过向操作系统注册一个文件系统的方式，实现了对特定目录的接管，即当用户程序访问这个特定目录时，发出的一系列系统调用如stat，open，read，close等都被虚拟文件模块接收到，由虚拟文件模块完成这些调用，并可以根据我们的需要，通过从内存中读取数据或着从硬盘的其他地方读取数据的方法，在这个目录中虚拟出一个文件。

实现的过程是：

客户端向流媒体服务器发送电影点播请求，请求的格式为：rtsp://ipaddress/path/filename.mp4，其中，path指电影在流媒体服务器上的存放路径，流化传输模块(Darwin)接收到这个请求之后根据路径读取电影文件数据，流化之后，向客户端传送数据；完全存储在本地的电影和部分存储在本地的电影的路径是不同的，部分存储在本地的电影都被虚拟成存储在一个特定的由虚拟文件模块管理的目录中，如果客户点播的电影是完全存储在本地的，则Darwin根据路径读取电影文件，向客户端提供服务；如果客户端点播的电影为部分存储在本地的，则路径必定是这个特殊的目录，Darwin从这个目录读取数据，由于这个目录由虚拟文件模块接管，Darwin的一系列的系统调用，都由虚拟文件模块来完成。Darwin读取电影文件的过程为：打开文件(open)，读取从指定位置开始的一定长度的数据(read)，关闭文件(close)。虚拟文件模块首先接收到打开文件调用，虚拟文件模块为虚拟出此文件做准备，包括：(1)将此电影文件对应的索引文件读入内存，(2)为此电影点播分配内存，存储数据接收模块从内容分发服务器接收得数据块，对于每个点播分配三块内存(内存的使用见读取数据步骤)，大小初始为零。(3)返回成功，即打开文件成功。然后Darwin读取数据，虚拟文件模块从操作系统接到Darwin得读取数据请求，主要参数为：电影文件名，所请求的数据在原MP4文件中的偏移，所请求的数据的长度。虚拟文件模块根据电影文件名，到相应的内存中查找索引文件表，根据所请求的数据在原MP4文件中的偏移和所请求的数据的长度在索引文件中进行查找，索引文件中标记出了每一块数据(30秒为单位)在原MP4文件中得的偏移，长度，以及存储位置，如果存储在异地则还标记出了从内容服务器传输到本地流媒体服务器之后应存储的内存区域，查找到Darwin请求的数据的存储位置，如果存储在本地流媒体服务器上，虚拟文件模块从存储在本地的数据文件中读取数据，如果存储在内容服务器，则从相应的内存中读取数据；读取数据之后都要检查是否到达关键点，如果未到达关键点则直接返回本次读取得数据长度，如果达到关键点则通知数据请求模块请求新的数据。

关键点设定为每个30秒数据块在原MP4文件中的起始位置，即每次读取数据之后都检查此次请求的数据是否包含了关键点，如果关键点在本次请求的数据块之内，则认为到达关键点，反之则认为没有到达关键点。到达关键点时需要申请数据，申请数据的方式采用预申请的方式，即在第n个30秒开始的时候申请第n+2个30秒的数据。所以对于每个电影点播来说，需要分配三块内存，循环使用，其中两块是始终有数据的，另一块内存由数据接收模块用来接收数据。申请数据时虚拟文件模块根据索引文件以及当前为此电影点播分配的三块内存的使用情况，决定申请的此块数据的存放位置，并为此数据块重新分配所要存储的内存块的大小，以使之能够容纳下数据接收模块接收到的此数据块。其中n为自然数。

数据请求模块接收到虚拟文件模块的请求数据之后会向内容分发服务器发送数据请求报文，数据接收模块接收到内容分发服务器的数据发送报文之后接收数据到指定的内存区域中。

用户点播终止，Darwin释放文件，虚拟文件模块释放为此电影点播分配的所有资源。

运行结果：

本实例在局域网环境中进行了运行，监视播放效果，服务器端运行情况。

视频点播的文件为2Mbps的采用MPEG-4编码格式的MP4文件，播放器为quicktime，对于同一部MP4影片，分别将其进行两种方式的存储，即一种完全存放在本地服务器上，一种将其进行中心组织，分别存放在本地服务器和内容服务器上，用两个客户端同时对这两种方式存储的影片进行点播，观看播放效果，画面和声音同样清晰流畅，从客户端看来播放效果没有区别，没有出现停顿现象。从本地服务器端来看，两种播放方式的丢包率保持一致。

本实例运行环境：

本地服务器以及内容服务器端的硬件配置及操作系统

CPU：Intel P4 2.4G两颗

内存：4G

网卡：1000M两块

操作系统：Debian

接收端硬件配置及操作系统

CPU：Intel P4 2.4G

内存：256M

网卡：10/100M自适应

操作系统：Windows2000 Professional

本发明原理：

如上所述，现在的流媒体服务器的实现方法多是将所有的影片全部存储在本地服务器上。这种实现方式没有充分利用网络的功能。其实，随着网络速度的飞跃，不仅用户可以做到在线收看节目，流媒体服务器也没有必要更没有可能把所有的节目都保存在本地存储设备上，对一些电影，可以只在本地存储一个片头，另一部分存储在上一级服务器(称为内容分发服务器)的方式(称为异地存储)，在用户请求的节目数据不在本地时，实时的向自己的上一级服务器请求数据同时向用户提供服务。

下面结合附图对本发明做进一步说明。

服务器上的影片种类分为两种，一种是完全存储在本地，用户点播这种电影时，与传统的流媒体服务器相同，另一种是影片只有一个片头存储在本地(前M秒)，在有用户点播时，再向内容分发服务器申请数据。

为实现电影文件在不同服务器上的分块存储，首先需要对电影文件进行分析和重组。电影播放是按照时间顺序播放的，而在具体的电影文件中，各种音视频数据并不一定是按照时间先后顺序存放在电影文件中的，所以为了网络传输的方便需要对电影文件进行重新组织，将每一个时间间隔内的音视频数据提取出来组织在一起形成一个数据片断，按照时间的先后顺序将这些片断组织成一个新的数据文件，并生成相应的索引文件，用以标记数据文件中的数据块与原电影文件中数据块的对应关系，数据文件分段分别保存在本地服务器(其中有些数据必须存放在本地)和内容分发服务器上，而索引文件存放在媒体服务器本地，数据文件与索引文件的格式见附图3、4。

附图2考虑了用户点播的节目为采用了异地存储方式的电影，用户点播的请求到达流化传输模块，电影存储方式对流化传输模块是透明的，对流化传输模块来说，不同方式存储的电影只是在本机的存储的目录有所不同，流化传输模块根据用户点播请求中的路径目录去读取电影文件。虚拟文件模块管理这个特殊的路径目录，流化传输模块对这个目录的操作都被虚拟文件模块从操作系统那里接管过来。

流化传输模块读取文件分为两步，首先打开文件，打开文件时需要读取文件的大小，存取权限之类的信息，其中文件的大小对流化传输模块来说是必需的，虚拟文件模块在接收到流化传输模块的打开文件请求之后，将此电影相应的索引文件(index文件，其详细结构见附图)读入内存中，形成一张index表，并读取电影文件的大小返回给流化传输模块。之后流化传输模块开始读取数据。

虚拟文件模块接收到的流化传输模块的读取数据请求内容包括电影文件名，数据长度，数据在电影文件中的偏移。虚拟文件模块根据这三个参数，在index表中进行查找，判断。如果请求的数据存储在本地则从本地的数据文件中读取数据，如果请求的数据存储在异地，则从相应的内存中读取数据。读取数据之后都要判断是否到达关键点，如果到达关键点则通知数据请求模块请求数据，数据接收模块接收数据。申请数据采用预申请的方式，以M秒为单位，在每个M秒的开始就申请下下个M秒的音视频数据，即本地服务器的内存中始终有2×M秒的音视频数据可供播放，其中M与前面进行电影文件重组时选择的时间间隔保持一致。数据接收模块接收到这一个M秒的数据片断之后将其存储在指定的内存中，供虚拟文件模块读取。

Claims (6)

1.一种支持异地存储方式的流媒体服务器的实现方法，其特征在于包括以下步骤：

a)、将电影文件进行重新组织，分别存放在流媒体服务器与上级内容分发服务器，或单独存放在流媒体服务器，或单独存放在上级内容分发服务器；

b)、客户端播放器向流媒体服务器发出电影点播请求；

c)、流化传输模块接收到客户端的电影点播请求，根据路径区别电影文件完全存储在本地还是部分存储在本地，如果完全存储在流媒体服务器本地，则与普通文件读取方式相同，如果部分存储在本地，则向虚拟文件模块提出数据请求；

d)、虚拟文件模块将本地硬盘数据和上级内容分发服务器传过来的数据片断放在本地内存中映射成流化传输模块所请求的本地目录下的完整文件，向流化传输模块提供数据服务；

e)、虚拟文件模块判断是否需要申请新的数据，如果需要，则执行第f步，否则执行第h步；

f)、数据申请模块向上级内容分发服务器申请数据；

g)、数据接收模块从上级内容分发服务器接收数据；

h)、流化传输模块读取数据发送给客户端；

i)、从第c步到第h步循环进行，直到点播结束，撤销映射，释放资源。

2.根据权利要求1所述的支持异地存储方式的流媒体服务器的实现方法，其特征在于，所述的步骤a包括：电影重新组织方式为按照电影播放的时间顺序，以M秒为单位，将此M秒之内的所有音视频数据提取出来，形成一个数据片断，并按照时间顺序将这些片断组织成新的数据文件，同时生成索引文件，标记数据文件中各种数据的存储方式，索引文件和数据文件可以存放在媒体服务器或上级内容分发服务器或两者均存储。

3.根据权利要求1或2所述的支持异地存储方式的流媒体服务器的实现方法，其特征在于：流化传输模块与虚拟文件模块相互独立，通过不同的存储目录区分流化传输模块是否需要向上级内容分发服务器申请数据。

4.根据权利要求1所述的支持异地存储方式的流媒体服务器的实现方法，其特征在于：虚拟文件模块通过从操作系统接管特定的目录的方式接收流化传输模块的读取数据请求，不与流化传输模块直接通信。

5.根据权利要求1或2所述的支持异地存储方式的流媒体服务器的实现方法，其特征在于：虚拟文件模块通过读取索引文件找到数据的存储位置进行数据读取。

6.根据权利要求1或2所述的支持异地存储方式的流媒体服务器的实现方法，其特征在于：虚拟文件模块通过关键点判断是否需要进行数据请求的步骤。

Images