CN102541925A - 一种实现详细话单的快速存储和检索的方法及装置 - Google Patents

Abstract

本发明提供了一种实现详细话单的快速存储和检索的方法及装置，该方法及装置根据执行写操作的频繁程度，将详细话单划分为三种状态的文件：动态详单文件、标准静态详单文件和纯粹静态详单文件，对于动态详单文件采用地址映射链表方式实现存储和检索，对于标准静态详单文件采用文件系统方式进行存储和检索，对于纯粹静态详单文件采用数据库方式进行存储和检索。本发明针对不同的详单文件采用不同的存储检索方式，有效地避免了单一存储方式的固有缺陷和弱点，提高了存储和检索的效率，进而提高了系统性能。

Description

一种实现详细话单的快速存储和检索的方法及装置

技术领域

本发明涉及电信系统的话单处理技术，特别涉及一种实现详细话单的快速存储和检索的方法及装置。

背景技术

随着通信技术的迅速发展，电信业务开展越来越广泛，各种新业务层出不穷，各种业务话单也随之层出不穷。随着客户业务量的不断增长，用户的通话量也逐年递增，用户的详单日数量级往往突破亿。

对大数据量的存储、检索已经成为电信运营商必须解决的问题。目前，运营商大都采用数据库方式或文件系统方式对用户的详细话单，以下简称详单，进行存储和检索，或者整合数据库技术、文件系统技术实现混合存储和检索。

其中，数据库方式是将所有数据存储到数据库中，这种方式数据的存储和检索严重依赖于数据的性能。对后台数据的输入/输出(I/O)接口要求较高，往往采用分库、分区、数据压缩、增加硬件配置等方法来提高数据的吞吐能力。因此，这种方式投资成本大，系统的后期维护要求高，造成维护费用的居高不下。

文件系统方式是将话单文件以数据文件的方式按照一定的方式进行存储。大多采用号段、日期方式进行文件的存储和划分，并进行文件级索引，以实现文件的快速检索。但是该方法对于频繁变动的数据，例如，当天话单数据的无法实现文件索引，对这类数据的存储检索时延较长，往往比对不变化数据文件存储和检索的时延高出10倍以上，因此文件系统方式，对于频繁变动数据的存储检索的效率低下。

发明内容

本发明的主要目的在于提供一种实现详细话单的快速存储和检索的方法，以提高对详单数据的存储检索的效率。

本发明的另一个主要目的在于提供一种实现详细话单的快速存储和检索的装置，以提高对详单数据的存储检索的效率。

为达到上述目的的第一个方面，本发明提供了一种实现详细话单的快速存储和检索的方法，该方法根据执行写操作的频繁程度，将详细话单划分为三种状态的文件：动态详单文件、标准静态详单文件和纯粹静态详单文件，对于动态详单文件采用地址映射链表方式实现存储和检索，对于标准静态详单文件采用文件系统方式进行存储和检索，对于纯粹静态详单文件采用数据库方式进行存储和检索。

为达到上述目的的第一个方面，本发明提供了一种实现详细话单的快速存储和检索的装置，该装置包含详细话单划分模块、动态详单文件存储和检索模块、标准静态详单文件存储和检索模块和纯粹静态详单文件存储和检索模块；

所述详细话单划分模块，根据执行写操作的频繁程度，将详细话单划分为三种状态的文件：动态详单文件、标准静态详单文件和纯粹静态详单文件；

所述动态详单文件存储和检索模块，采用地址映射链表方式对动态详单文件实现存储和检索；

所述标准静态详单文件存储和检索模块，采用文件系统方式对标准静态详单文件进行存储和检索，

纯粹静态详单文件存储和检索模块，采用数据库方式对纯粹静态详单文件进行存储和检索。

由上述的技术方案可见，本发明的这种实现详细话单的快速存储和检索方法及装置，针对不同的详单文件采用不同的存储检索方式，分别利用了地址映射链表存储和检索速度快、效率高的优点，文件系统方式和数据库方式存储量大等优点，有效地避免了单一存储方式的固有缺陷和弱点，提高了存储和检索的效率，进而提高了系统性能。

附图说明

图1为本发明一实施例中对动态详单文件进行写操作的流程示意图；

图2为图1所示实施例中对动态详单文件进行检索的流程示意图；

图3为图1所示实施例中文件状态之间转化示意图；

图4为本发明实现详细话单的快速存储和检索装置的一实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，以下结合附图对本发明具体实施方式进行详细说明。

本发明的这种实现详细话单的快速存储和检索方法及装置，根据执行写操作的频繁程度，将详细话单划分为三种状态的文件：动态详单文件、标准静态详单文件和纯粹静态详单文件，对于动态详单文件采用地址映射链表方式实现存储和检索，对于标准静态详单文件采用文件系统方式进行存储和检索，对于纯粹静态详单文件采用数据库方式进行存储和检索。

一般情况下，当日的详单会频繁执行写操作，因此，将当日的详单文件确定为动态详单文件；当月除当日的详单一般不会再执行写操作，因此，将当月除当日的详单文件确定为标准静态详单文件；上月及之前的详单一般不会再执行修改操作，因此，将上月及之前的详单文件确定为纯粹静态详单文件。

以下先对本发明一个实施例中动态详单文件的存储和检索进行详细说明。

对于动态详单文件，一般指当天详单文件，由于需要不停地执行写入读出操作将消耗大量的系统I/O，以及导致对同一文件的频繁加锁解锁操作。因此本实施例中采用地址映射链表的方式进行详单的存储和检索。

本实施例中，可以按照号段，对每一个号段建立一个地址映射链表，每个地址映射链表包括常驻在内存中的内存索引表和存储在磁盘中的对应的详单记录文件，该链表结构如表1所示：

内存索引表：

表1

可见，每个内存索引表中保存着系统处理的当日某一号段的每个号码的最近通话记录在详单记录文件中的内存索引指针。对应的每个详单记录文件则保存着当日同一号段的用户详单记录，每一条详单记录在其尾部包含一个指向该用户上一条详单记录的文件偏移量的前向指针。

另外，本实施例中还在内存中为每个地址映射链表设置了文件信息区，并在磁盘上设置了内存索引交换区。其中文件信息区保存着每个详单记录文件的标识信息或称id信息。该信息唯一标识了号码的详单记录存储于那个文件。例如：目录+号段+日期的形式。其中，目录用来标识该详单记录文件所保存在磁盘中的目录，例如：G:\2010\12。内存索引交换区则是用于在系统发生异常情况下，将所有的内存索引表写入该交换区，系统重新启动时，再将所有的内存索引表从内存索引交换区读出写入到内存中。这样，保证了所有的内存索引表在系统发生异常情况下不丢失。

对上述动态详单文件的存储过程也就是写操作过程参见图1，图1为本发明一实施例中对动态详单文件进行写操作的流程示意图，该流程包括以下步骤：

步骤101，根据用户号码和通话时间及该地址映射链表的文件信息区的目录、号段及日期，找到详单记录文件，再根据号段信息定位内存索引表。

步骤102，将新生成的详单记录添加到找到的详单记录文件中，并计算出该条记录的文件偏移量，该偏移量添加到该详单记录中；将新添加的详单记录中的前向指针指向该用户上一条详单记录。

本步骤中，新生成的记录是按时间顺序添加到详单记录文件中的，因此，计算文件偏移量就是计算出该详单记录文件的字节长度。

步骤103，到内存索引表中查找该用户号码的内存索引指针。

步骤104，判断是否查找到该用户号码的内存索引指针，如果是，则执行步骤105，否则执行步骤106

步骤105，将该文件偏移量更新到该号码的内存索引指针中。完成详单写操作。

以表1所示的地址映射链表，假如对于号码为13513517768的用户，生成了新的记录后，计算出的偏移量为600，则添加记录后的地址映射链表，如表2所示。

内存索引表：

表2

步骤106，在内存索引表中，用该文件偏移量新插入该条详单记录的内存索引指针。完成详单写操作。

对上述动态详单文件的检索过程参见图2，图2为图1所示实施例中对动态详单文件进行检索的流程示意图，该流程包括以下步骤：

步骤201，根据用户号码和通话时间及该地址映射链表的文件信息区的目录、号段及日期，找到详单记录文件，再根据号段信息定位内存索引表。

步骤202，从内存索引表中查找出对应号码的内存索引指针。

步骤203，根据内存索引指针在详单记录文件中定位该号码用户的最新通话详单记录。

步骤204，对定位到的详单记录进行操作。例如，查询等操作。

步骤205，取最新详单记录的前向指针在详单记录文件中定位次新通话详单记录。

步骤206，判断检索到详单记录的前向指针是否为空，如果是则结束检索，否则返回步骤204。

本实施例中，针对动态详单文件采用了前向链表技术，对于动态详单文件实现链表索引。这样，就将动态详单文件的检索效率提高到与静态文件检索同一个数量级的级别，极大地提升了详单文件的检索效率。

然后，标准静态详单文件的存储和检索进行详细说明。由于标准静态文件一般是不更改的，因此，采用数据文件+文件索引的方式存储，实现对于话单的检索和存储。

实际上标准静态详单文件的存储过程就是动态详单文件到标准静态详单文件的转化过程，纯粹静态详单文件的存储过程就是标准静态详单文件到纯粹静态详单文件的转化过程。

参见图3，图3为图1所示实施例中文件状态之间转化示意图。其中，动态详单文件采用地址映射链表索引存储，标准静态详单文件采用文件索引存储，纯粹静态详单文件采用数据库存储。动态详单文件转化为标准静态详单文件的条件是：动态详单文件若不再有写操作则转换为标准静态详单文件。一般情况下昨日的动态详单文件转换为标准静态详单文件。标准静态详单文件转化为纯粹静态详单文件的条件是：标准静态详单文件确认不会出现修改操作后转化为纯粹静态详单文件。一般情况下是上一个月的往日标准静态详单文件转换为纯粹静态详单文件。

本实施例中动态详单文件转化为标准静态详单文件的处理过程是一种归档化处理过程，具体的方法是：预定时间到时，例如每日凌晨2点，系统自动进行归档化操作，对于动态文件中的手机号码按照手机号码，业务系统进行排序处理，并且生成索引文件。

例如，原有动态文件中1351351.20101119.cur的详单记录文件如表3所示：

偏移量	详单记录	指针信息
			100	13513519246话单	300
200	13513517768话单	700
			300	13513519246话单	0
.......
			700	13513517768话单	0

表3

经过归档处理后，生成的话单文件1351351.20101119.day信息包括话单信息和索引index文件，具体如下：

话单信息

13513519246语音业务话单13513519246短信业务话单

13513519247语音业务话单13513519247短信业务话单

........

13513517768语音业务话单13513517768gprs业务话单

索引文件1351351.20101119.index信息如表4所示：

表4

这样，经过归档化处理后，在进行话单检索的时候，首先查找索引文件，取出待查找号码的偏移量与话单长度；然后根据这些信息直接操作标准静态文件进行话单检索处理。这种检索处理与现有技术相同，这里不再详细说明。

再对该实施例中纯粹静态详单文件的存储和检索进行详细说明。纯粹静态详单文件采用数据库方式进行存储和检索，由于纯粹静态详单文件具有不需要修改、低检索的特性，所以数据库的性能配置只是纯粹的用数据库系统实现方式的50％。

纯粹静态详单文件的存储过程就是标准静态详单文件到纯粹静态详单文件的转化过程。标准静态详单文件转化为纯粹静态详单文件的处理过程也是一种归档化处理过程，具体的方法是：预定时间到时，例如每日凌晨3点，系统自动进行归档化操作，先对标准静态详单文件进行解码处理，将其中每个号码的话单按照业务解析成ascii码话单文件，再根据话单文件中的子业务，进行数据入库处理，即将话单文件中的数据按照子业务，写入到数据库中已经建立的业务表中。其中，解码过程与现有技术相同，这里不再详细说明。

例如：针对1351351.20101119.day文件先进行解码处理，将每个号码的话单按照业务解析成ascii码话单文件1351351.20101119.day.txt其格式如下：

13513519246语音话单

13513519246短信话单

.......

再根据话单文件中的子业务，进行数据入库处理，将数据写入到数据库中已经建立的业务表中，例如：

语音_201011

短信_201011

gprs_201011

......

操作完成后，数据库中语音201011表中增加数据记录

13513519246语音业务话单

短信_201011增加

13513519246短信业务话单。

经过这样的归档化处理后，检索时就可以直接采用现有对数据库进行检索的方法，对数据库中的业务表进行检索。

本实施例中，对于数据库存储的话单，若超过三个月，则进行数据库归档操作，将数据进行压缩处理，移入低性能数据库。例如当月为11月，则8月份以前的详单数据均可以进行压缩处理，节约数据库空间和性能。

由上述的实施例可见，采用该实施例的技术方案，在详单查询的时候，当日详单查询采用链表技术从当日文件中检索获得；当月非当日从标准静态文件查询获得；往月话单从数据库中获得。这样就将查询压力分担到了不同的存储类型和存储设备上。

以下对本发明提供的与上述方法对应的详细话单的快速存储和检索装置进行详细说明。

参见图4，图4为本发明实现详细话单的快速存储和检索装置的一实施例的结构示意图。本实施例的快速存储和检索装置包含：详细话单划分模块410、动态详单文件存储和检索模块420、标准静态详单文件存储和检索模块430和纯粹静态详单文件存储和检索模块440。

其中，详细话单划分模块410，根据执行写操作的频繁程度，将详细话单划分为三种状态的文件：动态详单文件、标准静态详单文件和纯粹静态详单文件。动态详单文件存储和检索模块420，采用地址映射链表方式对动态详单文件实现存储和检索；标准静态详单文件存储和检索模块430，采用文件系统方式对标准静态详单文件进行存储和检索，纯粹静态详单文件存储和检索模块440，采用数据库方式对纯粹静态详单文件进行存储和检索。

如图4所示，本实施例中的动态详单文件存储和检索模块420包含地址映射链表建立单元421、动态详单文件存储单元422和动态详单文件检索单元423。其中，地址映射链表建立单元421，对每个号段建立一个地址映射链表，每个地址映射链表包括常驻在内存中的内存索引表和存储在磁盘中的对应的详单记录文件，并在内存中为每个地址映射链表设置了保存着详单记录文件标识信息的文件信息区。

动态详单文件存储单元422，根据文件信息区保存的详单记录文件标识信息，查找详单记录文件，将新生成的详单记录添加到找到的详单记录文件中，并生成相应的内存索引表。

动态详单文件检索单元423，根据文件信息区保存的详单记录文件标识信息，查找详单记录文件和对应的内存索引表，按照内存索引表进行检索。

如图4所示，本实施例中的标准静态详单文件存储和检索模块430包含标准静态详单文件存储单元431和标准静态详单文件检索单元432。其中，标准静态详单文件存储单元431，在第一预定时间到时，按照动态文件中的号码按照号码，进行排序处理，并且生成索引文件。标准静态详单文件检索单元432，在进行检索时，首先查找索引文件，取出待查找号码的偏移量与详单记录的长度；然后根据这些信息直接操作标准静态文件。

如图4所示，本实施例中的纯粹静态详单文件存储和检索模块440包含纯粹静态详单文件存储单元441和纯粹静态详单文件检索单元422。其中，纯粹静态详单文件存储单元441，在第二预定时间到时，先对标准静态详单文件进行解码处理，将其中每个号码的详单记录按照业务解析成ascii码话单文件，再根据话单文件中的业务，将话单文件中的数据按照业务，写入到数据库中已经建立的业务表中。纯粹静态详单文件检索单元442，检索时直接用现有数据库检索方法对数据库中的业务表进行检索。

最后，对本发明技术方案的空间、时间复杂度进行概述。

第一，关于存储消耗。从本发明方法来看，针对纯粹静态详单文件、标准静态详单文件的存储消耗变化不计，对动态文件来说每条记录多出一个占用4个字节的逆向指针，同时多出动态详单文件索引占用内存和交换区，按用户数来算如要存储1000万，内存交换区中1000万用户都在线的情况下考虑，最多1000万条记录(11+4)*1000万，存储也就需要1个G的空间，对于运营商现有海量话单存储上T的存储来说1个G空间可忽略不计.

第二，关于检索时间和I/O消耗。本发明方法对纯粹静态详单文件、标准静态详单文件检索时间不变，针对的是动态详单文件。现有技术对详单文件不分状态，都是对文件从头找到尾，进行全文件检索。以现有某运营商详单文件存储方式，一个号段用户一天一个文件。一个详单文件有10000个用户，按每个用户平均10条话单来算，如果要查找一个用户，要检索10万条记录。现在按本发明方法查找当日详单，只用检索10条记录。检索时间比例为10000∶1，同时I/O检索时消耗降为1/10000。

第三，关于算法复杂度。对动态详单文件的存储和检索，其算法的时间与用户量无关，只与动态文件中单个用户话单量相关成线性正比关系；其算法的空间与动态详单文件中单个用户话单量无关，只与与用户量相关成线性正比关系。

总上所述，本发明在现有技术的基础上结合详单存储和检索的特点将详单存储分解为纯粹静态详单文件、标准静态详单文件、动态详单文件三种状态详单文件。本发明针对不同的详单文件采用不同的存储检索方式，有效地避免了单一存储方式的固有缺陷和弱点，提高了存储和检索的效率，进而提高了系统性能。

Claims (14)

1.一种实现详细话单的快速存储和检索的方法，其特征在于：根据执行写操作的频繁程度，将详细话单划分为三种状态的文件：动态详单文件、标准静态详单文件和纯粹静态详单文件，对于动态详单文件采用地址映射链表方式实现存储和检索，对于标准静态详单文件采用文件系统方式进行存储和检索，对于纯粹静态详单文件采用数据库方式进行存储和检索。

2.如权利要求1所述的方法，其特征在于：将当日的详单文件确定为动态详单文件；将当月除当日的详单文件确定为标准静态详单文件；将上月及之前的详单文件确定为纯粹静态详单文件。

3.如权利要求2所述的方法，其特征在于：动态详单文件中，对每个号段建立一个地址映射链表；

每个地址映射链表包括常驻在内存中的内存索引表和存储在磁盘中的对应的详单记录文件；

每个内存索引表中保存着当日某一号段的每个号码的最近通话记录在详单记录文件中的内存索引指针；

对应的每个详单记录文件保存着当日同一号段的用户详单记录，每一条详单记录在其尾部包含一个指向该用户上一条详单记录的文件偏移量的前向指针。

4.如权利要求3所述的方法，其特征在于：该方法进一步在内存中为每个地址映射链表设置了保存着详单记录文件标识信息的文件信息区；动态详单文件的存储过程包括如下步骤：

A、根据文件信息区中的详单记录文件标识信息，查找到目标地址映射链表的详单记录文件和对应的内存索引表；

B、将新生成的详单记录添加到找到的详单记录文件中，并计算出该条记录的文件偏移量，该偏移量添加到该详单记录中；将新添加的详单记录中的前向指针指向该用户上一条详单记录；

C、如果内存索引表中有该号码的内存索引指针，则将该文件偏移量更新到该号码的内存索引指针；否则在内存索引表中，用该文件偏移量新插入该条详单记录的内存索引指针。

5.如权利要求4所述的方法，其特征在于：动态详单文件的检索过程包括如下步骤：

A1、根据文件信息区中的详单记录文件标识信息，查找到目标地址映射链表的详单记录文件和对应的内存索引表；

B1、从内存索引表中查找出对应号码的内存索引指针；

C1、根据内存索引指针在详单记录文件中定位该号码用户的最新通话详单记录；

D1、对定位到的详单记录进行操作；

E1、取最新详单记录的前向指针在详单记录文件中定位次新通话详单记录；

F1、返回执行步骤D1，直到详单记录的前向指针为空。

6.如权利要求4或5所述的方法，其特征在于：文件信息区保存的详单记录文件标识信息包括：用来标识该详单记录文件所保存在磁盘中的目录、该详单记录文件的号段及日期；

所述根据文件信息区中的详单记录文件标识信息，查找到目标地址映射链表的内存索引表和对应的详单记录文件为：根据用户号码和通话时间及该地址映射链表的文件信息区的目录、号段及日期，找到详单记录文件，再根据号段信息定位内存索引表。

7.如权利要求3、4或5所述的方法，其特征在于：该方法进一步在磁盘上设置内存索引交换区；

在系统发生异常情况下，将所有的内存索引表写入该交换区，系统重新启动时，再将所有的内存索引表从内存索引交换区读出写入到内存中。

8.如权利要求2所述的方法，其特征在于：所述标准静态详单文件为动态详单文件执行如下归档化处理后获得：

在第一预定时间到时，按照动态文件中的号码按照号码，进行排序处理，并且生成索引文件。

9.如权利要求8所述的方法，其特征在于：对于标准静态详单文件，在进行检索时，首先查找索引文件，取出待查找号码的偏移量与详单记录的长度；然后根据这些信息直接操作标准静态文件。

10.如权利要求2所述的方法，其特征在于：所述纯粹静态详单文件为标准静态详单文件执行如下归档化处理后获得：

在第二预定时间到时，先对标准静态详单文件进行解码处理，将其中每个号码的详单记录按照业务解析成ascii码话单文件，再根据话单文件中的业务，将话单文件中的数据按照业务，写入到数据库中已经建立的业务表中。

11.一种实现详细话单的快速存储和检索的装置，其特征在于：包含详细话单划分模块、动态详单文件存储和检索模块、标准静态详单文件存储和检索模块和纯粹静态详单文件存储和检索模块；

所述详细话单划分模块，根据执行写操作的频繁程度，将详细话单划分为三种状态的文件：动态详单文件、标准静态详单文件和纯粹静态详单文件；

所述动态详单文件存储和检索模块，采用地址映射链表方式对动态详单文件实现存储和检索；

所述标准静态详单文件存储和检索模块，采用文件系统方式对标准静态详单文件进行存储和检索，

纯粹静态详单文件存储和检索模块，采用数据库方式对纯粹静态详单文件进行存储和检索。

12.如权利要求11所述的装置，其特征在于：所述动态详单文件存储和检索模块包含地址映射链表建立单元、动态详单文件存储单元和动态详单文件检索单元；

所述地址映射链表建立单元，对每个号段建立一个地址映射链表，每个地址映射链表包括常驻在内存中的内存索引表和存储在磁盘中的对应的详单记录文件，并在内存中为每个地址映射链表设置了保存着详单记录文件标识信息的文件信息区；

所述动态详单文件存储单元，根据文件信息区保存的详单记录文件标识信息，查找详单记录文件，将新生成的详单记录添加到找到的详单记录文件中，并生成相应的内存索引表；

所述动态详单文件检索单元，根据文件信息区保存的详单记录文件标识信息，查找详单记录文件和对应的内存索引表，按照内存索引表进行检索。

13.如权利要求11所述的装置，其特征在于：所述标准静态详单文件存储和检索模块包含标准静态详单文件存储单元和标准静态详单文件检索单元；

所述标准静态详单文件存储单元，在第一预定时间到时，按照动态文件中的号码按照号码，进行排序处理，并且生成索引文件；

所述标准静态详单文件检索单元，在进行检索时，首先查找索引文件，取出待查找号码的偏移量与详单记录的长度；然后根据这些信息直接操作标准静态文件。

14.如权利要求11所述的装置，其特征在于：所述纯粹静态详单文件存储和检索模块包含纯粹静态详单文件存储单元和纯粹静态详单文件检索单元；

所述纯粹静态详单文件存储单元，在第二预定时间到时，先对标准静态详单文件进行解码处理，将其中每个号码的详单记录按照业务解析成ascii码话单文件，再根据话单文件中的业务，将话单文件中的数据按照业务，写入到数据库中已经建立的业务表中；

所述纯粹静态详单文件检索单元，对数据库中的业务表进行检索。

Images