CN113612856A

CN113612856A - 待发送数据的处理方法及发送数据的方法

Info

Publication number: CN113612856A
Application number: CN202110956136.XA
Authority: CN
Inventors: 白杰
Original assignee: Individual
Current assignee: Individual
Priority date: 2021-08-19
Filing date: 2021-08-19
Publication date: 2021-11-05

Abstract

本发明提供了一种待发送数据的处理方法，该方法根据计算机系统的性能和数据的重要性程度和/或目的地址设置多个数据缓冲区及其优先级，获得待发送数据的发送端和接收端之间在预定发送时间段的信道条件参数，按照所述信道条件参数设置数据包发送参数，然后打包所述数据包发送参数生成控制部，打包待发送数据生成数据部，组合所述控制部和数据部生成待发送数据包，最后在预定的时间段，按照待发送数据的重要性程度和/或目的地址，将所述待发送数据包发送到相应的数据缓冲区。本发明还提供了发送数据的方法。

Description

待发送数据的处理方法及发送数据的方法

技术领域

本发明涉及一种数据处理方法，尤其是待发送数据的处理方法及发送数据的方法。

背景技术

在数据传输系统中，数据发送端为了快速有效地将数据发送到数据接收端，通常都要对发送的数据需要经过适当的预处理，而非简单的按续发送。通常要采取很多措施，例如对待发送的数据进行编码压缩、对待发送的数据进行数据缓冲区的分配等。一种常见的处理方法是将数据按照重要性或预先确定的权值分类，确定发送优先级，再将优先级不同的数据分配优先等级不同的队列发送。在一个具体的应用中，所述优先级判断装置可以拆分为数据包输入单元和数据包分配单元，而数据发送装置可以拆分为数据输出单元和输出数据缓冲区。

如此的待发送数据的预处理，只考虑了数据本身的某些特性，通常难以应付数据发送过程中出现的复杂情况。例如，当信道质量较劣时，过高的发送速率会导致数据发送的失败，而此时简单重复发送又会耗费太多的系统传输资源，等等。

发明内容

本发明解决的问题是，提供一种能够有效利用数据传输资源的待发送数据的处理方法及发送数据的方法。

本发明实施例提供的待发送数据的处理方法，包括下述步骤：

根据计算机系统的性能和数据的重要性程度和/或目的地址设置多个数据缓冲区及其优先级；

获得待发送数据的发送端和接收端之间在预定发送时间段的信道条件参数，按照所述信道条件参数设置数据包发送参数；

打包所述数据包发送参数生成控制部，打包待发送数据生成数据部，组合所述控制部和数据部生成待发送数据包；

在预定的时间段，按照待发送数据的重要性程度和/或目的地址，将所述待发送数据包发送到相应的数据缓冲区。

所述方法还包括：

利用滑动窗口技术处理所述数据部，生成所述数据部的引用标签序列，以标签序列作为新的数据部。

本发明实施例提供的发送数据的方法，包括：

按照待发送数据包的控制部的指示发送待发送数据包的数据部；

判断发送状态是否达到标准，如果达到标准，按照系统调度继续操作缓冲区中的后续数据包，否则，根据达到标准的程度继续后续的数据包处理。

本发明实施例的优点在于，由于参考了发送端和接收端之间的信道条件设置数据包发送参数，使得数据的发送过程与信道的实际状况相适应，这样能够充分发挥传输数据的信道和计算机系统的性能，特别适合在信道状况不稳定的情况下提高数据传输的可靠性，因此能够有效利用数据传输资源，提高数据的传输效率。

另外，由于设置了与计算机系统的性能和数据的重要性程度、目的地址相适应的数据缓冲区的数量和优先级，这样非常有利于采用多线程并发处理的方式传输数据，这样有利于进一步提高传输资源的使用效率。

附图说明

图1是本发明所述待发送数据的处理方法的一个实施例的流程图。

具体实施方式

首先参考图1。图1所示实施例是一个适合采用多线程并发实现的例子。在步骤11设置多个数据缓冲区，为实现最大限度的数据并行发送，缓冲区至少设置两个。本例中，根据计算机系统的性能，以及按照数据的重要性程度、目的地址设置缓冲区的数量及优先级。当数据的性质不同，例如重要性不同，可以仅按照计算机系统的性能和待发送数据的重要性程度设置数据缓冲区的数量及优先级；接收节点的重要性不同，可以仅按照计算机系统的性能和待发送数据的接收节点的目的地址设置数据缓冲区的数量及优先级；如果对数据的精确性要求不同，可以仅按照计算机系统的性能和待发送数据的和对数据的要求设置数据缓冲区的数量及优先级，等等。也可以将以上条件组合起来使用，例如数据的重要性程度和目的地址组合使用参与设置缓冲区及优先级，就可以通过为重要性程度和目的地址赋予相应的分值和权而组合使用这两个条件，再结合计算机系统的性能来确定缓冲区的数量N，以此为基础设置N个缓冲区及其优先级。假设仅按照计算机系统的性能和待发送数据的重要性程度设置数据缓冲区的数量及优先级，如果结合计算机系统的性能和带发送数据的重要性程度确定数据缓冲区的数量为5，则设置5个优先级不同的数据缓冲区。如果对待发送数据的重要性程度和目的地址二个参数赋予相应的分值和权，如果使用分值和权的积，再结合计算机系统的性能确定数据缓冲区的数量为6，则设置6个优先级不同的数据缓冲区。

其中，所述缓冲区的数量受计算机系统的性能制约，以仅按照计算机系统的性能和待发送数据的重要性程度设置数据缓冲区的数量为例，如果计算机系统的数据处理和传输能力最多能够保证5个线程不低于一个预设的标准即可最大限度地实现正常并发工作，则可以确定数据缓冲区最多为5个。

其中，每个缓冲区对应一个数据发送线程和2个能够完成特定功能的数据处理线程。

图1所示实施例的步骤12到15由其中的一个数据处理线程完成。

数据包在两个节点间的传输能否成功或有效与信道的质量或条件相关，例如信道条件较差时，数据传输的速率就不适于很高，检验数据的位数不能太短，否则，就会影响数据的有效传输，进而浪费传输资源。因此，在步骤12，就要判断待发送数据的发送端和接收端之间的信道条件，尤其当信道不能满足在任意时刻的数据传输条件要求时，尤其要获知在预定发送时间段，或者计划发送时间段的信道条件，从而获得数据的最佳传输参数。

判断信道条件有很多办法，本步骤采用选定参数加历史统计的方法。也就是说，通过在计划的时间段采集选定的参数值，就能够容易的得到待发送数据的发送端和接收端之间在预定发送时间段的信道条件。信道条件也可以看作是信道质量的表达，可以采用下述参数之一或任意的组合，包括信道发送速率、故障率、故障类型、故障程度。其中，所述故障类型，例如信道规则断，随机断，带宽突变等；所述故障程度，例如故障时间和长度，恢复周期等。根据所述参数，通过其对信道传输性能的影响划分具体的数值和权重，即可判断出信道的条件,从而决定数据包发送参数。所述数据包发送参数包括数据包的大小和/或校验码和/或压缩方式和/或压缩率和/或数据传输波特率，其中即包括数据包处理参数，也包括传输参数，这些很容易通过信道条件参数，经过实验和统计获得。

在步骤13，将所述数据包发送参数打包生成控制部，将待发送数据打包生成数据部，然后在步骤14，将所述控制部和数据部组合起来生成待发送数据包。

最后在步骤15，在数据包发送以前的一个预定的时间段，按照待发送数据的目的地址和/或重要性程度，将所述待发送数据包发送到相应的有限等级的数据缓冲区，等待数据发送线程和其他数据处理线程处理。

如前所述，为了实现对数据包的并发处理，需要预先设置多个数据包处理线程，当所述设置的线程的个数与要处理的任务数量相适应时，能够充分利用系统的资源。在本实施例中，由于要处理的数据包存储在不同的数据缓冲区中，因此预先设置的数据包处理线程的个数与数据缓冲区的个数相同。事实上，所述数据包处理线程的个数与数据缓冲区的个数不相同，使一个数据包处理线程处理两个数据缓冲区的数据包，或者，使二个数据包处理线程处理一个数据缓冲区的数据包，等等，也能够实现本发明。

所述的数据缓冲区也可以是一组，这样可以增加针对一个数据处理设备的数据包处理的灵活性。即，所述数据缓冲区包括多个并列的子数据缓冲区，同时，为所述数据包处理线程设置多个与所述子数据缓冲区对应的子线程，用于处理所述子数据缓冲区中的数据。实际中，每一个数据缓冲区需要设置多少个子数据缓冲区，以及是否需要设置子数据缓冲区根据实际的需要确定。例如，如果运行本实施例的数据传输装置连接有5个终端，就可能在所述数据处理装置对应的数据缓冲区中设置5个并列的子数据缓冲区，相应的，所述子数据缓冲区对应的子线程也要根据操作的需要预先设置。同理，也可以多个终端对应一个子数据缓冲区，进而对应一个子线程，或者，一个终端的数据由于操作的不同等因素，而使一个终端对应多个子数据缓冲区，进而对应多个子线程。

在一个具体的缓冲区中，仍然可以按照数据的重要性程度或优先级的级数将所述数据包分别输入到相应的队列。该实施例在涉及服务质量(QoS)保证的传输中有重要意义。由于数据包具有传输效率的约定，因此，为不同终端或不同用户的能被标识重要性的数据包设置优先级，某种程度上可以保证该数据包的传输效率。

例如，数据包分别为a、b、c、d、e，将其分为三组，即三个等级，分别为A、B、C，其中，级别a、b对应等级A，级别c、d对应等级B，级别e对应等级C，为等级A、B、C设置的数据包处理线程分别为线程A、线程B、线程C，线程A占用的CPU时间片最大，而线程C占用的CPU时间片最小，从而保证对级别为a、b的数据包处理的速度最快，能够优先处理完毕并通过发送数据缓冲区优先发送。

缓冲区还可以有更多符合实际情况的使用方式，例如，将每一个数据缓冲区分为两部分，第一部分用于存储待处理的数据包，第二部分用于存储处理后的数据包。

在基于图1所示的另一个实施例中，在步骤13和步骤14之间增加了一个压缩加密步骤，该步骤利用滑动窗口技术处理所述数据部，生成所述数据部的引用标签序列，以标签序列作为新的数据部。

该步骤实现待发送数据的加密压缩，不但可以减少传输的数据量，还增加了可破解难度。生成引用标签可以按照公知的方法完成。具体可以是：

按照重复数据表示出来的重复特性，例如特定相邻的字符构成的字符串，尽可能多地确定多个满足该特性要求的数据段，为这些数据段设置彼此不重复的引用标签，将所述引用标签与所述数据段绑定在一起，存储入数据库，即标签与数据段对照的关系数据库。

确定一个数据序列的引用标签，可以利用一个指纹函数和一个窗口，通过动态调整所述窗口，对输入的数据流，从一个方向确定一系列的分割点，利用所述分割点分割所述数据流，截取一个或多个数据段，所述数据段与所述数据库中存储的至少一个数据段相同，然后用引用标签代替截取的数据段与数据流中剩余的数据组装为新的数据流。

例如，假设待传输数据W看作有方向的输入数据流，从数据的流入方向或者数据流稳定输入后从数据流尾部方向截取一个或多个数据段，只要截取的所述数据段与所述第一数据库中存储的至少一个数据段相同，就可以认为该数据段是一个预先确定的高重复概率数据段，就可以按照所述数据库中引用标签和所述数据段的绑定关系，用引用标签代替截取的数据段与数据流中剩余的数据组装为新的数据流。由于数据的生成与数据段的截取可以采用相关的算法，因此，易于从一个随机的数据流中找到高重复概率的数据段，从而可以实现用引用标签代替数据段传输，减少实际传输的数据量。

分割出的数据段不用考虑该数据段周围的其它数据如何。上述标签的确定过程的一个方面就是要将输入数据进行分割，在分割过程中识别出“分割点”，如果一个分割方案设计合理、恰当，数据段的端点对于同样的数据段而言，它应具有相同的重复性，出现在相同的地方，而不用考虑这个数据在什么样的内容中出现。因此，对于数据中的那些具有共同数据特性的重复性数据段，就能用一种同样的方法分割出来。

具体的数据分割方案之一，是使用数据本身中的信息去引导该分割过程，而不用那种从外部把数据块尺寸、传输界定参数等强加给分割过程。

当输入数据被编码过程消耗后，输入数据的各种各样的值和结构就会去引导分割过程，通过这种把输入内容引导分割用于处理输入数据流，就能把时间跨度很大的重复数据寻找出来，而不必将已经分析过的数据重新分析一遍。只要同类的数据被在输入数据的过程中出现过，无论其在何处，同样的数据段就会被发现，从而得到重复的数据段而无需重复分析数据。

然而，尽管输入的数据具有某种数据特性，但由于每次需要处理的数据具有的随机性，用输入数据的内容引导数据的分割，实际上只是在分割得到的数据段的尺寸最大，与重复数据段的数量最多之间的矛盾中找到一个平衡点。

本发明提供的发送数据的方法实施例，以图1所示实施例为基础，由其设置的数据发送线程执行发送数据的操作。首先从待发送数据包中解析出来其中的控制部，然后按照控制部的指示发送数据部。

数据通过不同的数据通道发送，尤其在并发数据传输的情况下。如果具有多个数据发送通道，进一步设置多个数据发送子线程能够加快数据包的发送速度。与该思想相对应，可以将输出数据缓冲区设置为多个并列的子缓冲区，以与多个数据包发送子线程对应。在数据包发送过程中，也可以通过子线程的按需使用，实现系统资源的合理共享。例如，先采用一个数据包发送子线程输出缓冲区中的数据包，当一个子线程不足以完成数据发送任务时，可以通过系统调度占用优先级别更低的子线程资源发送数据。

数据发送的同时，另一个线程，即一个功能线程定时启动，判断当前的发送状态是否达到标准，如果达到标准，按照系统调度继续操作缓冲区中的后续数据包。或者说，如果达到标准，该线程会暂时结束运行或继续判断其他缓冲区的发送线程是否工作正常，而不影响当前的数据发送线程的运行。这个标准实际中可以根据系统环境设置，例如，具体的标准可以是：正常发送数据，出错率小于预定的值(根据对数据的要求设置)，数据重传的次数小于预定的值，对端响应延时小于预定的值，等等。

判断发送状态是否达到标准的线程也可以按照控制部参数的指示在特定的时间启动，或者，根据数据接收端的响应启动，等等。

如果当前数据发送线程的发送状态未达到标准，就要调用另一个功能线程根据达到标准的程度继续后续的数据包处理操作，如继续发送，或者调整参数后继续发送。

该处理根据未达到标准的程度可以有各种相适应的后续处理方式，例如：一种后续处理方式可以参考图1所述实施例的步骤12到步骤14，即，按照所述信道条件重新设置数据包发送参数，打包所述数据包发送参数生成控制部，组合所述控制部和原数据部生成新的待发送数据包，将其发送到原缓冲区或者发送到其他的缓冲区待发送。第二种后续处理方式只重新组合所述控制部和数据部生成待发送数据包，将其发送到原缓冲区或者发送到其他的缓冲区待发送，也即只调整级别和处理的顺序；等等。

Claims

1.一种待发送数据的处理方法，其特征在于包括：

2.根据权利要求1所述的待发送数据的处理方法，其特征在于：

按照信道发送速率和/或故障率和/或故障类型和/或故障程度判断所述信道条件。

3.根据权利要求1或2所述的待发送数据的处理方法，其特征在于：

所述数据包发送参数包括数据包大小和/或校验码和/或压缩方式和/或压缩率和/或数据传输波特率。

4.根据权利要求3所述的待发送数据的处理方法，其特征在于还包括：

5.一种发送数据的方法，其特征在于包括：

6.根据权利要求5所述的发送数据的方法，其特征在于：

定时，或者按照控制部参数的指示在特定的时间，或者根据数据接收端的响应判断发送状态是否达到标准。

7.根据权利要求6所述的发送数据的方法，其特征在于：

所述后续的数据包处理包括：重新组合所述控制部和数据部生成待发送数据包，将其发送到原缓冲区或者发送到其他的缓冲区待发送；或者，按照所述信道条件重新设置数据包发送参数，打包所述数据包发送参数生成控制部，组合所述控制部和原数据部生成新的待发送数据包，将其发送到原缓冲区或者发送到其他的缓冲区待发送。