JP2007065828A - Communication data compression method - Google Patents
Communication data compression method Download PDFInfo
- Publication number
- JP2007065828A JP2007065828A JP2005248859A JP2005248859A JP2007065828A JP 2007065828 A JP2007065828 A JP 2007065828A JP 2005248859 A JP2005248859 A JP 2005248859A JP 2005248859 A JP2005248859 A JP 2005248859A JP 2007065828 A JP2007065828 A JP 2007065828A
- Authority
- JP
- Japan
- Prior art keywords
- data
- communication
- compression
- communication device
- transmission
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004891 communication Methods 0.000 title claims abstract description 151
- 238000000034 method Methods 0.000 title claims abstract description 88
- 238000013144 data compression Methods 0.000 title claims abstract description 13
- 238000007906 compression Methods 0.000 claims abstract description 88
- 230000006835 compression Effects 0.000 claims abstract description 84
- 238000012546 transfer Methods 0.000 claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000005540 biological transmission Effects 0.000 claims description 44
- 239000000872 buffer Substances 0.000 claims description 22
- 238000011161 development Methods 0.000 abstract 2
- 238000010586 diagram Methods 0.000 description 6
- 238000013467 fragmentation Methods 0.000 description 3
- 238000006062 fragmentation reaction Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000011094 buffer selection Methods 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
本発明は、イーサーネットなどの標準的な通信機器に接続された端末がTCP/IPなどの標準的な通信プロトコルをもちいて通信するローカルエリアネットワークにおける通信データ圧縮に関するものである。 The present invention relates to communication data compression in a local area network in which a terminal connected to a standard communication device such as Ethernet communicates using a standard communication protocol such as TCP / IP.
事務所内の端末接続網や、複数端末を用いて並列計算を行うクラスタコンピュータの内部接続網などのような狭い範囲での端末間のデータ交換手段としてローカルエリアネットワークが組まれ利用されている。ローカルエリアネットワークでは、端末同士で作成したデータを交換することにより、共通のデータを共有したり、コピーを作成するなどし、情報の共有を図り、フレキシブルディスクやCD-ROMといった物理的な媒体の移動を行うことなく、目的とする作業を遂行することが可能になる。このような利用形態となるローカルエリアネットワークには端末のオペレーティングシステムが含有するTCP/IPなどの標準化された通信データ交換手順とイーサーネットのような通信機器制御手順と、さらに、通信機器は通信網の通信手順をもつ。実際に端末を利用する際には、これらの詳細な手順は通信データ交換手順の標準化されたインタフェースを介して行われるため、どのようなアプリケーションであっても利用者はそれらの手順を意識することなく、他の端末へのデータ移動を通信網を介して行うことができる。 A local area network is built and used as a means for exchanging data between terminals in a narrow range such as a terminal connection network in an office or an internal connection network of a cluster computer that performs parallel computation using a plurality of terminals. In a local area network, by sharing data created between terminals, you can share common data, create copies, etc., share information, and use physical media such as flexible disks and CD-ROMs. It is possible to perform the intended work without moving. The local area network that is used in this manner includes a standardized communication data exchange procedure such as TCP / IP included in the terminal operating system, a communication device control procedure such as Ethernet, and the communication device includes a communication network. The communication procedure is as follows. When actually using a terminal, these detailed procedures are performed through a standardized interface for communication data exchange procedures, so the user should be aware of these procedures in any application. In addition, data movement to other terminals can be performed via the communication network.
前記ローカルエリアネットワークにおいて、通信データを圧縮することにより、端末間の通信量を減らすという方法が用いられる。この試みでは、通信プロトコルの標準化されたインタフェースに送信データを渡す前に圧縮処理を行い、受信側でも、そのインタフェースから受け取ったデータを展開することで、物理的な通信網で交換される通信データ量を減らし、ローカルエリアネットワークの利用効率を上げている。 In the local area network, a method of reducing communication traffic between terminals by compressing communication data is used. In this attempt, communication data exchanged in the physical communication network is performed by compressing the transmission data before passing it to the standardized interface of the communication protocol and expanding the data received from the interface on the receiving side. The amount is reduced and the use efficiency of the local area network is increased.
しかしながら、標準化された通信データ交換手順のインタフェースよりも上位での圧縮処理は、端末で動作するアプリケーションで対応することになり、それぞれのアプリケーションプログラムごとに圧縮装置を設けなければならない。すなわち、端末利用者は、通信データが圧縮されているアプリケーションプログラムであることを事前に確認した上で利用しないと、通信データは圧縮されないまま、通信網へと送出されてしまうため、通信網の利用効率は改善できない。 However, compression processing at a higher level than the interface of the standardized communication data exchange procedure is handled by an application operating on the terminal, and a compression device must be provided for each application program. That is, if the terminal user does not use the communication data after confirming that the communication data is a compressed application program, the communication data is sent to the communication network without being compressed. Usage efficiency cannot be improved.
そこで、本発明の目的は、利用者がいかなるアプリケーションプログラムを用いても、さらに、そのアプリケーションプログラムがいかなる標準化された通信データ交換手順のインタフェースを利用した通信を行っても、圧縮された通信データを通信網を用いて端末間で交換させる方法を提供することである。 Therefore, an object of the present invention is to provide compressed communication data regardless of which application program is used by the user, and even when the application program performs communication using any standardized communication data exchange procedure interface. It is to provide a method of exchanging between terminals using a communication network.
本発明は、前記課題を解決するための手段として、端末に装備される通信データ交換手順と、通信機器制御手順と、通信機器に加え、圧縮装置を装備し、通信データ交換手順が通信機器制御手順に通信データを渡す前に、その通信データの特性に適合する圧縮アルゴリズムを、その圧縮装置が用いて圧縮処理を行い、さらにその際には、圧縮された通信データと、圧縮されていない通信データとの比較を行い、小さいほうの通信データを通信機器制御手順を介し通信機器へと渡すことを特徴とする。 The present invention provides, as means for solving the above-mentioned problems, a communication data exchange procedure provided in a terminal, a communication device control procedure, a communication device, in addition to a compression device, and the communication data exchange procedure is a communication device control. Before passing the communication data to the procedure, the compression device uses the compression algorithm that matches the characteristics of the communication data to perform compression processing. In this case, the compressed communication data and uncompressed communication are used. The comparison is made with data, and the smaller communication data is passed to the communication device via the communication device control procedure.
本発明によれば、通信データ交換手順が通信機器制御手順へ送信データの転送時、または、通信機器制御手順からの受信データ受信時においては、通信データ交換手順がおこなう通信に関わるデータ本体が交換されるため、通信データ交換手順と通信機器制御手順の一切の手順とはまったく関係のないデータとして扱うことができるため、圧縮装置によってすべてのデータを圧縮することが可能であり、さらに、通信データ交換手順の標準化されたインタフェースにより、この圧縮処理が暗に実行されるため、端末におけるいかなるアプリケーションからも機能の変更・追加なしに端末間での圧縮付き通信をおこなうことができる。 According to the present invention, when the communication data exchange procedure transfers the transmission data to the communication device control procedure or when the reception data is received from the communication device control procedure, the data body related to the communication performed by the communication data exchange procedure is exchanged. Therefore, the communication data exchange procedure and the communication device control procedure can be handled as data that has nothing to do with it, so that all data can be compressed by the compression device, and the communication data Since this compression processing is executed implicitly by the standardized interface of the exchange procedure, communication with compression between terminals can be performed from any application in the terminals without changing or adding functions.
また、本発明によれば、通信データの特性により適合する圧縮アルゴリズムは異なるため、その圧縮装置は通信データの圧縮処理の前に複数の圧縮アルゴリズムの中から、端末利用者が選択した圧縮アルゴリズムが選択される。 In addition, according to the present invention, the compression algorithm to be adapted differs depending on the characteristics of the communication data. Therefore, the compression apparatus selects a compression algorithm selected by the terminal user from a plurality of compression algorithms before the communication data compression process. Selected.
さらに、圧縮されるデータの特性によっては、圧縮処理の後のデータサイズが大きくなる場合があるが、圧縮された通信データと圧縮する前の通信データのそれぞれのサイズを比較し、小さいサイズのほうを送ることで、圧縮処理におけるデータサイズの肥大化をさけることができる。 Furthermore, depending on the characteristics of the data to be compressed, the data size after the compression process may increase. Compare the size of the compressed communication data with the communication data before compression. By sending, it is possible to avoid an increase in the data size in the compression process.
以下、本発明に係る実施形態を添付図面に従って説明する。 Embodiments according to the present invention will be described below with reference to the accompanying drawings.
図1は、本発明における圧縮処理が端末側で実施される場合のブロック図である。図のように端末1にはアプリケーション2が標準化されたインタフェース3(バークレー・ソケットインタフェースなど)を介して、通信データ交換手順4(たとえばTCP)に接続されている。
FIG. 1 is a block diagram when the compression processing according to the present invention is performed on the terminal side. As shown in the figure, an
通信データ交換手順4は圧縮装置5(LZWやRLEなどの複数の圧縮アルゴリズムを含む)へ接続され、送受信データと制御情報の交換を行う。
The communication
圧縮装置5には圧縮前のデータを格納する非圧縮データ用バッファ6と、圧縮後のデータを格納する圧縮データ用バッファ7があり、圧縮していないデータと圧縮されたデータをそれぞれ格納する。通信機器制御手順9(たとえば、デバイスドライバ)は圧縮装置5の送信データセレクタ8に接続される。通信機器10(たとえばイーサーネット)は通信網11に接続され、他の端末に接続された通信機器との間でデータ交換を行う。
The
このように構成されたこの発明の通信データ圧縮方法の動作について、説明する。 The operation of the communication data compression method of the present invention configured as described above will be described.
端末の利用者がアプリケーション2を利用し、他の端末へのアクセスを試みた際には、アプリケーション2から送信されるデータが、標準化されたインタフェース3を介して、その下位層にある通信データ交換手順4に渡される。
When the user of the terminal uses the
通信データ交換手順4では、TCPのようにフラグメンテーションや通信エラー検出用のCRCチェックサムの生成などを行い、そのデータフォーマットに沿った送信データ列を作成する。
In the communication
そのデータ列は、圧縮装置5に転送され、圧縮が行われる。圧縮装置5における圧縮アルゴリズムは端末の利用者が事前に通信データの特性に適合すると判断されたものが複数の圧縮アルゴリズムの中から選択されている。
The data string is transferred to the
この際に、圧縮されるまえの送信データを非圧縮データバッファ6に格納しておき、圧縮処理の後のデータを圧縮データ用バッファ7に格納して、それぞれの大きさを送信データセレクタ8で比較し、小さいほうのデータが通信機器制御手順9へと転送される。
At this time, the transmission data before being compressed is stored in the
本実施例の場合、通信機器転送手順9は、端末側にデバイスドライバとして実装されているものとする。 In the case of the present embodiment, it is assumed that the communication device transfer procedure 9 is implemented as a device driver on the terminal side.
送信データセレクタ8で選択されたデータは通信機器10に転送され、通信機器10で規定された手順で通信網11へと送信データを送出し、アプリケーション2により決定されている受信者の通信機器へのデータ転送を試みる。
The data selected by the
ここで、従来の圧縮方法と異なり、アプリケーション2は、標準化されたインタフェース3へとデータを渡す前に圧縮処理を行わなくても、その標準インタフェースを従来通り使用することで通信データを圧縮することが可能になる。
Here, unlike the conventional compression method, the
図2は、本発明の圧縮処理が、端末の外側で実施される場合のブロック図である。 FIG. 2 is a block diagram when the compression processing of the present invention is performed outside the terminal.
端末1にはアプリケーション2が標準化されたインタフェース3(バークレー・ソケットインタフェースなど)を介して、通信データ交換手順4(たとえばTCP)に接続されている。
An
通信データ交換手順4は圧縮装置6(LZWやRLEなど複数の圧縮アルゴリズムを含む)に接続され、送信データを交換し、さらに通信機器制御手順5へも接続され、制御情報の交換を行う。
The communication
圧縮装置6は端末1の外側に実装されており、圧縮前のデータを非圧縮データ用バッファ8と圧縮後のデータを圧縮データ用バッファ9にそれぞれ格納する。
The
さらに、圧縮装置6には、端末の外側に用意されたデータ転送機能(たとえば、PCIバスに接続されたデバイスのDMA機能)(非図示)を含んでいる。
Further, the
通信機器7は通信網11に接続され、他の端末に接続された通信機器との間でデータ交換を行う。
The
このように構成されたこの発明の通信データ圧縮方法の動作について、説明する。 The operation of the communication data compression method of the present invention configured as described above will be described.
端末1の利用者がアプリケーション2を利用し、他の端末へのアクセスを試みた際には、アプリケーション2から送信されるデータが、標準化されたインタフェース3を介して、その下位層にある通信データ交換手順4に渡される。
When the user of the
通信データ交換手順4では、TCPのようにフラグメンテーションや通信エラー検出用のCRCチェックサムの生成などを行い、そのデータフォーマットに沿ったデータ列を作成する。
In the communication
そのデータ列は、圧縮装置6に転送され、圧縮が行われる。この際に、圧縮されるまえの送信データを非圧縮データバッファ8に格納しておき、圧縮処理の後のデータを圧縮データ用バッファ9に格納して、それぞれの大きさをデータセレクタ10で比較し、小さいほうのデータが通信機器7から通信網11に送出される。
The data string is transferred to the
このように、通信データ交換手順4が圧縮装置6に送信データを転送するために圧縮装置6に内蔵するデータ転送機能を用い、送信データを圧縮装置6を介して通信機器7に転送するとき、圧縮装置6は圧縮データ用バッファ9・非圧縮データ用バッファ8へのデータ格納作業と圧縮装置6での圧縮処理を、データ転送機能での転送操作と同時に実行することで、圧縮装置6の処理時間を隠蔽することが可能になる。
As described above, when the communication
この際に圧縮装置6の圧縮アルゴリズムは、送信データの圧縮処理が行われる前に、端末の利用者により圧縮装置6に実装されている複数の圧縮アルゴリズムから1つ選択され、適用される。
At this time, the compression algorithm of the
本実施例の場合、端末側の通信機器転送手順は、一般的に、デバイスドライバとして提供されており、通信機器7を制御する。
In the case of the present embodiment, the communication device transfer procedure on the terminal side is generally provided as a device driver and controls the
データセレクタ10で選択されたデータは通信機器7に転送され、通信機器7で規定された手順で通信網11へと送信データを送出し、アプリケーション2が決定している受信者の通信機器へのデータ転送を試みる。
The data selected by the
ここで、実施例1と異なる点として、圧縮とバッファ選択が通信機器側で行われるため、端末側から通信機器側へ送信データが転送されると、それに並行して、圧縮処理を行うことができる。 Here, as a difference from the first embodiment, since compression and buffer selection are performed on the communication device side, when transmission data is transferred from the terminal side to the communication device side, compression processing may be performed in parallel therewith. it can.
以上から、本実施例では、従来の圧縮方法と異なり、アプリケーション2は、標準化されたインタフェース3へとデータを渡す前に圧縮処理を行わなくても、その標準インタフェースを従来通り使用することで通信データを圧縮することが可能になる。
From the above, in this embodiment, unlike the conventional compression method, the
図3は、本発明の圧縮処理における、複数の圧縮アルゴリズムを送信データに対して適用し、その圧縮処理の後に、データを選択する手段が、端末の外側で実施される場合のブロック図である。 FIG. 3 is a block diagram when a plurality of compression algorithms are applied to transmission data in the compression processing of the present invention, and the means for selecting data after the compression processing is implemented outside the terminal. .
端末1にはアプリケーション2が標準化されたインタフェース3(バークレー・ソケットインタフェースなど)を介して、通信データ交換手順4(たとえばTCP)に接続されている。
An
通信データ交換手順4は圧縮装置6(LZWやRLEなど複数の圧縮アルゴリズムを含む)に接続され、送信データを交換し、さらに通信機器制御手順5へも接続され、制御情報の交換を行う。
The communication
圧縮装置6は端末1の外側に実装されており、圧縮前のデータを非圧縮データ用バッファ8と複数の圧縮アルゴリズムによる圧縮後のデータを圧縮データ用バッファ9−1から9−4にそれぞれ格納する。
The
さらに、圧縮装置6には、端末の外側に用意されたデータ転送機能(たとえば、PCIバスに接続されたデバイスのDMA機能)(非図示)を含んでおり、圧縮装置6に含まれるすべての圧縮アルゴリズムがその転送されるデータを同時に受け付けることが可能になっている。
Further, the
通信機器7は通信網11に接続され、他の端末に接続された通信機器との間でデータ交換を行う。
The
このように構成されたこの発明の通信データ圧縮方法の動作について、説明する。 The operation of the communication data compression method of the present invention configured as described above will be described.
端末1の利用者がアプリケーション2を利用し、他の端末へのアクセスを試みた際には、アプリケーション2から送信されるデータが、標準化されたインタフェース3を介して、その下位層にある通信データ交換手順4に渡される。
When the user of the
通信データ交換手順4では、TCPのようにフラグメンテーションや通信エラー検出用のCRCチェックサムの生成などを行い、そのデータフォーマットに沿ったデータ列を作成する。
In the communication
そのデータ列は、圧縮装置6に転送され、すべての圧縮アルゴリズム(この実施例では4つのアルゴリズムがあるとする)に関して別々に圧縮が行われ、それぞれ、対応する圧縮データ用バッファ9−1から9−4へと圧縮されたデータが格納される。この際に、圧縮されるまえの送信データを非圧縮データバッファ8に格納しておき、圧縮データ用バッファ9−1から9−4のデータサイズをデータセレクタ10で比較し、最も小さいものを選択し、そのバッファに含まれるデータが通信機器7から通信網11に送出される。
The data string is transferred to the
このように、通信データ交換手順4が圧縮装置6に送信データを転送するために圧縮装置6に内蔵するデータ転送機能を用い、送信データを圧縮装置6を介して通信機器7に転送するとき、圧縮装置6は圧縮データ用バッファ9−1から9−4・非圧縮データ用バッファ8へのデータ格納作業と圧縮装置6での圧縮処理を、データ転送機能での転送操作と同時に実行することで、圧縮装置6の処理時間を隠蔽することが可能になる。
As described above, when the communication
本実施例の場合、端末側の通信機器制御手順5は、一般的に、デバイスドライバとして提供されており、通信機器7を制御する。
In the case of this embodiment, the communication
データセレクタ10で選択されたデータは通信機器7に転送され、通信機器7で規定された手順で通信網11へと送信データを送出し、アプリケーション2が決定している受信者の通信機器へのデータ転送を試みる。
The data selected by the
以上から、圧縮装置6の圧縮アルゴリズムのすべてが送信データに対して実行され、データサイズが最も小さくなるものをデータセレクタで選択することで、通信網に送出されるデータサイズを可能な限り小さくすることが可能になる。
As described above, all the compression algorithms of the
電子書類やマルチメディアデータなどを扱い、ネットワークに接続された端末利用を主とする産業分野でのオフィスネットワークにおける通信網、および、複数の端末がネットワークに接続され、並列計算を行うクラスタコンピュータにおける通信網の利用効率を増大させるソフトウェアおよびハードウェアの提供。 Communication in an industrial office network that handles electronic documents, multimedia data, etc., and mainly uses terminals connected to the network, and communications in cluster computers that perform parallel computation with multiple terminals connected to the network Providing software and hardware that increase network usage efficiency.
Claims (4)
A communication network controlled by a terminal, a data exchange procedure used by the application executed on the terminal for data transmission, a communication device control procedure for data transmission after the data exchange procedure, and the communication device control procedure A communication device connected to the communication device, and a compression device that performs data compression between the data exchange procedure and the communication device control procedure, and all the transmission data that the data exchange procedure transfers to the communication device control procedure A communication method characterized by compressing and transferring to the communication device control procedure.
A communication network controlled by a terminal, a data exchange procedure used by the application executed on the terminal for data transmission, a communication device control procedure for data transmission after the data exchange procedure, and the communication device control procedure And a compression device that compresses data between the data exchange procedure and the communication device control procedure, and compresses when transmitting data from the data exchange procedure to the communication device control procedure. When the size of the compressed transmission data held in the compressed data buffer is smaller than the transmission data not compressed in the compressed data buffer, the compressed transmission data is selected by the data selector and compressed. If the transmission data size is larger than the uncompressed transmission data, the data selector uses the uncompressed transmission data. Selected, to the communication device, communication method according to claim 1, characterized in that pass the selected transmission data.
A communication network controlled by a terminal, a data exchange procedure used by the application executed on the terminal for data transmission, a communication device control procedure for data transmission after the data exchange procedure, and the communication device control procedure In the compression device that performs data compression between the communication device connected to the data exchange procedure and the communication device control procedure, a plurality of data compression algorithms are implemented, and before the transmission data is compressed, 3. The communication method according to claim 1, wherein one compression algorithm used for compressing the transmission data is selected, and the transmission data is compressed by the selected compression algorithm.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005248859A JP2007065828A (en) | 2005-08-30 | 2005-08-30 | Communication data compression method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005248859A JP2007065828A (en) | 2005-08-30 | 2005-08-30 | Communication data compression method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007065828A true JP2007065828A (en) | 2007-03-15 |
Family
ID=37927996
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005248859A Pending JP2007065828A (en) | 2005-08-30 | 2005-08-30 | Communication data compression method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007065828A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009087343A (en) * | 2007-09-28 | 2009-04-23 | Arm Ltd | Technique for generating trace stream for data processing apparatus |
-
2005
- 2005-08-30 JP JP2005248859A patent/JP2007065828A/en active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009087343A (en) * | 2007-09-28 | 2009-04-23 | Arm Ltd | Technique for generating trace stream for data processing apparatus |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7029471B2 (en) | Uplink data decompression, compression method and equipment | |
US8176187B2 (en) | Method, system, and program for enabling communication between nodes | |
US7966380B2 (en) | Method, system, and program for forwarding messages between nodes | |
US7185114B1 (en) | Virtual memory systems and methods | |
US20080304481A1 (en) | System and Method of Offloading Protocol Functions | |
US7106733B2 (en) | Method and apparatus for network header compression | |
US7009967B1 (en) | Systems and methods for transmitting data packets | |
US7551638B2 (en) | Network interface with transmit frame descriptor reuse | |
CN101160999B (en) | Method and apparatus to minimize interference among co-located multiple wireless devices | |
CN102792638B (en) | Network controller circuitry to issue at least one portion of packet payload to device in manner that by-passes communication protocol stack involvement | |
WO2021036189A1 (en) | Rdma data sending and receiving methods, electronic device and readable storage medium | |
CN106788916A (en) | Data transmission method and data transmission device for bus | |
JP2007065828A (en) | Communication data compression method | |
JP4990304B2 (en) | Frame transmitting / receiving apparatus and communication data processing method | |
CN104426866A (en) | Data transmission method and apparatus | |
WO2009125664A1 (en) | Communication protocol processing circuit, communication protocol processing method, and communication terminal | |
CN105991629A (en) | TCP (transmission control protocol) connection establishment method and device | |
JP4191473B2 (en) | Computer with wireless communication function | |
CN119341691A (en) | Data transmission method, device, electronic device, chip, storage medium and computer program product | |
JP4456556B2 (en) | Network equipment | |
JP2000253098A (en) | Signal processing device and signal processing system | |
CN119182764A (en) | Server, remote management method of server, program product and medium | |
US20060010273A1 (en) | CAM-less command context implementation | |
CN116156018A (en) | Data transmission method and related equipment | |
CN115484319A (en) | Network communication method, system, terminal device and computer storage medium |