RU2530351C2 - Method of context creation for measurement data compression and measurement method - Google Patents
Method of context creation for measurement data compression and measurement method Download PDFInfo
- Publication number
- RU2530351C2 RU2530351C2 RU2012116106/08A RU2012116106A RU2530351C2 RU 2530351 C2 RU2530351 C2 RU 2530351C2 RU 2012116106/08 A RU2012116106/08 A RU 2012116106/08A RU 2012116106 A RU2012116106 A RU 2012116106A RU 2530351 C2 RU2530351 C2 RU 2530351C2
- Authority
- RU
- Russia
- Prior art keywords
- data
- measurement
- compression
- parameters
- measurements
- Prior art date
Links
Images
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
Description
Область техникиTechnical field
Изобретение относится к способам создания контекста, телеметрии и сжатию данных и может найти свое применение при трансляции данных измерений, например, с космических аппаратов, в системах контроля и мониторинга, при проведении измерений в труднодоступных местах, а также при хранении измерительных данных, например, в черных ящиках самолетов и судов.The invention relates to methods for creating context, telemetry and data compression and can find its application in the transmission of measurement data, for example, from spacecraft, in control and monitoring systems, when measuring in hard-to-reach places, and also when storing measurement data, for example, black boxes of aircraft and ships.
Описание уровня техникиDescription of the prior art
Существует многообразие задач контроля, мониторинга и проведения удаленных измерений посредством датчиков и/или измерительных комплексов, а также известны задачи долговременного хранения данных таких измерений на запоминающих устройствах, в том числе устройствах повышенной надежности. Организация такого рода измерительных систем и устройств для хранения данных во многих случаях сталкивается с ограничениями, связанными с объемами и/или скоростью передачи данных между измерительными и принимающими устройствами, либо с ограничениями объема предоставляемого для хранения данных. Такие ограничения, в свою очередь, приводят к необходимости предварительного сжатия измерительных данных перед их передачей или сохранением.There are a variety of tasks to control, monitor and conduct remote measurements by means of sensors and / or measuring systems, and the tasks of long-term storage of data of such measurements on storage devices, including devices of increased reliability, are also known. The organization of such measuring systems and devices for data storage in many cases is faced with restrictions related to the volume and / or speed of data transfer between the measuring and receiving devices, or with the limitations of the volume provided for data storage. Such limitations, in turn, lead to the need for preliminary compression of the measurement data before transmission or storage.
Известны способы сжатия данных, основанные на словарных, например семейство алгоритмов Лемпела-Зива (Ziv J. and LempelA. 1977. A universal algorithms for sequental data compression. IEEE Trans. Inf. Theory IT-23, 3, 3 (May), 337-343 [1]) или вероятностных, например алгоритмы Хаффмана (Huffman D.A. А method for the construction of minimum redundancy codes. In Proceeding of the Institute of Electrical and Radio Engineers. 40 Sept. 1952, стр.1098-1101 [2]) и арифметического кодирования (Langdon G.G. An introduction to arithmetic coding. IBM J.Res.Dev. 28 Mart 1984, 135-149 [3]), методах вычисления замещающего кода. Однако без учета специфики и/или энтропии сжимаемой информации эти способы предполагают относительно невысокий эффект сжатия. Известны способы повышения эффективности сжатия данных способами [1-3] посредством применения универсальных контекстных и адаптивных моделей данных и/или применения предварительных, например, частично-сортирующих, преобразований данных, однако по сравнению с учитывающими специфику сжимаемой информации контекстными моделями такие способы либо дают меньший эффект сжатия, либо приводят к ограничениям, связанным с дополнительными затратами при кодировании. Таким образом, проблема быстрого сжатия данных с высоким коэффициентом сводится к созданию контекстных моделей данных, учитывающих специфику сжимаемой информации.Known dictionary-based data compression methods, for example, the Lempel-Ziv family of algorithms (Ziv J. and LempelA. 1977. A universal algorithms for sequential data compression. IEEE Trans. Inf. Theory IT-23, 3, 3 (May), 337 -343 [1]) or probabilistic, for example, Huffman DA (Huffman DA A method for the construction of minimum redundancy codes. In Proceeding of the Institute of Electrical and Radio Engineers. 40 Sept. 1952, pp. 1098-1101 [2]) and arithmetic coding (Langdon GG An introduction to arithmetic coding. IBM J.Res.Dev. 28 Mart 1984, 135-149 [3]), methods for computing the replacement code. However, without taking into account the specificity and / or entropy of the compressible information, these methods assume a relatively low compression effect. Known methods for increasing the efficiency of data compression by methods [1-3] through the use of universal contextual and adaptive data models and / or the use of preliminary, for example, partially sorting, data transformations, however, in comparison with contextual models that compress the information, such methods either give less compression effect, or lead to restrictions associated with additional coding costs. Thus, the problem of fast compression of data with a high coefficient is reduced to the creation of contextual data models that take into account the specifics of the compressible information.
Известны способы сжатия данных, предназначенные для сжатия измерительной информации конкретного вида, учитывающие специфику и предлагающие высокую степень сжатия для измерительных данных соответствующих этой специфике, например многопроходный способ сжатия данных виброизмерений, патент RU №2071123 [4]. Недостатком данного рода способов для решения реальных задач ограничения данных при проведении измерений обычно является их строгая специализация на составе и виде проводимых измерений, что, в свою очередь, приводит к сложностям при необходимости сжатия большого количества параметров разнородного поведения.Known methods of data compression designed to compress measuring information of a particular type, taking into account the specifics and offering a high degree of compression for the measurement data corresponding to this specificity, for example, the multi-pass method for compressing vibration data, patent RU No. 2071123 [4]. The disadvantage of this kind of methods for solving real problems of data limitation during measurements is usually their strict specialization in the composition and type of measurements, which, in turn, leads to difficulties when it is necessary to compress a large number of parameters of heterogeneous behavior.
Перечисленные способы сжатия данных [1-4], включая способы повышения их эффективности, направлены на решение той же задачи ограничения количества данных (замену данных кодом меньшей длины), что и заявленное изобретение, поэтому, в некотором смысле, эти способы являются его аналогами. Заявленные способы, однако, не являются, по своей сути, способами сжатия данных и не накладывают ограничений на применение каких-либо способов сжатия данных при своем осуществлении, а только определяют порядок их применения, включая порядок применения способов повышения их эффективности (прогнозирования и снижения энтропии) для задачи ограничения количества данных при проведении измерений. Таким подходом обеспечивается универсальность сжатия для большого набора измеряемых параметров различного поведения.The listed methods of data compression [1-4], including methods for increasing their efficiency, are aimed at solving the same problem of limiting the amount of data (replacing data with a code of shorter length) as the claimed invention, therefore, in a sense, these methods are its analogues. The claimed methods, however, are not, in essence, methods of data compression and do not impose restrictions on the use of any data compression methods in their implementation, but only determine the order of their application, including the order of application of methods to increase their efficiency (forecasting and reducing entropy ) for the task of limiting the amount of data during measurements. This approach provides universality of compression for a large set of measured parameters of various behaviors.
Существенным также является отличие между задачей создания контекста для сжатия данных и задачей проведения измерений, из которых первая направлена, в основном, на достижение максимальной степени сжатия с минимальными потерями или без потерь информации, уменьшение количества данных при их передаче и/или хранении, адаптацию к форматам и/или условиям среды передачи. Задача же проведения измерений направлена на обеспечение достаточности данных, получаемых в результате измерений, для осуществления целей их проведения, выбор методики измерений и состава датчиков, определение состава и порядка проведения измерений, установления диапазонов возможных значений измеряемых параметров и т.п. Исходя из этих различий мы представляем свое техническое решение для задачи ограничения количества данных при проведении измерений как группу из двух изобретений - способ создания контекста для сжатия измерительных данных и способ проведения измерений, для каждого из которых также имеются известные аналоги, при этом единство изобретательского замысла обеспечивается использованием первого вторым. Большинство этих аналогов, однако, имеют мало общего с заявленными способами: способы создания контекста, обычно, направлены на оптимизацию использования среды передачи данных, а способы проведения измерений, преимущественно, описывают конкретные измерительные задачи. Поэтому мы приведем только по одному, наиболее близкому, аналогу для заявленных способов создания контекста для сжатия измерительных данных и проведения измерений соответственно.Also significant is the difference between the task of creating a context for data compression and the task of taking measurements, the first of which is aimed mainly at achieving the maximum compression ratio with minimal or no loss of information, reducing the amount of data transferred and / or storing, adapting to formats and / or conditions of the transmission medium. The task of the measurements is aimed at ensuring the sufficiency of the data obtained as a result of the measurements for the implementation of the purposes of their measurement, the choice of the measurement methodology and the composition of the sensors, determining the composition and order of measurements, establishing ranges of possible values of the measured parameters, etc. Based on these differences, we present our technical solution to the problem of limiting the amount of data during measurements as a group of two inventions - a way to create a context for compressing measurement data and a method for taking measurements, each of which also has well-known analogues, while the unity of the inventive concept is ensured using the first second. Most of these analogues, however, have little in common with the claimed methods: methods for creating a context are usually aimed at optimizing the use of a data transmission medium, and methods for carrying out measurements mainly describe specific measurement tasks. Therefore, we give only one, the closest, analogue for the claimed methods of creating a context for compressing measurement data and taking measurements, respectively.
Известен способ и система создания контекста для сжатия сообщений в беспроводной связи, патент RU №2273091 [5], найденный авторами наиболее близким к заявленному способу создания контекста для сжатия измерительных данных (прототипом). Также как и заявленный способ, способ и система [5] направлены на создание контекста для сжатия данных и его существенными признаками, присущими заявленному способу, являются синхронизация и постоянное хранение информации, характерной для конкретных устройств, которая используется при кодировании (компрессии) и декодировании (декомпрессии) транслируемых данных (сообщений). Однако в соответствии со способом и системой [5] состав и вид информации, используемой для кодирования и декодирования, не содержит специфики, присущей задаче проведения измерений, что, в свою очередь, не позволяет обеспечить в достаточной мере эффективную передачу измерительной информации с использованием способа и системы [5] в чистом виде. Заметим, что заявленный способ создания контекста для сжатия измерительной информации может быть использован не только для обеспечения беспроводной связи, например предполагается возможность его использования для хранения в сжатом виде архивов измерительной информации, при этом характерные существенные признаки, общие для заявленного способа и способа и системы [5], сохраняются.The known method and system for creating a context for compressing messages in wireless communication, patent RU No. 2273091 [5], found by the authors closest to the claimed method of creating a context for compressing measurement data (prototype). As well as the claimed method, the method and system [5] are aimed at creating a context for data compression and its essential features inherent in the claimed method are synchronization and permanent storage of information specific to specific devices, which is used for encoding (compression) and decoding ( decompression) of transmitted data (messages). However, in accordance with the method and system [5], the composition and type of information used for encoding and decoding does not contain the specificity inherent in the measurement task, which, in turn, does not allow for sufficiently effective transmission of measurement information using the method and system [5] in its purest form. Note that the claimed method of creating a context for compressing measurement information can be used not only to provide wireless communications, for example, it is assumed that it can be used to store compressed archives of measurement information, while characteristic essential features common to the claimed method and method and system [ 5] are saved.
Известны способы и системы сжатия данных, патент RU №2371741 [6], найденные авторами наиболее близким аналогом к заявленному способу проведения измерений (прототипом). Существенными признаками способов и систем [6], присущими заявленному способу проведения измерений, являются: сжатее измерительных данных (перед передачей), использование при сжатии методов прогнозирования измерений, сжатие информации измерений с потерями и/или без потерь. Однако способы и системы [6] не предполагают создания универсального контекста для совместного кодирования и дальнейшей, при необходимости, передачи большого набора параметров, что в общем случае не позволяет с должной эффективностью осуществлять сжатие большого набора измерительных данных при непосредственном использовании этих способов и систем. Кроме того, в частных случаях применения заявленного способа проведения измерений возможно совместное формирование контекста сжатия, то есть прогнозирование и снижение энтропии измерительных данных одних параметров исходя из поведения других, что также является отличительным преимуществом заявленного способа проведения измерений по сравнению со способами и системами [6].Known methods and systems of data compression, patent RU No. 2371741 [6], found by the authors closest analogue to the claimed method of measurement (prototype). The essential features of the methods and systems [6] inherent in the claimed measurement method are: compressed measurement data (before transmission), use of compression methods for predicting measurements, compression of measurement information with loss and / or loss. However, the methods and systems [6] do not imply the creation of a universal context for joint coding and further, if necessary, transmission of a large set of parameters, which in the general case does not allow compression of a large set of measurement data with proper use when directly using these methods and systems. In addition, in special cases of application of the claimed measurement method, it is possible to jointly create a compression context, that is, forecasting and reducing the entropy of the measurement data of some parameters based on the behavior of others, which is also a distinctive advantage of the claimed measurement method in comparison with methods and systems [6] .
Отметим, что указанные отличия заявленных способов от найденных прототипов относятся к детализации контекстной модели данных проводимых измерений, а следовательно, в соответствии с общими, изложенными выше соображениями о применении методов сжатия направлены на повышение эффективности сжатия измерительных данных, то есть повышение коэффициентов сжатия и/или скорости кодирования.Note that the indicated differences between the claimed methods and the found prototypes relate to the refinement of the context model of the measurement data, and therefore, in accordance with the general considerations set forth above regarding the use of compression methods, they are aimed at increasing the compression efficiency of the measurement data, i.e., increasing compression ratios and / or coding rate.
Сущность изобретенияSUMMARY OF THE INVENTION
Настоящим изобретением предлагается универсальное решение для задачи ограничения данных при проведении измерений большого количества параметров разнородного поведения.The present invention provides a universal solution for the problem of data limitation when measuring a large number of parameters of heterogeneous behavior.
Изобретение предполагает создание контекста для сжатия измерительных данных, при котором постоянно хранят и синхронизируют между устройствами, осуществляющими кодирование и декодирование информацию, характерную для устройств, обеспечивающих измерения, то есть формирующих измерительную информацию или принимающих ее от других устройств, а также характерную для условий, в которых проводятся измерения. Более точно, между кодером и декодером хранят информацию, представляющую собой один или несколько связанных между собой массивов данных о параметрах измерений и один или несколько массивов данных о составе измерений. При этом в массивах данных о параметрах измерений определяют индексы для параметров измерений, обеспечиваемых на соответствующем устройстве, а также определяют для измерительных параметров методы и настройки методов прогнозирования и/или сжатия данных. В массивах данных о составе измерений, посредством индексов из массивов данных о параметрах измерений, хранят информацию о составе и порядке кодирования измерительных данных и вычисления ожидаемых значений в соответствии с циклами измерений, проводимых на соответствующем обеспечивающем измерения устройстве.The invention involves the creation of a context for the compression of measurement data, in which information that is specific to devices that provide measurements, that is, generates measurement information or receives from other devices, as well as characteristic conditions, is constantly stored and synchronized between devices that encode and decode. which are measured. More precisely, information is stored between the encoder and the decoder, which is one or more interconnected arrays of data about the measurement parameters and one or more arrays of data about the composition of the measurements. Moreover, in the data arrays of measurement parameters, the indices for the measurement parameters provided on the corresponding device are determined, and the methods and settings for predicting and / or data compression are determined for the measurement parameters. In the data arrays on the composition of measurements, by means of indices from the data arrays on the measurement parameters, information is stored on the composition and coding order of the measurement data and the calculation of the expected values in accordance with the measurement cycles carried out on the corresponding device providing the measurement.
В соответствии с одним из вариантов способа создания контекста для сжатия измерительных данных в массивах данных о параметрах измерений и/или в связанных с ними массивах данных дополнительно хранят текущие и/или стартовые ожидаемые значения для измерительных параметров устройств, при этом текущие ожидаемые значения формируют в процессе сжатия и извлечения раздельно (синхронно) на основе данных, уже прошедших кодирование или уже извлеченных из кода, соответственно, кодируют разности между реальными и ожидаемыми значениями измеряемых параметров, а при декодировании исходное значение вычисляют как сумму извлеченной разности и ожидаемого значения, стартовые же ожидаемые значения и методы вычисления текущих ожидаемых значений согласуют между кодером и декодером.In accordance with one embodiment of the method for creating a context for compressing measurement data, the current and / or starting expected values for the measurement parameters of the devices are additionally stored in the data arrays on the measurement parameters and / or in the associated data arrays, while the current expected values are generated in the process compression and extraction separately (synchronously) on the basis of data that has already been encoded or already extracted from the code, respectively, encode the difference between the real and expected values of the measured parameters, and when decoding the initial value is calculated as the sum of the extracted difference and the expected value, the starting expected values and methods for calculating the current expected values are agreed between the encoder and decoder.
Согласно одному из вариантов использования данного изобретения стартовые ожидаемые значения, в случае их использования, могут быть применены для создания ключа безопасности данных при передаче или хранении.According to one use case of the present invention, the starting expected values, if used, can be used to create a data security key during transmission or storage.
В соответствии принципами заявленного способа создания контекста для сжатия измерительных данных, с целью удобства и/или в зависимости от условий среды передачи закодированных данных, при кодировании с использованием вышеописанного контекста получаемый код делят на блоки, которые лимитируют по длине, времени измерений или количеству циклов измерений, закодированных в одном таком блоке.In accordance with the principles of the claimed method of creating a context for compressing measurement data, for the convenience and / or depending on the environment of the transmission of encoded data, when encoding using the above context, the resulting code is divided into blocks that limit the length, time of measurement, or the number of measurement cycles encoded in one such block.
В соответствии с принципами заявленного способа создания контекста для сжатия измерительных данных рекомендуется подход, при котором данные измерений кодируют без потерь, при этом потери информации для достижения более высоких коэффициентов сжатия определяют (и, посредством этого, контролируют) на этапе проведения измерений. Для этих целей изобретение включает в себя способ проведения измерений, при котором измерительные данные кодируют для ограничения объема и/или обеспечения безопасности измерительных данных. При этом порядок кодирования параметров измерений, а также применяемые для кодирования параметров измерений методы вычисления ожидаемых значений и методы сжатия определяют в соответствии контекстом, созданным вышеописанным способом создания контекста для сжатия измерительных данных.In accordance with the principles of the claimed method for creating a context for compressing measurement data, an approach is recommended in which the measurement data is encoded without loss, while information loss is determined (and thereby controlled) to achieve higher compression ratios at the measurement stage. For these purposes, the invention includes a measurement method in which the measurement data is encoded to limit the volume and / or ensure the safety of the measurement data. In this case, the encoding order of the measurement parameters, as well as the methods for calculating the expected values and compression methods used to encode the measurement parameters, are determined in accordance with the context created by the above-described method of creating a context for compressing the measurement data.
В рамках заявленного способа проведения измерений возможен вариант, при котором часть параметров перед кодированием дополнительно модулируют с целью уменьшения энтропии и, как следствие, повышения степени сжатия данных. Данный вариант использования изобретения обеспечивает контроль потери информации и достаточность измерительных данных для целей проведения измерений на этапе их проведения исходя из требуемой и/или реальной точности измерений для выбранной методики проведения измерений.In the framework of the claimed measurement method, a variant is possible in which some parameters are additionally modulated before encoding in order to reduce entropy and, as a result, increase the degree of data compression. This use case of the invention provides control of information loss and sufficiency of measurement data for the purpose of conducting measurements at the stage of their measurement based on the required and / or real measurement accuracy for the selected measurement procedure.
В качестве дополнительной возможности использования заявленного способа проведения измерений предлагается вариант, при котором снижение коэффициента сжатия (увеличение размера кода) используют для идентификации аномальных измерений и/или неисправностей.As an additional possibility of using the claimed measurement method, a variant is proposed in which a reduction in compression ratio (increase in code size) is used to identify abnormal measurements and / or malfunctions.
Целью заявленных способов создания контекста для сжатия измерительных данных и проведения измерений является ограничение количества данных для передачи и/или хранении при проведении измерений. Техническим результатом, в общем случае (то есть при заранее неопределенных частных вариантах использования и применяемых методах сжатия данных), предполагается расширение набора технических средств, используемых для ограничения количества и/или обеспечения безопасности измерительной информации. Представленный технический результат в соответствии с Регламентом ИЗ требует подтверждения реализуемости заявленных способов, поэтому при описании осуществления изложено конструктивное доказательство возможности совместного использования этих способов.The purpose of the claimed methods of creating a context for compressing measurement data and making measurements is to limit the amount of data for transmission and / or storage during measurements. The technical result, in the General case (that is, with previously undefined private use cases and applied data compression methods), it is expected to expand the set of technical tools used to limit the quantity and / or ensure the safety of measurement information. The presented technical result in accordance with the Rules of Procedure requires confirmation of the feasibility of the claimed methods, therefore, when describing the implementation, constructive evidence is given of the possibility of sharing these methods.
Дополнительным техническим результатом заявленного способа создания контекста для сжатия измерительных данных в частных случаях его применения является повышение коэффициента сжатия и/или скорости кодирования измерительных данных. Результат достигается за счет достаточности способа создания контекста для прямого применения вероятностных методов кодирования; за счет минимизации количества информации, необходимой для передачи данных о составе и порядке извлечения из кода параметров измерений (особенно эффективно при большом количестве измеряемых параметров); за счет возможности перекрестного прогнозирования параметров, где под перекрестным прогнозированием параметров понимается предсказание поведения, по меньшей мере, одного параметра, на основе предшествующих значений одного или нескольких параметров, то есть уже прошедших кодирование или уже извлеченных из кода на кодере и на декодере соответственно.An additional technical result of the claimed method of creating a context for compressing measurement data in particular cases of its application is to increase the compression ratio and / or encoding speed of the measurement data. The result is achieved due to the sufficiency of the context creation method for the direct application of probabilistic coding methods; by minimizing the amount of information necessary to transmit data on the composition and procedure for extracting measurement parameters from the code (especially effective with a large number of measured parameters); due to the possibility of cross-prediction of parameters, where by cross-prediction of parameters is understood the prediction of the behavior of at least one parameter based on previous values of one or more parameters, that is, already encrypted or already extracted from the code on the encoder and on the decoder, respectively.
Актуальным примером применения заявленных способа создания контекста для сжатия измерительных данных и способа проведения измерений является получение информации широкого набора измерений с витка орбиты космических аппаратов (КА) негеостационарных орбит, большую часть времени проводящихся вне зоны видимости наземных пунктов приема информации.A relevant example of the application of the claimed method of creating a context for compressing measurement data and the method of measurement is to obtain information from a wide range of measurements from the orbit of spacecraft (SC) of non-geostationary orbits, most of the time spent out of sight of ground-based information receiving points.
Краткое описание чертежейBrief Description of the Drawings
Фиг.1 - Упрощенный пример схемы проведения измерений на КА для демонстрации осуществления изобретения.Figure 1 - A simplified example of a measurement scheme on a spacecraft to demonstrate the implementation of the invention.
Фиг.2 - Структура кадров, формируемых в соответствии с циклами измерений аппаратуры для примера измерительной схемы фиг.1.Figure 2 - The structure of the frames formed in accordance with the measurement cycles of the equipment for an example of a measuring circuit of figure 1.
Фиг.3 - Пример гистограммы разностей между соседними значениями однобайтовых символов, ее кусочно-линейная аппроксимация и коэффициенты параметризации вычисления интервалов вероятности для их кодирования арифметическим методом.Figure 3 - An example of a histogram of the differences between adjacent values of single-byte characters, its piecewise linear approximation and the coefficients of the parameterization of the calculation of the probability intervals for their encoding by the arithmetic method.
Фиг.4 - Общая структура массивов данных о параметрах измерений и массивов данных о составе измерений.Figure 4 - General structure of the data arrays on the measurement parameters and data arrays on the composition of the measurements.
Фиг.5 - Пример таблицы описаний параметров фиг.4 для параметров, составляющих структуру кадров фиг.2.Figure 5 - An example of a table of descriptions of the parameters of figure 4 for the parameters that make up the frame structure of figure 2.
Осуществление изобретенияThe implementation of the invention
Для демонстрации осуществления заявленных изобретений рассмотрим простой пример схемы проведения измерений (см. фиг.1), выполняемых, к примеру, на КА. Сжатие данных, хранение исходных данных (ИД) для сжатия и формирования кадров и параметров, а также формирование контекста сжатия по мере поступления данных производятся на измерительном устройстве 1. В соответствии с нашим примером (см. фиг.1) измерительные данные поступают на устройство 1 посредством опроса им непосредственно связанных с ним датчиков - датчик дозы 5, либо опроса устройством 1 других измерительных устройств - устройства 3 стандартной телеметрии КА. При этом опрос может проводиться как напрямую, так и посредством других устройств, например устройства 2, использующегося для модуляции измерений устройства 3 с целью снижения энтропии. Кроме того, измерения давления и температуры газа двигательной установки (ДУ) проводятся измерительным устройством 4 и затем передаются на измерительное устройство 1 в соответствии с выбранной методикой проведения измерений для ДУ, допустим, эти измерения проводятся и передаются только во время работы ДУ.To demonstrate the implementation of the claimed inventions, we consider a simple example of a measurement scheme (see Fig. 1) performed, for example, on a spacecraft. Data compression, storage of source data (ID) for compression and the formation of frames and parameters, as well as the formation of a compression context as data are received, are performed on measuring
Характерной особенностью фактически любых измерений является цикличность их проведения. Даже в случае проведения измерений постоянных величин, без учета характера их изменения, обычно, для достижения необходимой точности, проводится несколько измерений. В общем случае информация практически любого измерительного оборудования может быть разбита на циклы, в соответствие с которыми сформированы измерительные кадры - последовательности данных, содержащих результаты измерений, при необходимости снабженные дополнительной информацией о собственном составе. Такие кадры в пределах цикла измерений могут быть сформированы различными способами и в общем случае методы их формирования зависят от характера проводимых измерений. В нашем примере мы рассмотрим наиболее простой вариант формирования измерительных кадров, при котором кадры формируются в том порядке, в котором они и должны быть закодированы.A characteristic feature of virtually any measurement is the cyclical nature of their measurements. Even in the case of measurements of constant values, without taking into account the nature of their change, usually, in order to achieve the necessary accuracy, several measurements are carried out. In the general case, the information of practically any measuring equipment can be divided into cycles, in accordance with which measuring frames are formed — sequences of data containing the measurement results, if necessary equipped with additional information about their own composition. Such frames within the measurement cycle can be formed in various ways, and in general, the methods for their formation depend on the nature of the measurements. In our example, we will consider the simplest version of the formation of measuring frames, in which frames are formed in the order in which they should be encoded.
На фиг.2 представлен вариант структуры измерительных кадров, формируемых при проведении измерений по схеме фиг.1, каждая ячейка в таблицах фиг.2 представляет собой один байт информации (символ) соответствующего кадра системы. Использование побайтового представления кадров данных при описании обусловлено выбором метода сжатия данных - для нашего примера это метод арифметического кодирования, наиболее эффективный при ограниченном алфавите. Как отмечалось выше, заявленный способ создания контекста для сжатия измерительных данных не ограничивает нас в использовании методов кодирования данных, однако, для демонстрации его преимуществ наиболее удобным представляется метод арифметического кодирования. Удобство обусловлено наглядностью одновременной демонстрации:Figure 2 presents a variant of the structure of the measuring frames generated during the measurements according to the scheme of figure 1, each cell in the tables of figure 2 represents one byte of information (symbol) of the corresponding frame of the system. The use of a byte representation of data frames in the description is determined by the choice of data compression method - for our example, this is the arithmetic coding method, the most effective with a limited alphabet. As noted above, the claimed method of creating a context for compressing measurement data does not limit us in the use of data encoding methods, however, to demonstrate its advantages, the most convenient method is arithmetic coding. Convenience due to the clarity of a simultaneous demonstration:
достаточности заявленного способа для прямого использования вероятностных методов кодирования, удобства управления коэффициентом сжатия данных только за счет изменения содержащихся в ИД настроек, а также эффективности повышения коэффициента сжатия за счет выбора методики проведения измерений.the sufficiency of the claimed method for the direct use of probabilistic coding methods, the convenience of controlling the data compression coefficient only by changing the settings contained in the ID, and the efficiency of increasing the compression coefficient by choosing the measurement methodology.
Использование арифметического кодирования подразумевает также вычисление интервалов вероятности значений символа. В нашем примере будут кодироваться разности между значением параметра измерений (символа) и вычисленным для него по кольцу, в соответствии с количеством бит его представления, ожидаемым значением. При этом преимущественно используется однобайтовый алфавит метода арифметического кодирования. Вероятности однобайтовых символов мы будем задавать целым числом размером от 0 до 215 (определяется возможностью ограничения 4-мя байтами при вычислении кода арифметического метода), представляющим собой нормированную на 215 реальную вероятность, изменяющуюся в промежутке от 0 до 1. Расчет интервалов вероятности производится в соответствии со схемой, приведенной на фиг.3, на которой для некоторого однобайтового измерения представлена кусочно-линейная аппроксимация нормированной на 215 гистограммы разностей между соседними значениями, параметризованная коэффициентами: Pmin=1÷128 - определяет минимальное значение вероятности для символа; Х1, Х2, Х3 - определяют границы линейных участков на оси х, при этом Х3 также задает точку пересечения соответствующего линейного участка с Pmin, a X2 задает точку пересечения между наклонными линейными участками; К1, К2 - коэффициенты угла наклона соответствующих линейных участков; Method - определяет наличие кусочно-линейного участка слева и справа (0 - симметричные участки, плюс 1 - кусочно-линейный участок только справа, минус 1 - только слева). Интервалы метода арифметического кодирования рассчитываются суммированием значений приведенной функции распределения слева или справа без переходов через 0, суммарная вероятность при этом не должна превышать значения 215, что обеспечивается суммированием вероятностей при вычислении интервала нулевого значения раздельно слева и справа. Отметим, что при таком составе коэффициентов параметризации для быстрого суммирования вероятностей применимы формулы частичных сумм арифметической и геометрической прогрессий. Также обратим внимание, что все значения представленной функции расчета интервалов при целочисленных коэффициентах параметризации также являются целочисленными, что при согласовании правил округления мантиссы арифметического метода между алгоритмами сжатия и извлечения делает однозначным вычисление всех промежуточных значений мантиссы при кодировании.The use of arithmetic coding also implies the calculation of probability intervals of symbol values. In our example, differences between the value of the measurement parameter (symbol) and the value calculated for it along the ring will be encoded in accordance with the number of bits of its representation, the expected value. In this case, the single-byte alphabet of the arithmetic coding method is mainly used. We will define the probabilities of single-byte characters as an integer ranging in size from 0 to 2 15 (determined by the possibility of limiting it to 4 bytes when calculating the code of the arithmetic method), which is a real probability normalized to 2 15 , varying from 0 to 1. Calculation of probability intervals is performed in accordance with the scheme shown in Figure 3, in which a byte for measuring represented piecewise linear approximation of the normalized histogram on February 15 differences between adjacent values pairs Metrized coefficients: Pmin = 1 ÷ 128 - determines the minimum value of the probability for the symbol; X1, X2, X3 - determine the boundaries of linear sections on the x axis, while X3 also sets the intersection point of the corresponding linear section with Pmin, and X2 sets the intersection point between the inclined linear sections; K1, K2 - slope coefficients of the corresponding linear sections; Method - determines the presence of a piecewise-linear section on the left and on the right (0 - symmetrical sections, plus 1 - a piecewise-linear section only on the right, minus 1 - only on the left). The intervals of the arithmetic coding method are calculated by summing the values of the reduced distribution function on the left or right without going through 0, the total probability in this case should not exceed the value of 2 15 , which is ensured by summing the probabilities when calculating the interval of the zero value separately on the left and on the right. Note that with such a composition of the parameterization coefficients, for the fast summation of probabilities, the partial sum formulas of arithmetic and geometric progressions are applicable. We also note that all values of the presented function for calculating the intervals for integer parameterization coefficients are also integer, which, when matching the rules for rounding the mantissa of the arithmetic method between compression and extraction algorithms, makes it unambiguous to calculate all intermediate values of the mantissa during encoding.
Итак, сформируем систему ИД, состоящую из связанных массивов данных состава измерений и массивов данных о параметрах измерений, включающих информацию о методах прогнозирования (методах вычисления ожидаемых значений), методах сжатия и о настройках (коэффициентах параметризации для вычислений) для тех и для других. Общая структура этих массивов и связи между ними представлены в виде таблиц на фиг.4. Ключевой таблицей фиг.4, замыкающей на себя все остальные, является таблица описаний параметров, представляющая главный массив данных о параметрах измерений, поэтому рассмотрим ее более подробно. В случае выбранного нами преимущественно однобайтового алфавита, описываемыми этой таблицей параметрами удобнее всего считать однобайтовые символы, соответствующие ячейкам таблиц фиг.2, индексацию которых, в соответствии с заявленным способом создания контекста для сжатия измерительных данных, мы проведем первой, а также назначим для всех параметров соответствующие методы. В таблице фиг.5 приведен вариант индексирования параметров нашего примера, а также выбраны и назначены методы вычисления ожидаемых значений и методы сжатия для всех символов в соответствии с определенными для них индексами (ID символа).So, we will form an ID system consisting of connected arrays of data on the composition of measurements and arrays of data on measurement parameters, including information on forecasting methods (methods for calculating expected values), compression methods, and settings (parameterization coefficients for calculations) for both. The general structure of these arrays and the relationships between them are presented in the form of tables in Fig. 4. The key table of Fig. 4, which closes all the others, is a table of parameter descriptions, which represents the main data array of measurement parameters, so we will consider it in more detail. In the case of the predominantly single-byte alphabet that we have chosen, it is most convenient to consider the parameters described by this table as single-byte characters corresponding to the cells of the tables of figure 2, the indexing of which, in accordance with the claimed method of creating a context for compressing the measurement data, we will perform first, and also assign for all parameters appropriate methods. The table of Fig. 5 shows the indexing option for the parameters of our example, and also methods for calculating the expected values and compression methods for all symbols are selected and assigned in accordance with the indices defined for them (symbol ID).
Цифры в колонке «ID метода сжатия» представляют собой идентификаторы выбранных для символов методов сжатия (нумерация соответствует обозначениям фиг.4). Как видно из таблицы фиг.5, большинству символов назначен ID метода сжатия 1, соответствующий арифметическому кодированию однобайтового символа, для которого вероятность рассчитывается в соответствии с описанной выше и приведенной на фиг.3 схемой, а коэффициенты параметризации содержатся в соответствующей таблице «ИД сжатия 1», соответствующей связанному массиву данных о параметрах измерений. Структура этого массива представлена в виде таблицы на фиг.4. Метод сжатия 2 используется для сжатия однобитовых (сигнальных) параметров и соответствует арифметическому кодированию одного бита информации с коэффициентами параметризации, назначенными в соответствии с таблицей «ИД сжатия 2» фиг.4, где поле «№ бита» определяет номер кодируемого бита информации в составе соответствующего байта, a Pmin определяет вероятность несоответствия этого бита ожидаемому значению. В нашем примере таким параметром является единственный параметр «признак наличия тени» (см. фиг.2,в и 5). Заметим, что для кодирования однобитовых значений арифметическим методом точность вычисления вероятностных интервалов повышается, по сравнению с однобайтовыми символами, за счет увеличения количества знаков мантиссы при расчете вероятности на 7, при этом код может быть объединен в один поток при кодировании методами 1 и 2. Наконец метод сжатия 3 в нашем примере демонстрирует возможность кодирования данных в несколько потоков, так, например, параметр «16 Состояние БА» при заранее неизвестном наиболее подходящем для него методе сжатия, в соответствии с назначенным методом сжатия 3, будет передан для кодирования в другой поток. Этот метод кодирования также позволяет увидеть возможность совместного применения заявленного способа проведения измерений с прототипом, так, например, дальнейшая обработка и сжатие данных измерений, кодируемых методом сжатия 3, могут быть проведены в соответствии со способом [6].The numbers in the column “Compression Method ID” are identifiers of compression methods selected for the symbols (the numbering corresponds to the notation of FIG. 4). As can be seen from the table of Fig. 5, most characters are assigned the
Цифры в колонке таблицы «ID метода вычисления ожидаемых значений» фиг.5 представляют собой идентификаторы соответствующих методов, их нумерация совпадает с нумерацией таблиц «ИД методов вычисления ожидаемых значений», приведенных на фиг.4. Метод вычисления ожидаемых значений 0 используется в тех случаях, когда вычисление ожидаемых значений не производится, либо производится другими, например описанными далее, методами. Метод вычисления ожидаемых значений 1 применяется для однобайтовых параметров, ожидаемые значения которых соответствуют их предыдущим значениям, уже прошедшим кодирование, либо смещены от них на постоянную величину, определенную в таблице «ИД метода вычисления ожидаемых значений 1» на фиг.4 коэффициентом параметризации «смещение». Метод вычисления ожидаемых значений 2 демонстрирует возможность вычисления ожидаемых значений для параметров размером больше одного байта при наложенных нами ограничениях алфавита с использованием системы исходных данных заявленного способа создания контекста для сжатия измерительных данных. В нашем примере этот метод используется для вычисления ожидаемого значения двух младших байтов (символов) времени проведения измерений с учетом их известной периодичности для каждого типа кадра. Соответствующая данному методу таблица «ИД вычисления ожидаемых значений 2» содержит следующие коэффициенты параметризации: «ID символа 1» - определяет индекс первого символа (например, старшего байта); «ID символа 2» - определяет индекс второго символа (например, младшего байта); «Смещение» - определяет величину постоянного смещения для опорного 2-х байтового значения, сформированного из 2-х перечисленных символов. В соответствии с методом вычисления ожидаемых значений 2 из таблицы описаний параметров (см. фиг.4) извлекаются ожидаемые значения, соответствующие ID символов 1 и 2, затем к полученному опорному значению добавляется смещение и новые ожидаемые значения возвращаются в таблицу описаний параметров по тем же ID символов, откуда они и были взяты. И, наконец, метод вычисления ожидаемых значений 3 используется для символов, ожидаемые значения которых предполагаются постоянными, равными настройке «значение» таблицы «ИД метода вычисления ожидаемых значений 3».The numbers in the column of the table "ID of the method of calculating the expected values" of Fig. 5 are the identifiers of the corresponding methods, their numbering coincides with the numbering of the tables "ID of the methods of calculating the expected values" shown in Fig. 4. The method of calculating the expected values of 0 is used in cases where the calculation of the expected values is not performed, or is performed by other methods, for example, described below. The method of calculating the expected values of 1 is used for single-byte parameters, the expected values of which correspond to their previous values that have already been encoded, or are offset from them by a constant value defined in the table "ID of the method of calculating the expected values of 1" in figure 4, the parameterization parameter "offset" . The method of calculating expected
Структуру таблицы описаний параметров на фиг.4 завершают две колонки стартового ожидаемого значения (наиболее вероятного или используемого в качестве ключа безопасности) и текущего (вычисленного для соответствующего символа) ожидаемого значения. Отметим, что эти колонки также могут быть при необходимости, например при различии типов измеряемых значений, отделены от общей структуры таблицы описаний параметров в связанную по ID символа таблицу. Также отметим, что, например, при использовании только одного метода сжатия или только одного метода вычисления контекста для всех параметров соответствующие связанные таблицы могут быть совмещены с таблицей описаний параметров.The structure of the parameter description table in FIG. 4 is completed by two columns of the starting expected value (most likely or used as a security key) and the current (calculated for the corresponding symbol) expected value. Note that these columns can also be, if necessary, for example, when the types of measured values are different, separated from the general structure of the parameter description table into a table connected by the symbol ID. Also note that, for example, when using only one compression method or only one context calculation method for all parameters, the corresponding related tables can be combined with the parameter description table.
В завершение описания заявленного способа создания контекста для сжатия измерительных данных покажем, как на основе приведенной на фиг.4 системы исходных данных может быть проведено кодирование измерений. В начале кодирования блока данных в таблице описаний параметров производится запись всех ожидаемых значений параметров в соответствии с назначенными для них стартовыми значениями. При получении или по мере формирования кадра исходя из структуры таблицы описания состава кадров на фиг.4 в соответствии с назначенным индексом «ID символа» из таблицы описаний параметров извлекается ссылка на метод сжатия данных, включая данные о коэффициентах параметризации из соответствующей связанной таблицы ИД метода сжатия, если таковая имеется. На основании этих ИД производится кодирование разности между значением соответствующего символа в кадре и ожидаемым для него значением из таблицы описаний параметров. Далее в соответствии с установленным для этого же символа в таблице описаний параметров методом вычисления ожидаемых значений производится пересчет ожидаемых значений в колонке «ожидаемое значение» таблицы описаний параметров, после чего осуществляется переход к кодированию следующего символа и так далее, в цикле до конца кадра. Таким же образом может быть закодировано произвольное число кадров из состава выбранной измерительной схемы. Выход из цикла кодирования блока данных может быть произведен по условию ограничения длины кода при хранении или для передачи за один цикл, либо по времени проведения измерений или по какому-либо другому условию, обеспечивающему удобство дальнейшего использования закодированной информации. Кодирование следующего блока данных начинается с выравнивания стартовых и ожидаемых значений и инициализации настроек метода кодирования.At the end of the description of the claimed method of creating a context for compressing measurement data, we show how, based on the source data system shown in FIG. 4, measurement encoding can be carried out. At the beginning of the coding of the data block, in the parameter description table, all expected parameter values are recorded in accordance with the starting values assigned to them. Upon receipt or as the frame is formed based on the structure of the frame composition description table in Fig. 4, in accordance with the assigned index “Symbol ID”, a link to the data compression method is extracted from the parameter description table, including data on parameterization coefficients from the corresponding linked table of the compression method ID if any. Based on these IDs, the difference between the value of the corresponding symbol in the frame and the value expected for it from the parameter description table is encoded. Further, in accordance with the method for calculating the expected values established for the same symbol in the parameter description table, the expected values are recalculated in the “expected value” column of the parameter description table, after which the transition to the coding of the next symbol is performed, and so on, in a loop to the end of the frame. In the same way, an arbitrary number of frames from the selected measurement circuit can be encoded. An exit from a coding cycle of a data block can be made under the condition of limiting the length of the code during storage or for transmission in one cycle, or by the time of measurements or by some other condition, providing the convenience of further use of the encoded information. The encoding of the next data block begins with the alignment of the starting and expected values and the initialization of the encoding method settings.
Декодирование данных осуществляется таким же образом, при этом для каждого кадра первым извлекается общий для всех типов кадров параметр ID типа кадра, на основании него выбирается соответствующая таблица описания состава кадра. Отметим, что при общем для всех типов кадров заголовке возможен порядок кодирования без идентификатора типа кадра, при котором тип кадра определяется по заголовку, а состав и порядок следования параметров заголовка является строго одинаковым для всех типов кадров и может быть даже вынесен в отдельную таблицу состава кадра. Однако такой порядок кодирования менее универсален, так как накладывает достаточно серьезные ограничения на структуру кадров. При необходимости определять тип поступающего кадра наиболее универсальным представляется подход, при котором предварительно (отметим - на основе любых параметров из состава кадра) вычисляется идентификатор типа кадра и, далее, в соответствии с ним производится привязка к конкретной таблице описания состава кадра. При этом вычисленный идентификатор, для возможности определения соответствующей таблицы состава кадра при декодировании, должен быть помещен в код первым с общим для всех типов кадров методом кодирования, что возвращает нас к порядку, соответствующему первому примеру.Data decoding is carried out in the same way, while for each frame, the frame type parameter ID common to all frame types is first extracted, based on it, the corresponding frame composition description table is selected. Note that with a header common to all frame types, a coding order is possible without a frame type identifier, in which the frame type is determined by the header, and the composition and order of the header parameters is strictly the same for all frame types and can even be put in a separate frame composition table . However, this encoding order is less universal, since it imposes quite serious restrictions on the frame structure. If it is necessary to determine the type of incoming frame, the most universal seems to be the approach in which the frame type identifier is computed first (note - based on any parameters from the frame composition) and, further, in accordance with it, the frame composition description table is linked to a specific table. In this case, the calculated identifier, in order to be able to determine the corresponding table of the frame composition during decoding, should be placed in the code first with the encoding method common to all frame types, which brings us back to the order corresponding to the first example.
Переходя к описанию заявленного способа проведения измерений, разберем подробнее процесс сжатия измерительных данных в нашем примере для каждого измерения, и, одновременно с этим, подробнее раскроем смысл назначений, сделанных нами в таблице описаний параметров на фиг.5:Turning to the description of the claimed method of measurements, we will analyze in more detail the process of compressing the measurement data in our example for each measurement, and, at the same time, we will reveal in more detail the meaning of the assignments made by us in the table of parameter descriptions in Fig. 5:
Поведение идентификатора «ID типа кадра» всецело зависит от выбранной измерительной схемы (частоты накопления кадров) и может быть определено различными способами. При заранее неизвестном его поведении, например, можно воспользоваться ограниченным числом кадров системы. Так, в нашем примере существует всего три типа кадра, поэтому, соответствующим образом назначив идентификаторы и задав для них равные вероятности, при этом считая остальные вероятности минимальными, мы можем уже получить степень сжатия приблизительно в 5 раз (1,5 бита на 8-ми битное измерение) от исходного размера. Больший эффект сжатия может быть достигнут при наличии более точных предположений о поведении идентификатора типа кадров. Например, если для кадров на фиг.2 известно, что кадр 1 с показаниями дозы опрашивается 1 раз в час, кадр 3 с данными телеметрических измерений КА опрашивается 1 раз в минуту, а кадр 2 с показаниями давления и температуры при работе ДУ опрашивается 1 раз в секунду, то вероятность встретить нулевое изменение идентификатора типа кадра будет существенно выше, поэтому, подобрав коэффициенты функции распределения для аппроксимации гистограммы разностей (см. фиг.3) в соответствии с этим предположением, а также назначив 0 в качестве постоянного ожидаемого значения для метода вычисления ожидаемых значений 3 (см. фиг.4), мы можем значительно повысить коэффициент сжатия этого параметра.The behavior of the identifier "ID frame type" entirely depends on the selected measuring circuit (frame accumulation frequency) and can be determined in various ways. With its previously unknown behavior, for example, a limited number of system frames can be used. So, in our example, there are only three frame types, therefore, by assigning identifiers accordingly and setting equal probabilities for them, while considering the remaining probabilities to be minimal, we can already get a compression ratio of about 5 times (1.5 bits per 8 bit dimension) of the original size. A greater compression effect can be achieved if there are more precise assumptions about the behavior of the frame type identifier. For example, if for the frames in figure 2 it is known that
Во всех кадрах нашего примера присутствует время проведения измерений, задаваемое четырехбайтовым параметром, предположим, что время у нас измеряется в секундах, либо в тактах процессора, начиная с некоторого, неважно какого для нашего примера, стартового своего значения. Два старших байта времени, в предположении небольших интервалов измерений, будут изменяться между кадрами редко, поэтому для них вполне эффективными являются вычисление ожидаемых значений методом 1 с нулевым заданным смещением, при котором они ожидаются равными предыдущим значениям, и метод сжатия 1, где посредством коэффициентов аппроксимации выбирается наибольшая вероятность нулевой разности. Отметим, что два старших байта времени при соблюдении единства формата времени всех кадров могут быть заданы в таблицах состава кадров одними и теми же идентификаторами символов, что еще больше снижает энтропию их поведения и, следовательно, повышает коэффициент их сжатия.In all frames of our example, there is a measurement time specified by a four-byte parameter, suppose that time is measured in seconds or in processor cycles, starting with some starting value, no matter what our example is. The two high-order bytes of time, assuming small measurement intervals, will rarely change between frames, therefore, it is quite effective for them to calculate the expected values by
Два младших байта времени (байты времени 2 и 1 (младший)) изменяются гораздо чаще, однако их поведение также является довольно точно предсказуемым при известном способе проведения измерений. Например, зная точно интервалы, с которыми поступают кадры можно воспользоваться методом вычисления ожидаемых значений 1 и установить смещение для самого младшего байта в соответствие с этим интервалом. Заметим, что если устанавливать смещение только для байта 1, то поведение байта 2 будет предсказывать гораздо сложнее, поэтому в нашем примере (см. таблицу фиг.5) для одного из этих байтов во всех кадрах установлен метод вычисления ожидаемых значений 1 со смещением 0 (ожидаемое значение равно предыдущему), а для второго - метод вычисления ожидаемых значений 2. Коэффициенты параметризации метода вычисления ожидаемых значений 2 при этом содержат соответствующие обоим этим байтам ID символа и ожидаемые значения для них вычисляются совместно со смещением, соответствующим известному для каждого типа кадра периоду измерений. Сжатие байтов времени 2 и 1 также производится в соответствии с методом сжатия 1 и предполагает высокую степень сжатия, по крайней мере, для байта 2. Степень сжатия младшего байта времени (байта 1) в высокой мере зависит от способа проведения измерений, в данном случае от выбора оптимального соотношения между точностью определения времени измерения и точностью формата его хранения, а также, возможно, от точности измерений самого времени на измерительном устройстве. Для уменьшения энтропии данного параметра в соответствии с заявленным способом проведения измерений может быть применена модуляция, связанная с ограничением точности формата хранения времени, с учетом реальной или требуемой точности измерения времени для выбранной методики проведения измерений.The two least significant time bytes (
Параметры «приращение дозы» и «доза» (см. кадр 1 на фиг.2 и соответствующие им параметры на фиг.5) в нашем примере являются зависимыми друг от друга: первый из них показывает дозу (например, число срабатываний ионизационной камеры), набранную за интервал измерения, второй - общую суммарную дозу как результат суммирования приращений. В соответствии этим сделаны назначения в таблице описаний параметров фиг.5: для приращения дозы, подсчет которого каждый раз начинается сначала, - это метод вычисления ожидаемых значений 3 с постоянным ожидаемым значением, а для накапливаемой дозы, показания которой зависят от предыдущего ее значения, - это метод вычисления ожидаемых значений 1. Методом снижения энтропии для данного параметра является, например, «загрубление» измерений ионизационной камеры в соответствии с требуемой точностью проведения измерений при выбранной для них методике, которая может быть определена на этапе проектирования датчика. Отметим, что взаимосвязь этих параметров также можно использовать для снижения энтропии их показаний, например, если дополнить методы вычисления ожидаемых значений для одного из них методом, который будет точно вычислять показания другого. Конечно же, в данном примере их совместная передача скорее демонстрирует избыточность данных предназначенных для передачи, так, если передавать только показания дозы, то всегда можно вычислить приращение вычитанием рядом стоящих ее значений. Тем не менее данный пример дополнения методов вычисления ожидаемых значения методами, учитывающими взаимосвязи, демонстрирует возможность снижения энтропии поведения связанных между собой, например, каким-либо известным законом параметров.The parameters "dose increment" and "dose" (see
Параметры «давление» и «температура газа ДУ» (см. кадр 2 на фиг.2 и соответствующие им параметры на фиг.5) в нашем примере приведены для демонстрации возможности использования заявленного способа создания контекста для сжатия измерительных данных, для сжатия данных, формируемых другим измерительным устройством. Назначенный для них метод сжатия 1 позволяет кодировать эти параметры без потерь в том виде, в котором они получены с измерительного устройства. Использованный способ вычисления ожидаемых значений 1 (предположительно с нулевым смещением) позволяет добиться высокого эффекта сжатия при их гладком поведении, обеспечивающимся большой частотой измерений. Отметим, что для этих параметров также возможно снижение энтропии, например за счет включения в измерительную схему модулирующего устройства (подобного устройству 2 фиг.1) или программного преобразования кадров данных, содержащих эти измерения. Другим решением представляется предварительное согласование (в виде требований) форматов данных и точности измерений устройства 4 для ограничения избыточности данных в соответствии с применяемой схемой проведения измерений при их последующем сжатии.The parameters "pressure" and "gas temperature of the remote control" (see
Параметр «напряжение (модулированное)» (см. фиг.2в) и таблицу описаний параметров на фиг.5) демонстрирует возможность модулирования данных измерений. В нашем примере этот параметр, вместе с двумя описанными выше параметрами «признак наличия тени» и «Состояние БА», содержится в схеме измерений стандартной телеметрии КА (устройство 3 фиг.1). Значение напряжения первичного питания КА передается на Землю в зоне видимости КА, также его значение может быть опрошено и использовано другими системами и устройствами КА для своих целей, в том числе и нашим измерительным устройством 1 (см. фиг.1). Если, к примеру, контроль этого параметра на всем витке орбиты КА и передача этих данных в моменты относительно коротких сеансов связи с ним достаточно накладны и при этом нас интересует только значение напряжения, находящееся за пределами установленной для него нормы, то мы можем поступить следующим образом: Во-первых, согласно таблице фиг.5 назначить способ формирования контекста 3 с постоянным ожидаемым значением, соответствующим середине интервала его нормального поведения. А, во-вторых, на устройстве 2 приравнять значения этого параметра, находящиеся в пределах нормы, к значению середины интервала нормы. Такая модуляция параметра «напряжение» сделает его поведение существенно более предсказуемым, что при сжатии этого параметра назначенным для него в таблице описаний параметров фиг.5 методом сжатия 1 даст существенно больший эффект сжатия, когда напряжение находится в пределах нормы. Заметим, что в случае выхода напряжения за пределы нормы его сжатие по методу 1 может также существенно увеличить объем, требуемый для передачи этого параметра, что, в свою очередь, может быть использовано, например, для сигнализации о неисправности. Так, если все параметры в нашей измерительной системе будут модулированы таким же образом относительно нормы, то признак прироста кода становится универсальным способом сигнализации о неисправности, или автоматизированным признаком аномальных измерений, предлагаемым в заявленном способе проведения измерений.The parameter "voltage (modulated)" (see figv) and a table of descriptions of the parameters in figure 5) demonstrates the ability to modulate the measurement data. In our example, this parameter, together with the two parameters “sign of shadow presence” and “BA status” described above, is contained in the measurement scheme of standard satellite telemetry (
Наконец, параметр CRC в нашем примере используется для контроля целостности данных. Подход к его сжатию, в зависимости от реализации измерительной схемы, может быть различным: Например, при необходимости контроля целостности кадров после извлечения мы можем выбрать для него любой из перечисленных методов расчета ожидаемых значений и равные интервалы вероятностей для всех разностей, что сделает для него коэффициент сжатия равным единице (один к одному), но, при этом, существенно повысит степень контроля целостности извлекаемого кода. В случае же, когда надежность кода не вызывает сомнений (либо контролируется другими методами) лучшим вариантом будет расчет ожидаемого значения для CRC в соответствии с, собственно, алгоритмом расчета CRC. В нашем примере возможность этого обеспечивает кодирование CRC после всех данных, по которым она рассчитывается (в конце кадра). При таком подходе, во-первых, существенно повышается вероятность предсказания значения CRC, а следовательно, и коэффициент сжатия для нее. Во-вторых, при несоответствии CRC существенно возрастает объем передаваемого кода, что может быть использовано в качестве упомянутой сигнализации о неисправности соответствующего измерительного оборудования.Finally, the CRC parameter in our example is used to control data integrity. The approach to its compression, depending on the implementation of the measuring circuit, can be different: For example, if it is necessary to control the integrity of the frames after extraction, we can choose for it any of the listed methods for calculating expected values and equal probability intervals for all differences, which will make the coefficient for it compression equal to one (one to one), but at the same time, it will significantly increase the degree of integrity control of the extracted code. In the case when the reliability of the code is not in doubt (or controlled by other methods), the best option would be to calculate the expected value for the CRC in accordance with, in fact, the CRC calculation algorithm. In our example, the possibility of this is provided by CRC coding after all the data from which it is calculated (at the end of the frame). With this approach, firstly, the probability of predicting the CRC value, and hence the compression coefficient for it, is significantly increased. Secondly, in case of CRC mismatch, the volume of the transmitted code increases significantly, which can be used as the mentioned alarm about the malfunction of the corresponding measuring equipment.
Преимуществом заявленных способов создания контекста для сжатия измерительных данных и проведения измерений является возможность на основе только ИД (без изменения алгоритмов сжатия и вычисления ожидаемых значений) выбора методов сжатия и состава измеряемых параметров, настройки оптимальных коэффициентов сжатия данных. Так, например, можно провести замену одного датчика на другой при выходе из строя первого, или замену коэффициентов параметризации и/или методов сжатия при изменении энтропии значений параметра. К недостаткам можно отнести необходимость четкого определения для каждого параметра вероятностной картины его поведения, которая, на самом деле, может меняться. На практике, однако, существенные изменения в поведении параметров происходят крайне редко, проблема же может быть решена за счет использования адаптивных методов сжатия.An advantage of the claimed methods of creating a context for compressing the measurement data and taking measurements is the possibility, on the basis of only the ID (without changing the compression algorithms and calculating the expected values), to select the compression methods and the composition of the measured parameters, to set the optimal data compression coefficients. So, for example, it is possible to replace one sensor with another when the first fails, or replace the parameterization coefficients and / or compression methods when changing the entropy of the parameter values. The disadvantages include the need for a clear definition for each parameter of the probabilistic picture of its behavior, which, in fact, can change. In practice, however, significant changes in the behavior of parameters occur extremely rarely, but the problem can be solved by using adaptive compression methods.
Claims (7)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012116106/08A RU2530351C2 (en) | 2012-04-20 | 2012-04-20 | Method of context creation for measurement data compression and measurement method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012116106/08A RU2530351C2 (en) | 2012-04-20 | 2012-04-20 | Method of context creation for measurement data compression and measurement method |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2012116106A RU2012116106A (en) | 2013-10-27 |
RU2530351C2 true RU2530351C2 (en) | 2014-10-10 |
Family
ID=49446353
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012116106/08A RU2530351C2 (en) | 2012-04-20 | 2012-04-20 | Method of context creation for measurement data compression and measurement method |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2530351C2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208273B1 (en) * | 1999-01-29 | 2001-03-27 | Interactive Silicon, Inc. | System and method for performing scalable embedded parallel data compression |
US6573846B1 (en) * | 2001-12-31 | 2003-06-03 | Apple Computer, Inc. | Method and apparatus for variable length decoding and encoding of video streams |
RU2371741C2 (en) * | 2004-04-02 | 2009-10-27 | Шлюмбергер Текнолоджи Б.В. | Methods and systems for compressing data |
RU2378790C1 (en) * | 2005-09-27 | 2010-01-10 | Квэлкомм Инкорпорейтед | Scalability techniques based on content information |
-
2012
- 2012-04-20 RU RU2012116106/08A patent/RU2530351C2/en not_active IP Right Cessation
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6208273B1 (en) * | 1999-01-29 | 2001-03-27 | Interactive Silicon, Inc. | System and method for performing scalable embedded parallel data compression |
US6573846B1 (en) * | 2001-12-31 | 2003-06-03 | Apple Computer, Inc. | Method and apparatus for variable length decoding and encoding of video streams |
RU2371741C2 (en) * | 2004-04-02 | 2009-10-27 | Шлюмбергер Текнолоджи Б.В. | Methods and systems for compressing data |
RU2378790C1 (en) * | 2005-09-27 | 2010-01-10 | Квэлкомм Инкорпорейтед | Scalability techniques based on content information |
Non-Patent Citations (1)
Title |
---|
Переверткин С.М. Бортовая телеметрическая аппаратура космических летательных аппаратов. Москва, Машиностроение, 1977, с. 85-108 * |
Also Published As
Publication number | Publication date |
---|---|
RU2012116106A (en) | 2013-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Vestergaard et al. | Generalized deduplication: Bounds, convergence, and asymptotic properties | |
US8902090B2 (en) | Compressing and decompressing signal data | |
US8159374B2 (en) | Unicode-compatible dictionary compression | |
JPH07104971A (en) | Compression method using small-sized dictionary applied to network packet | |
CN111865493A (en) | Data processing method and related equipment | |
CN102811113B (en) | Character-type message compression method | |
US11606103B2 (en) | Data compression method, data compression device, data decompression method, and data decompression device | |
CN103347047A (en) | Lossless data compression method based on online dictionaries | |
WO2001063772A1 (en) | Method and apparatus for optimized lossless compression using a plurality of coders | |
WO2020186535A1 (en) | Point cloud attribute encoding method and device, and point cloud attribute decoding method and device | |
US4382286A (en) | Method and apparatus for compressing and decompressing strings of electrical digital data bits | |
RU2530351C2 (en) | Method of context creation for measurement data compression and measurement method | |
CA2398955C (en) | Method for compressing data | |
Mahmood et al. | An Efficient 6 bit Encoding Scheme for Printable Characters by table look up | |
Sari et al. | The implementation of timestamp, bitmap and rake algorithm on data compression and data transmission from iot to cloud | |
CN102571101A (en) | Transmission line malfunction travelling wave data compression method | |
CN102628948A (en) | Compression method for transmitting longitude and latitude position data of general aircraft in batch | |
CN113452376A (en) | Compression and/or decompression of activation data | |
CN111274950A (en) | Feature vector data encoding and decoding method, server and terminal | |
CN102841356A (en) | Multi-model compressing method for transmitting general aircraft longitude and latitude position data by beidou equipment | |
Ambadekar et al. | Advanced data compression using J-bit Algorithm | |
Raja et al. | A new variable-length integer code for integer representation and its application to text compression | |
Liaghati et al. | An adaptive DPCM method for efficient data compression in aerospace sensor systems | |
KR20030096504A (en) | method and apparatus for multi-symbol data compression using a binary arithmetic coder | |
Venkatesh et al. | Modified Arithmetic Coding to Increase the Compression Rate of Text Data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200421 |