RU2697947C1

RU2697947C1 - Method of pattern recognition in a system of coupled oscillators

Info

Publication number: RU2697947C1
Application number: RU2018123866A
Authority: RU
Inventors: Андрей Александрович Величко; Максим Александрович Беляев; Вадим Вячеславович Путролайнен; Петр Петрович Борисков
Priority date: 2018-06-29
Filing date: 2018-06-29
Publication date: 2019-08-21

Abstract

FIELD: physics.

SUBSTANCE: invention relates to implementation of models of neural networks, and in particular networks based on coupled oscillators, which are pulsed oscillatory neural networks, which can be used for pattern recognition. Method of recognizing images is carried out by using synchronization of oscillators on different high-order harmonics. Recording of memorized images is performed by selection of initial asynchronous state of oscillators, and detection by detection of synchronous state at vector shifts of control parameters of oscillators. Presented method can be implemented at various topologies of links in a network, such "all with all", a star, a ring.

EFFECT: providing memorization and recognition of multiple images.

1 cl, 6 dwg

Description

Область примененияApplication area

Изобретение относится к области реализации моделей нейронных сетей на базе связанных осцилляторов, в том числе на базе оксидных структур с эффектом электрического переключения, представляющих собой импульсные осцилляторные нейронные сети, которые могут использоваться для распознавания образов.The invention relates to the field of realization of models of neural networks based on coupled oscillators, including those based on oxide structures with the effect of electrical switching, which are pulsed oscillatory neural networks that can be used for pattern recognition.

Уровень техникиState of the art

Искусственные нейронные сети [1] активно применяются в задачах распознавания изображений и речи [2], где использование традиционных вычислительных систем сопряжено рядом трудностей. Для успешного решения подобных задач необходимо изучение режимов функционирования и обучения осцилляторных нейронных сетей (ОНС), например, на основе слабо связанных фазовых осцилляторов (модель Курамото) [3], а также импульсных осцилляторов [4]. Одним из ключевых аспектов в функционировании ОНС является эффект синхронизации, который зачастую используется как маркер произведенного действия ОНС, например, акта распознавания вектор-образа. В ОНС при определенной величине управляющих параметров, которыми могут быть как параметры схемы осциллятора, так и силы связи между ними, система демонстрирует частотную и фазовую синхронизацию [5]-[8], а также синхронизацию высокого порядка [9]—[11], на базе которой и основывается предлагаемый в настоящем патенте способ запоминания и распознавания вектор-образов.Artificial neural networks [1] are actively used in image and speech recognition problems [2], where the use of traditional computing systems is fraught with a number of difficulties. To successfully solve such problems, it is necessary to study the modes of operation and training of oscillatory neural networks (ONS), for example, based on weakly coupled phase oscillators (Kuramoto model) [3], as well as pulse oscillators [4]. One of the key aspects in the functioning of the ONS is the synchronization effect, which is often used as a marker of the performed ONS action, for example, the act of recognizing a vector image. In the ONS, for a certain value of the control parameters, which can be both the parameters of the oscillator circuit and the coupling forces between them, the system shows frequency and phase synchronization [5] - [8], as well as high-order synchronization [9] - [11], on the basis of which the method of storing and recognizing vector images proposed in the present patent is based.

Существует способ запоминания информации, основанный на разности фаз между сигналами связанных осцилляторов, представленный в патенте [12]. Для реализации данного способа кодирования применяется полносвязный массив из N осцилляторов имеющий И² связей, а также устройства фазовой автоподстройки частоты. Вход каждого осциллятора связан со всеми выходами N осцилляторов с помощью соединений сThere is a method of storing information based on the phase difference between the signals of coupled oscillators, presented in the patent [12]. To implement this encoding method, a fully-connected array of N oscillators with And ² connections is used, as well as phase-locked loops. The input of each oscillator is connected to all the outputs of N oscillators using connections with

настраиваемыми весами, через суммирующие устройства и полосовые фильтры. В такой схеме частоты осцилляторов одинаковы, но при этом варьируют разности фаз, величины которых могут принимать определенные устойчивые значения, что применяется для решения задач распознавания вектор-образов. Определенная комбинация разностей фаз задается с помощью матрицы (вектора) весов по правилу Хэбба и является записанным образом. Такой способ кодирования позволяет запоминать более одного образа, а их максимальное количество будет определяться размером сети (количеством осцилляторов). Тестовый образ в такой системе задается вектором начальной разности фаз между осцилляторами, а процесс распознавания заключается во временном переходе системы от начальной разности фаз к одной из устойчивых комбинаций разностей фаз, которая будет наиболее близка к тестовой. Для задания начальной разности фаз используется правило Хэбба, а процесс распознавания является двухстадиным: на первой стадии веса в системе устанавливаются таким образом, чтобы получить начальную, соответствующую тестовому образу, разность фаз, а на второй стадии веса переключаются на таковые, которые соответствуют запомненным образам. По времени перехода из начального состояния к устойчивому определяют степень соответствия тестового и запомненного образов.customizable weights through summing devices and bandpass filters. In such a scheme, the frequencies of the oscillators are the same, but the phase differences vary, the values of which can take certain stable values, which is used to solve vector-image recognition problems. A certain combination of phase differences is set using the matrix (vector) of weights according to the Hebb rule and is a recorded image. This coding method allows you to remember more than one image, and their maximum number will be determined by the size of the network (the number of oscillators). The test image in such a system is set by the vector of the initial phase difference between the oscillators, and the recognition process consists in the temporary transition of the system from the initial phase difference to one of the stable combinations of phase differences, which will be closest to the test one. The Hebb rule is used to set the initial phase difference, and the recognition process is two-stage: at the first stage, the weights in the system are set in such a way as to obtain the initial phase difference corresponding to the test image, and at the second stage, the weights are switched to those that correspond to the stored images. By the time of transition from the initial state to stable, the degree of correspondence of the test and remembered images is determined.

Недостатком данного способа является наличие К² связей с настраиваемыми весами, а также наличие двухстадийной процедуры распознавания образов.The disadvantage of this method is the presence of K ² connections with customizable weights, as well as the presence of a two-stage pattern recognition procedure.

Известен способ запоминания информации с помощью амплитуд гармоник сложного квазипериодического сигнала, подаваемого на массив осцилляторов, представленный в патенте [13]. Данный способ предполагает наличие N осцилляторов, соединённых по топологии общая шина, каждый из которых должен иметь различные частоты. В невозмущенном состоянии такая система не является синхронизованной. Однако, если в систему подается квазипериодический сигнал, содержащий в своем спектре гармоники, соответствующие разности частот между каждым из осцилляторов, то такая система может синхронизоваться и будет эквивалентна полносвязной сети с фазовым кодированием [12].A known method of storing information using the amplitudes of harmonics of a complex quasiperiodic signal supplied to an array of oscillators, presented in the patent [13]. This method assumes the presence of N oscillators connected by a common bus topology, each of which must have different frequencies. In an undisturbed state, such a system is not synchronized. However, if a quasiperiodic signal containing harmonics in its spectrum corresponding to the frequency difference between each of the oscillators is supplied to the system, then such a system can synchronize and will be equivalent to a fully connected network with phase encoding [12].

В этом случае амплитуды гармоник внешнего сигнала, соответствующих разностным частотам, будут являться весовыми коэффициентами связи и определяют возможные устойчивые состояния системы с определёнными векторами разностей фаз осцилляторов, соответствующие записываемым образам. Тестовый образ по аналогии с [12] будет также задаваться вектором разностей фаз, а схема распознавания будет двухстадийной: вначале на массив осцилляторов должен воздействовать внешний квазипериодический сигнал, соответствующий тестовому образу, а после установления тестовой разности фаз, он должен измениться, чтобы соответствовать целевым запомненным образам.In this case, the amplitudes of the harmonics of the external signal corresponding to the difference frequencies will be the coupling weights and determine the possible stable states of the system with certain vectors of phase differences of the oscillators corresponding to the recorded images. By analogy with [12], the test image will also be specified by the vector of phase differences, and the recognition scheme will be two-stage: first, an external quasiperiodic signal corresponding to the test image should act on the array of oscillators, and after the test phase difference is established, it must change to correspond to the target stored images.

Недостатком данного способа является необходимость генерации сложного квазипериодического сигнала, а также наличие двухстадийной процедуры распознавания образов.The disadvantage of this method is the need to generate a complex quasiperiodic signal, as well as the presence of a two-stage pattern recognition procedure.

Наиболее близким к заявляемому способом, который принят за прототип, является способ кодирования для ассоциативной памяти, представленный в патенте [14], основанный на смещении частот. Для реализации способа используется массив связанных осцилляторов, управляемых напряжением или током в соответствии с некоторым шаблоном, который задает смещение частот осцилляторов относительно центральной частоты синхронизации массива осцилляторов (подразумевается синхронизация всех осцилляторов на частоте первой гармоники). В начальном состоянии частоты связанных осцилляторов не различаются или различаются слабо, что приводит к их синхронизации на частоте первой гармоники. Запоминаемый информационный образ кодируется с помощью векторов изменения напряжений или токов питания осцилляторов, что приводит к рассинхронизации связанных осцилляторов и смещению частот каждого отдельного осциллятора от центральной частоты. Тестовый образ задается вектором изменений токов или напряжений для обратного смещения частот осцилляторов. При совпадении тестового и запомненного образа (или при их незначительном отличии) происходит возврат частот осцилляторов к центральной частоте и их синхронизация на частоте первой гармоники, в то время как, различие тестового и запомненного образа исключает синхронизацию на первой гармонике. Данный способ позволяет использовать схему соединения осцилляторов звездой, с общей шиной, и задействует N связей для N осцилляторов.Closest to the claimed method, which is adopted as a prototype, is a coding method for associative memory, presented in the patent [14], based on the frequency shift. To implement the method, an array of coupled oscillators, controlled by voltage or current, is used in accordance with a certain template that sets the frequency offset of the oscillators relative to the central frequency of synchronization of the array of oscillators (implies synchronization of all oscillators at the frequency of the first harmonic). In the initial state, the frequencies of coupled oscillators do not differ or differ slightly, which leads to their synchronization at the frequency of the first harmonic. The stored information image is encoded using the vectors of voltage or current supply of the oscillators, which leads to the desynchronization of the coupled oscillators and the frequency shift of each individual oscillator from the center frequency. The test image is specified by the vector of changes in currents or voltages for the reverse bias of the oscillator frequencies. When the test and stored image coincide (or if they slightly differ), the oscillator frequencies return to the center frequency and synchronize at the first harmonic frequency, while the difference between the test and stored image excludes synchronization at the first harmonic. This method allows you to use the connection diagram of the oscillators with a star, with a common bus, and involves N connections for N oscillators.

Основным недостатком данного способа является то, что данный способ позволяет запоминать для последующего распознавания только один образ, кодируемый через вектор смещений частот связанных осцилляторов, относительно момента их синхронизации на первой гармонике.The main disadvantage of this method is that this method allows you to remember for subsequent recognition only one image, encoded through the vector of the frequency offsets of the associated oscillators, relative to the moment of synchronization at the first harmonic.

Технический результат предлагаемого изобретения состоит в том, что массив связанных осцилляторов позволяет запоминать и распознавать множество образов, а их требуемое количество (емкость запоминания) можно выбирать в зависимости от количества осцилляторов К, диапазона управляющих параметров, топологии сети, силы связи между осцилляторами и интенсивности шума в системе связанных осцилляторов.The technical result of the invention consists in the fact that an array of coupled oscillators allows you to memorize and recognize many images, and their required number (storage capacity) can be selected depending on the number of oscillators K, the range of control parameters, network topology, communication strength between oscillators and noise intensity in a system of coupled oscillators.

Достигается технический результат за счет того, что на этапе запоминания в рабочем сигнале выделяют гармоники высокого порядка к₁:к₂:..к_N и используют эффект синхронизации на этих гармониках при котором в осцилляторной нейронной сети возникают N_S синхронных состояний, соответствующих различным наборам гармоник к₁:к₂:к₃:…к_N, при этом с помощью питающих токов (I₁, I₂…I_N) или напряжений (U₁, U₂…U_N) осцилляторов осцилляторную нейронную сеть устанавливают в несинхронное состояние S, при котором векторы смещения питающих токов (ΔI₁, ΔI₂…ΔI_N) или напряжений (ΔU₁, ΔU₂…ΔU_N) относительно N_S синхронных состояний соответствуют N_S запомненным образам, затем на этапе распознавания изменяют питающие токи или напряжения осцилляторов на векторную величину соответствующую тестируемому образу, и при возникновении синхронизации в осцилляторной нейронной сети устанавливают совпадение с одним из N_S запомненных образов.A technical result is achieved due to the fact that at the stage of memorization, high order harmonics k ₁ : k ₂ : .. k _N are extracted in the working signal and the synchronization effect is used at these harmonics in which N _S synchronous states arise in the oscillatory neural network corresponding to different sets harmonics k ₁ : k ₂ : k ₃ : ... k _N , while using the supply currents (I ₁ , I ₂ ... I _N ) or voltages (U ₁ , U ₂ ... U _N ) of the oscillators, the oscillatory neural network is set to an asynchronous state S, in which the bias vectors of the supply currents (ΔI ₁ , ΔI ₂ ... ΔI _N ) or voltages (ΔU ₁ , ΔU ₂ ... ΔU _N ) with respect to N _S synchronous states correspond to N _S stored images, then at the recognition stage the supply currents or voltage of the oscillators are changed by a vector value corresponding to the tested image, and when synchronization occurs in the oscillatory neural network, coincidence with one of the N _S remembered images.

Перечень фигурList of figures

Фиг. 1 Пример соединения трех осцилляторов по топологии "все со всеми", C_i,j - сила связи между i-м и j-м осцилляторамиFIG. 1 An example of connecting three oscillators according to the “all with all” topology, C _{i, j} is the strength of the connection between the i-th and j-th oscillators

Фиг. 2 Пример соединения трех осцилляторов по топологии "звезда", C_i,j - сила связи между i-м и j-м осцилляторамиFIG. 2 An example of the connection of three oscillators according to the star topology, C _{i, j} is the coupling force between the ith and jth oscillators

Фиг. 3 Пример спектров осцилляций при синхронизации порядка к₁:к₂:к₃=3:2:4, где к_i -номера гармоник на основной частоте синхронизации F_s, C_i,j - сила связи между i-м и j-м осцилляторами, I_sw - спектральная амплитуда тока в осцилляторе, F⁰- частота первой гармоники. FIG. 3 Example of oscillation spectra during synchronization of the order of ₁ : k ₂ : k ₃ = 3: 2: 4, where the _{i is the number of} harmonics at the main synchronization frequency F _s , C _{i, j} is the coupling strength between the i-th and j-th oscillators, I _sw is the spectral amplitude of the current in the oscillator, F ⁰ is the frequency of the first harmonic.

Фиг. 4 Пример исполнения нейронной сети на базе трех осциляторных контуров с переключателем на основе диоксида ванадия (VO₂), соединенных термической связью по типу "звезда", C_i,j - сила связи между i-ым и j-ым осцилляторами, I_i - генератор питающего тока i-того осциллятора, U_in -генератор шума в осцилляторном контуре, С - величина емкости в осцилляторном контуре.FIG. 4 An example of the execution of a neural network based on three oscillator circuits with a switch based on vanadium dioxide (VO ₂ ) connected by thermal coupling like a star, C _{i, j} is the coupling force between the i-th and j-th oscillators, I _i - generator of the supply current of the ith oscillator, U _in is the noise generator in the oscillator circuit, C is the capacitance in the oscillator circuit.

Фиг. 5 Пример областей синхронизации для двух осцилляторов, соединенных по топологии "звезда". Векторами указаны отдельные запомненные образы Е₁-Е₃ и Е'₁-Е'_з относительно начальных точек S и S', соответственно.FIG. 5 Example of synchronization regions for two oscillators connected by a star topology. The vectors indicate the individual remembered images E ₁ -E ₃ and E ' ₁ -E' _s relative to the starting points S and S ', respectively.

Фиг. 6 Пример областей синхронизации для трех осцилляторов, соединенных по топологии "звезда". Векторами указаны отдельные запомненные образы Е'₁ - Е'з относительно начальной точки S.FIG. 6 Example of synchronization regions for three oscillators connected by a star topology. Vectors indicate individual remembered images of E ' ₁ - E'z relative to the starting point S.

Осцилляторная нейронная сеть в представленном изобретении представляет собой систему из N связанных осцилляторов. В зависимости от физического механизма взаимодействия осцилляторов они могут быть соединены, электрической (через резисторы и конденсаторы) [15], [16], термической связью [9], [10], оптической связями [17]. В общем случае существует матрица сил связей C_i,j (весов), где i,j - номера взаимодействующих осцилляторов, а C_i,j обозначает величину воздействия i-го осциллятора на j-й. Сеть осцилляторов может образовывать различные топологи: полносвязные - все со всеми, и неполносвязные - общая шина, звезда, кольцо. Следует отметить, что неполносвязная топология позволяет использовать меньшее количество связей по отношению к полносвязной топологии. На Фиг. 1 и Фиг. 2 приведены примеры топологий "все со всеми" и "звезда" трех осцилляторов, и обозначены силы связи.The oscillatory neural network in the present invention is a system of N coupled oscillators. Depending on the physical mechanism of interaction of the oscillators, they can be connected, electrical (via resistors and capacitors) [15], [16], thermal coupling [9], [10], optical coupling [17]. In the general case, there exists a matrix of coupling forces C _{i, j} (weights), where i, j are the numbers of interacting oscillators, and C _{i, j} denotes the magnitude of the influence of the i-th oscillator on the j-th one. A variety of topologists can form a network of oscillators: fully connected - everything with everyone, and non-connected - a common bus, star, ring. It should be noted that a non-connected topology allows the use of fewer links with respect to a fully-connected topology. In FIG. 1 and FIG. Figure 2 shows examples of the topologies “all with all” and “star” of three oscillators, and the binding forces are indicated.

Известно [9]—[11], что осцилляторы в сети могут испытывать эффект синхронизации, и, кроме синхронизации на основной (первой) гармонике, можно наблюдать синхронные режимы высокого порядка, в случае если спектр сигнала осциллятора имеет несколько гармоник. В общем случае синхронизация высокого порядка определяется отношением к₁:к₂:к₃:..к_N , где к_i - номер гармоники i-го осциллятора на общей частоте синхронизации сети F_s. В качестве примера на Фиг. 3 приведены спектры трех осцилляторов имеющие синхронизацию порядка 3:2:4. Следует заметить следующее правило, что если все осцилляторы попарно имеют различные частоты синхронизации на произвольных гармониках, то всегда найдется общая частота синхронизации F_s для всей системы (всех пар), и синхронное состояние сети будет также определяться отношением к₁:к₂:к₃:..к_N на общей частоте синхронизации.It is known [9] - [11] that the oscillators in the network can experience the synchronization effect, and, in addition to synchronization at the main (first) harmonic, high-order synchronous modes can be observed if the spectrum of the oscillator signal has several harmonics. In the general case, high-order synchronization is determined by the ratio of ₁ : to ₂ : to ₃ : .. to _N , where k _i is the harmonic number of the i-th oscillator at the total network clock frequency F _s . As an example in FIG. Figure 3 shows the spectra of three oscillators with synchronization of the order of 3: 2: 4. It should be noted the following rule: if all oscillators in pairs have different synchronization frequencies at arbitrary harmonics, then there will always be a common synchronization frequency F _s for the entire system (all pairs), and the synchronous state of the network will also be determined by the ratio to ₁ : ₂ : ₃ : .. to _N at the common clock frequency.

Переход из одного синхронного состояния в другое возможен при варьировании управляющих параметров осцилляторной сети. Например, в электрических осцилляторах, работающих по схеме релаксационного генератора (см. Фиг. 4) на базе переключателя на основе диоксида ванадия (VO₂) основными параметрами являются токи питания осцилляторов, их вариация приводит к изменению основной частоты генерации осцилляторов. Тем не менее, в отдельных случаях, переход между состояниями возможно осуществить и вариацией сил связи или интенсивности шума.The transition from one synchronous state to another is possible by varying the control parameters of the oscillator network. For example, in electric oscillators operating according to a relaxation generator circuit (see Fig. 4) based on a switch based on vanadium dioxide (VO ₂ ), the main parameters are oscillator supply currents, their variation leads to a change in the fundamental frequency of oscillator generation. However, in some cases, the transition between the states can also be achieved by varying the binding forces or noise intensity.

Диапазон изменения управляющих параметров, при котором синхронизация не изменяет своего состояния, называется областью синхронизации. Существует целое семейство областей синхронизации, которые (для случая двух осцилляторов) принято называть языками Арнольда. Пример областей синхронизации для двух- и трех-осцилляторной схем, соединенных по топологии "звезда" показаны на Фиг. 5 и Фиг. 6. Здесь управляющими параметрами являются токи питания осцилляторов.The range of control parameters in which synchronization does not change its state is called the synchronization region. There is a whole family of synchronization regions, which (for the case of two oscillators) are commonly called Arnold languages. An example of synchronization regions for two- and three-oscillator circuits connected by a star topology is shown in FIG. 5 and FIG. 6. Here, the control parameters are oscillator supply currents.

Количество возможных вариантов синхронных состояний (областей синхронизации), в которых система может пребывать при варьировании основных управляющих параметров, назовем емкостью запоминания N_S. Величина N_S зависит от количества осцилляторов N, диапазона управляющих параметров, топологии сети, силы связи между осцилляторами и интенсивности шума в системе (на Фиг. 5 N_S=9, на Фиг. 6 N_S=28). Ранее было показано [9], что N_S имеет максимум для определенных значениях силы связи между осцилляторами и спадает при увеличении амплитуды шума в системе. При значительном увеличении силы связи величина N_S уменьшается, что происходит из-за эффекта объединения близ лежащих областей синхронизации.The number of possible variants of synchronous states (synchronization regions) in which the system can reside while varying the main control parameters is called the storage capacity N _S. The value of N _S depends on the number of oscillators N, the range of control parameters, the network topology, the communication strength between the oscillators and the noise intensity in the system (in Fig. 5 N _S = 9, in Fig. 6 N _S = 28). It was previously shown [9] that N _S has a maximum for certain values of the coupling strength between the oscillators and decreases with increasing noise amplitude in the system. With a significant increase in the bond strength, the value of N _S decreases, which is due to the effect of combining near the lying synchronization regions.

Методика кодирования и распознавания образов в системе испытывающей синхронизацию высокого порядка состоит из нескольких этапов.The coding and pattern recognition technique in a system undergoing high-order synchronization consists of several stages.

Во-первых, необходимо вывести нейронную сеть в такую начальную точку управляющих параметров (S), которая лежит вне области синхронизации системы (см. Фиг. 5 и Фиг. 6). Находясь в несинхронном состоянии, система потенциально может прийти в одно из N_S различных состояний синхронизации. Таким образом, в любой точке, лежащей вне синхронных областей система хранит N_S образов, обозначим их векторами как E₁, E₂…E_Ns. Размерность векторов запомненных образов в этом случае равна числу осцилляторов N, а координаты векторов определяют смещения управляющих параметров осцилляторов, например, токов Е₁=(ΔI₁, ΔI₂…ΔI_N), относительно начальной точки S. Недостатком здесь является то, что области синхронизации имеют большую протяженность (с формой языков Арнольда, см. Фиг 5), поэтому возникает широкий диапазон координат векторов запомненных образов приводящих систему к определённому синхронному состоянию. Выходом из этой ситуации и сужению разброса координат векторов запомненных образов является использование векторов Е'₁=(ΔI₁, ΔI₂…ΔI_N-1) размерности на один меньше, чем количество осцилляторов (N-1). На практике это означает то, что фиксируется ток на одном осцилляторе, а варьируем токи остальных. Таким образом, исключается неоднозначность определения синхронизации по одной из координат вектора запомненного образа и области возможной синхронизации сужаются. Для примера на Фиг. 5 показано сечение области управляющих параметров для двух осцилляторной схемы при I₂=соnst, при этом векторы запомненных образов Е'₁, Е'₂, Е'₃ имеют меньший разброс параметров чем векторы образов Е₁, Е₂, Е₃. Сечение областей синхронизации для системы, состоящей из трех осцилляторов, при фиксированном значении тока на первом осцилляторе I₁=соnst, показано на Фиг. 6.Firstly, it is necessary to bring the neural network to such an initial point of control parameters (S), which lies outside the system synchronization area (see Fig. 5 and Fig. 6). While in a non-synchronous state, the system can potentially come into one of N _S different synchronization states. Thus, at any point lying outside synchronous regions, the system stores N _S images, we denote them by vectors as E ₁ , E ₂ ... E _Ns . The dimension of the vectors of the stored images in this case is equal to the number of oscillators N, and the coordinates of the vectors determine the displacements of the control parameters of the oscillators, for example, the currents E ₁ = (ΔI ₁ , ΔI ₂ ... ΔI _N ), relative to the starting point S. The disadvantage here is that the regions synchronization has a great length (with the shape of the Arnold languages, see Fig. 5), therefore, a wide range of coordinates of the vectors of remembered images leading the system to a certain synchronous state arises. The way out of this situation and narrowing the spread of the coordinates of the vectors of remembered images is to use the vectors E ' ₁ = (ΔI ₁ , ΔI ₂ ... ΔI _N-1 ) of dimension one less than the number of oscillators (N-1). In practice, this means that the current is fixed on one oscillator, and we vary the currents of the others. Thus, the ambiguity of determining the synchronization by one of the coordinates of the vector of the stored image is eliminated and the areas of possible synchronization are narrowed. For the example of FIG. Figure 5 shows a section of the region of control parameters for two oscillator circuits with I ₂ = const, while the vectors of stored images E ' ₁ , E' ₂ , E ' ₃ have a smaller scatter of parameters than the vectors of images E ₁ , E ₂ , E ₃ . The cross-section of the synchronization regions for a system consisting of three oscillators, at a fixed current value on the first oscillator I ₁ = const, is shown in FIG. 6.

Таким образом, для запоминания конкретных образов, необходимо установить начальную точку системы в такое несинхронное состояние, что бы векторные расстояния от нее до существующих синхронных состояний соответствовали запоминаемым образам.Thus, to memorize specific images, it is necessary to set the starting point of the system in such an asynchronous state so that the vector distances from it to existing synchronous states correspond to memorized images.

Во-вторых, после установления начальной точки, для распознавания тестового образа с вектором Т необходимо подать на управляющие параметры вектор смещения, соответствующий одному из запомненных образов. Если будет соблюдаться одно из условий (Т=Е₁ или Т=Е₂... или Т=Е_Ns), произойдет переход в синхронное состояние и, непосредственно, акт распознавания соответствующего запомненного образа. Существование областей синхронизации гарантирует распознавание образа даже при незначительном отклонении его координат от запомненного образа. Secondly, after establishing the starting point, in order to recognize the test image with the vector T, it is necessary to apply an offset vector corresponding to one of the stored images to the control parameters. If one of the conditions is met (T = E ₁ or T = E ₂ ... or T = E _Ns ), a transition to the synchronous state and, directly, the act of recognizing the corresponding stored image will occur. The existence of synchronization regions guarantees recognition of the image even with a slight deviation of its coordinates from the stored image.

Пример исполненияExecution example

В качестве примера реализации представлено 3 осциллятора, на базе VO₂-переключателей, соединенных звездой как на Фиг 4. Управляющими параметрами здесь являются токи источников питания I₁, I₂, I₃, а синхронизация осуществляется термическим образом [9], [10], при этом силы связей осцилляторов №1 и №2, а также №1 и №3 одинаковы и равны С_i,j =0.2 В. Параметры ВАХ переключателей (U _th=5 В, U _h=1.5 В U _cf=0.82 В, R _off=9.1 кОм, R _оп = 615 Ом), а также схем (емкость С=100 нФ и амплитуда шума U_in=20 мВ) для каждого осцилляторного контура одинаковы.As an example of implementation, 3 oscillators are presented, based on VO ₂ switches connected by a star as in Fig. 4. The control parameters here are the currents of power supplies I ₁ , I ₂ , I ₃ , and synchronization is carried out thermally [9], [10] while the bond strengths of the oscillators No. 1 and No. 2, as well as No. 1 and No. 3 are identical and equal to C _{i, j} = 0.2 V. Parameters of the I – V characteristics of the switches ( U _th = 5 V, U _h = 1.5 V U _cf = 0.82 V , R _off = 9.1 kOhm, R _op = 615 Ohms), as well as circuits (capacitance C = 100 nF and noise amplitude U _in = 20 mV) are the same for each oscillator circuit.

Используя численную модель, представленную в работе [9], было промоделировано сечение областей синхронизации см. Фиг. 6. Сечение представляет собой зависимость порядка синхронизации от величин тока I₂ и I₃ при постоянном значении тока I₁=соnst=750 мкА. Всего в данной конфигурации насчитывается N_S=28 синхронных состояний, некоторые из которых выделены на Фиг. 6.Using the numerical model presented in [9], a section of synchronization regions was modeled, see FIG. 6. The cross section is the dependence of the synchronization order on the current I₂ and I₃ at a constant value of current I_one= const = 750 μA. In total, in this configuration, there are N_S= 28 synchronous states, some of which are highlighted in FIG. 6.

Если, например, необходимо запомнить 3 образа с векторами Е'₁ = (-264 мкА, -151 мкА), Е'₂ = (-91 мкА, -163 мкА) и Е'₃ = (-88 мкА, -290 мкА), то тогда следует установить начальную точку S в координату S = (847 мкА, 921 мкА), где отсутствует синхронное состояние. Следует заметить, что количество координат в каждом векторе на единицу меньше количества осцилляторов и равно 2, что, как объяснялось выше, необходимо для сужения области возможной синхронизации и снижения неопределенности распознавания.If, for example, it is necessary to remember 3 images with vectors E ' ₁ = (-264 μA, -151 μA), E' ₂ = (-91 μA, -163 μA) and E ' ₃ = (-88 μA, -290 μA ), then you should set the starting point S to the coordinate S = (847 μA, 921 μA), where there is no synchronous state. It should be noted that the number of coordinates in each vector is one less than the number of oscillators and equal to 2, which, as explained above, is necessary to narrow the region of possible synchronization and reduce recognition uncertainty.

При подаче тестового образа с вектором Т=Е'₁ нейронная сеть переходит в синхронное состояние с синхронизацией порядка 1:2:1 (см. Фиг. 6).When submitting a test image with the vector T = E ' _{1, the} neural network goes into a synchronous state with synchronization of the order of 1: 2: 1 (see Fig. 6).

При подаче тестового образа с вектором Т=Е'₂ нейронная сеть переходит в синхронное состояние с синхронизацией порядка 1:1:1 (см. Фиг 6).When submitting a test image with the vector T = E ' _{2, the} neural network goes into a synchronous state with synchronization of the order of 1: 1: 1 (see Fig. 6).

При подаче тестового образа с вектором Т=Е'₃ нейронная сеть переходит в синхронное состояние с синхронизацией порядка 2:2:3 (см. Фиг. 6).When submitting a test image with the vector T = E ' _{3, the} neural network goes into a synchronous state with synchronization of the order of 2: 2: 3 (see Fig. 6).

При отклонении координат вектора Т тестового образа от значений векторов Е' запомненных образов, как минимум в пределах ~1 мкА, тестовый образ также уверенно распознается.When the coordinates of the vector T of the test pattern deviate from the values of the vectors E 'of the stored patterns, at least within ~ 1 μA, the test pattern is also confidently recognized.

Таким образом, осуществляется запись и распознавание трех различных образов, хотя емкость данной системы значительно выше и позволяет записывать одновременно до 28 образов.Thus, recording and recognition of three different images is carried out, although the capacity of this system is much higher and allows you to record up to 28 images simultaneously.

Количество запоминаемых образов зависит от количества осцилляторов N, диапазона управляющих параметров, топологии сети, силы связи между осцилляторами и интенсивности шума в системе связанных осцилляторов.The number of stored images depends on the number of oscillators N, the range of control parameters, the network topology, the strength of the connection between the oscillators, and the noise intensity in the system of coupled oscillators.

БИБЛИОГРАФИЯBIBLIOGRAPHY

[1] J. Heaton, Artificial intelligence for humans. Charleston: Createspace Independent Publishing, 2015.[1] J. Heaton, Artificial intelligence for humans. Charleston: Createspace Independent Publishing, 2015.

[2] С.M. Bishop, Neural networks for pattern recognition. New York: Clarendon Press, 1995.[2] C.M. Bishop, Neural networks for pattern recognition. New York: Clarendon Press, 1995.

[3] S.H. Strogatz, "From Kuramoto to Crawford: exploring the onset of synchronization in populations of coupled oscillators," Phys. D Nonlinear Phenom., vol. 143, no. 1-4, pp. 1-20, Sep. 2000.[3] S.H. Strogatz, "From Kuramoto to Crawford: exploring the onset of synchronization in populations of coupled oscillators," Phys. D Nonlinear Phenom., Vol. 143, no. 1-4, pp. 1-20, Sep. 2000.

[4] H. Nakano and T. Saito, "Grouping Synchronization in a Pulse-Coupled Network of Chaotic Spiking Oscillators," IEEE Trans. Neural Networks, vol. 15, no. 5, pp. 1018-1026, Sep. 2004.[4] H. Nakano and T. Saito, "Grouping Synchronization in a Pulse-Coupled Network of Chaotic Spiking Oscillators," IEEE Trans. Neural Networks, vol. 15, no. 5, pp. 1018-1026, Sep. 2004.

[5] F.C. Hoppensteadt and E. M. Izhikevich, "Pattern recognition via synchronization in phase-locked loop neural networks," IEEE Trans. Neural Networks, vol. 11, no. 3, pp. 734-738, May 2000.[5] F.C. Hoppensteadt and E. M. Izhikevich, "Pattern recognition via synchronization in phase-locked loop neural networks," IEEE Trans. Neural Networks, vol. 11, no. 3, pp. 734-738, May 2000.

[6] F.C. Hoppensteadt and E. M. Izhikevich, "Oscillatory Neurocomputers with Dynamic Connectivity," Phys. Rev. Lett., vol. 82, no. 14, pp. 2983-2986, Apr. 1999.[6] F.C. Hoppensteadt and E. M. Izhikevich, "Oscillatory Neurocomputers with Dynamic Connectivity," Phys. Rev. Lett., Vol. 82, no. 14, pp. 2983-2986, Apr. 1999.

[7] E.M. Izhikevich, "Weakly pulse-coupled oscillators, FM interactions, synchronization, and oscillatory associative memory," IEEE Trans. Neural Networks, vol. 10, no. 3, pp. 508-526, May 1999.[7] E.M. Izhikevich, "Weakly pulse-coupled oscillators, FM interactions, synchronization, and oscillatory associative memory," IEEE Trans. Neural Networks, vol. 10, no. 3, pp. 508-526, May 1999.

[8] D.E. Nikonov et al., "Coupled-Oscillator Associative Memory Array Operation for Pattern Recognition," IEEE J. Explor. Solid-State Comput. Devices Circuits, vol. 1, pp. 85-93, Dec. 2015.[8] D.E. Nikonov et al., "Coupled-Oscillator Associative Memory Array Operation for Pattern Recognition," IEEE J. Explor. Solid-State Comput. Devices Circuits, vol. 1, pp. 85-93, Dec. 2015.

[9] A. Velichko, V. Putrolaynen, and M. Belyaev, "Effects of Higher Order and Long-Range Synchronizations for Classification and Computing in Oscillator-Based Spiking Neural Networks," Apr. 2018.[9] A. Velichko, V. Putrolaynen, and M. Belyaev, "Effects of Higher Order and Long-Range Synchronizations for Classification and Computing in Oscillator-Based Spiking Neural Networks," Apr. 2018.

[10] A. Velichko, M. Belyaev, V. Putrolaynen, V. Perminov, and A. Pergament, "Thermal coupling and effect of subharmonic synchronization in a system of two VO2 based oscillators," Solid. State. Electron., vol. 141, pp. 40-49, Mar. 2018.[10] A. Velichko, M. Belyaev, V. Putrolaynen, V. Perminov, and A. Pergament, "Thermal coupling and effect of subharmonic synchronization in a system of two VO2 based oscillators," Solid. State. Electron., Vol. 141, pp. 40-49, Mar. 2018.

[11] A. Pikovsky, М. Rosenblum, and J. Kurths, Synchronization: a universal concept in nonlinear sciences. Cambridge University Press, 2001.[11] A. Pikovsky, M. Rosenblum, and J. Kurths, Synchronization: a universal concept in nonlinear sciences. Cambridge University Press, 2001.

[12] F.C. Hoppensteadt and E. M. Izhikevich, "Phase-locked loop oscillatory neurocomputer," US 7280989 B1, 09.10.2007[12] F.C. Hoppensteadt and E. M. Izhikevich, "Phase-locked loop oscillatory neurocomputer," US 7280989 B1, 10/09/2007

[13] F.C. Hoppensteadt and E. Izhikevich, "Oscillatary neurocomputers with dynamic connectivity," US 6957204 B1, 18.10.2005.[13] F.C. Hoppensteadt and E. Izhikevich, "Oscillatary neurocomputers with dynamic connectivity," US 6957204 B1, 10/18/2005.

[14] G.I. Bourianoff and D.E. Nikonov, "Associative memory oscillator array," US 8897047 B2, 25.11.2014.[14] G.I. Bourianoff and D.E. Nikonov, "Associative memory oscillator array," US 8897047 B2, 11/25/2014.

[15] N. Shukla et al, "Synchronized charge oscillations in correlated electron systems" Sci. Rep., vol. 4, no. 1, p. 4964, May 2015.[15] N. Shukla et al, "Synchronized charge oscillations in correlated electron systems" Sci. Rep., Vol. 4, no. 1, p. 4964, May 2015.

[16] A. Velichko, M. Belyaev, V. Putrolaynen, A. Pergament, and V. Perminov, "Switching dynamics of single and coupled VO₂-based oscillators as elements of neural networks," Int. J. Mod. Phys. B, vol. 31, no. 2, p. 1650261, Jan. 2017.[16] A. Velichko, M. Belyaev, V. Putrolaynen, A. Pergament, and V. Perminov, "Switching dynamics of single and coupled VO ₂ -based oscillators as elements of neural networks," Int. J. Mod. Phys. B, vol. 31, no. 2, p. 1650261, Jan. 2017.

[17] F.C. Hoppensteadt and E.M. Izhikevich, "Synchronization of laser oscillators, associative memory, and optical neurocomputing," Phys. Rev. E, vol. 62, no. 3, pp. 4010-4013, Sep. 2000.[17] F.C. Hoppensteadt and E.M. Izhikevich, "Synchronization of laser oscillators, associative memory, and optical neurocomputing," Phys. Rev. E, vol. 62, no. 3, pp. 4010-4013, Sep. 2000.

Claims

A method of storing and recognizing patterns in a system of coupled oscillators consisting of N oscillators, comprising: at the stage of storing, setting control parameters of the oscillators, in which the oscillatory neural network is in the non-synchronous state S, where a set of vector displacements relative to the synchronous state corresponds to one stored image; at the recognition stage, the subsequent vector shift of the control parameters of the oscillators by the value corresponding to the tested image, at which the coincidence of the stored and tested image leads to synchronization of the oscillatory neural network, characterized in that at the stage of memorization, high order harmonics k ₁ : k ₂ are distinguished in the working signal: ... k _N and use the synchronization effect at these harmonics, in which N _S synchronous states corresponding to different sets of harmonics k arise in the oscillatory neural network ₁ : k ₂ : k ₃ : ... k _N , while using the supply currents (I ₁ , I ₂ ... I _N ) of the oscillators, the oscillatory neural network is set to the non-synchronous state S, in which the bias vectors of the supply currents (ΔI ₁ , ΔI ₂ ... ΔI _N ) with respect to N _S synchronous states correspond to N _S stored images, then at the recognition stage the supply currents of the oscillators are changed by a vector value corresponding to the tested image, and when synchronization occurs in the oscillatory neural network, they match one of the N _S stored images.