DE69421106T2

DE69421106T2 - Neuronales Netzwerk mit räumlich verteilter Arbeitsweise

Info

Publication number: DE69421106T2
Application number: DE69421106T
Authority: DE
Inventors: Set Brian Colak
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 1993-03-03
Filing date: 1994-02-25
Publication date: 2000-05-25
Anticipated expiration: 2014-02-26
Also published as: DE69421106D1; TW230246B; SG44026A1; KR100293607B1; JPH06290162A; US5706404A; CN1094831A; EP0614157B1; EP0614157A1; KR940022301A; CN1098503C; US5666467A

Description

Neuronales Netzwerk mit räumlich verteilter Arbeitsweise

ANWENDUNGSGEBIET DER ERFINDUNG

Die Erfindung bezieht sich auf ein Informationsverarbeitungssystem mit einem neuronalen Netzwerk mit Neuronen, die durch Synapsen miteinander verbunden sind. Das Netzwerk verfügt über ein Eingangsmittel zum Empfangen einer Vielzahl von Eingangssignalen, über ein Ausgangsmittel zum Liefern von mindestens einem Ausgangssignal, und über eine Anordnung zwischen dem Eingangsmittel und dem Ausgangsmittel zum Implementieren einer neuronalen Transformation der Vielzahl von Eingangssignalen, um das Ausgangssignal zu erzeugen.

HINTERGRUND

Im Laufe des letzten Jahrzehnts hat man sich immer mehr für neuronale Netzwerke als Signalprozessoren interessiert, deren wesentliche Eigenschaften in der nichtlinearen Abbildung von Eingangssignalen auf Ausgangssignale mit Hilfe von räumlich verteilten Elementen und mit massiver paralleler Informationsverarbeitung in einer eng verwobenen Struktur liegen. Ein derartiger Prozessor ist ein robustes und fehlertolerantes Verarbeitungselement. Außerdem können neuronale Netzwerke durch Lernen auf der Basis von Beispielen programmiert werden statt durch Vorschreiben von algorithmischen Anweisungen, wie dies bei herkömmlichen Mikroprozessoren der Fall ist. Das Lernen kann mit oder ohne Aufsicht erfolgen, wobei die letztgenannte Version als "Selbstlernen" bezeichnet wird. Neuronale Netzwerke werden voraussichtlich eine wichtige Rolle spielen, vor allem im Bereich der assoziativen Speicher, der Klassifizierer, der Mustererkennung und der Optimierungsprobleme. Eine allgemeine Einführung ist der Abhandlung "An Introduction to Computing with Neural Nets" von R. P. Lippmann, IEEE ASSP Magazin, April 1987, Seite 4-22, zu entnehmen.
Obwohl einige der mathematischen Algorithmen, die für neuronale Netzwerksteuerung oder neuronale Netzwerksimulation geschaffen wurden, nützlich für die Suche von Software-Lösungen für bestimmte Probleme zu sein scheinen, geht man davon aus, dass die wirklichen Vorzüge der neuronalen Netzwerklösungen nur mit Hilfe spezieller Hardware nutzbar sind. In dem letzten Jahrzehnt sind vielfältige elektronische und optische Hardware-Implementierungen von neuronalen Netzwerken entwickelt worden. So haben zum Beispiel die Laboratoires d'Électronique de Philips den ersten kommerziellen elektronischen, vollkommen digital arbeitenden und lernfähigen neuronalen Chip für modulare neuronale Netzwerk-Architekturen entwickelt; siehe US-amerikanische Patentschrift 4.994.982. Eine elektronische Implementierung eines analogen neuronalen Netzwerks ist zum Beispiel aus der US-amerikanischen Patentschrift 4.866.645 bekannt. Optische neuronale Netzwerke werden in dem Artikel mit dem Titel "Optical Neural Computers" von Y.S. Abu-Mostafa und D. Psaltis, Scientific American 256, März 1987, S. 66-73, behandelt.
Oft sind räumlich kompakte Entwürfe erforderlich, um eine ausreichend große Anzahl von Neuronen und Synapsen auf begrenztem Raum unterzubringen. Ein lernfähiges neuronales Netzwerk erfordert zusätzliche Schaltungen, um die Gewichtungen in der Lernphase des Netzwerks individuell und genau zu modifizieren, wodurch die Größe und die Komplexität des Systems zwangsläufig zunehmen. Da das Verarbeitungsvermögen eines neuronalen Netzwerks mit der Anzahl der Neuronen und Verbindungen zunimmt, ist man heute in der neuronalen Netzwerk-Technologie bestrebt, die Dichte der Neuronen und Verbindungen zu erhöhen. Ein größeres Problem, dem man beim Entwurf von elektronischen Ausführungsformen begegnet, besteht zum Beispiel darin, dass auf einem einzelnen Chip nur eine begrenzte Anzahl von Neuronen oder Neuronen-Funktionalität implementiert werden kann. Typischerweise liegt die maximale Anzahl von Neuronen oder Neuronen- Funktionalitäten, die mit moderner Technologie auf einem Chip integriert werden können, bei weniger als eintausend. Außerdem sind die Komplexität und die Anzahl der zusätzlichen Komponenten, die zum Implementieren der Lernfähigkeit eines Netzwerks mit einer derart großen Anzahl von Neuronen benötigt werden, wahrscheinlich mindestens proportional höher.
Die obengenannten Beispiele haben gemeinsam, dass die zugehörigen Architekturen einen recht konzentrierten Charakter aufweisen. Das bedeutet, dass die verschiedenen funktionellen Elemente des neuronalen Netzwerks, die die Grundberechnungen durchführen, zum Beispiel die Neuronen und die Synapsen, durch physikalisch unterschiedliche Bauelemente oder Schaltungen implementiert sind. Diese Bauelemente und Schaltungen sind speziell für Operationen wie Gewichtungs-Multiplikation, Summierung und Anwendung einer Sigmoid-Funktion vorgesehen.
Eine der Möglichkeiten zur Verringerung der Anzahl von Neuronen oder Neuronenschichten, um das Verbindungsschema zu vereinfachen und die Effizienz zu erhöhen, besteht darin, Terme höherer Ordnung (Quadrate, Produkte, Kubikwerte, usw.) für die dem neuronalen Netzwerk zugeführten Eingangssignale zu benutzen. Diese Terme höherer Ordnung dienen dann als die durch die Neuronen zu behandelnden Signale. Näheres hierzu ist zum Beispiel der Abhandlung "Learning, Invariance and Generalization in High- Order Neural Nets" von C. Lee Giles et al., Appl. Opt., Band 26, 1987, S. 4972-4978, zu entnehmen. Die Abhängigkeiten höherer Ordnung werden im voraus bestimmt, und man kann sie sich vorstellen als vorverarbeitete Eingangsdaten, wobei die Vorverarbeitung auf früheren Kenntnissen von der Art der Probleme basiert, die mit dem neuronalen Netzwerk gelöst werden sollen. So können zum Beispiel verschiedene Klassifikationsprobleme, die mit Hilfe eines neuronalen Netzwerks gelöst werden sollen, verschiedene Formen von nicht-linearen Korrelationen zwischen den Eingangssignale erfordern.

AUFGABE DER ERFINDUNG

In Anbetracht der obengenannten Einschränkungen hat die Erfindung daher zur Aufgabe, ein Informationsverarbeitungssystem mit einer vollkommen neuen neuronalen Netzwerkarchitektur zu schaffen, die eine Integration von Neuronen-Funktionalitäten in größerer Anzahl erlaubt und in hohem Maße technologie-unabhängig ist.

ZUSAMMENFASSUNG DER ERFINDUNG

Die Erfindung schafft ein Informationsverarbeitungssystem mit einem neuronalen Netzwerk mit Neuronen, die durch Synapsen miteinander verbunden sind, wie in Anspruch 1 dargelegt. Das Netzwerk verfügt über ein Eingangsmittel zum Empfangen einer Vielzahl von Eingangssignalen, über ein Ausgangsmittel zum Liefern von mindestens einem Ausgangssignal und über eine Anordnung zwischen dem Eingangsmittel und dem Ausgangsmittel zum Implementieren einer neuronalen Transformation der Vielzahl von Eingangssignalen, um ein Ausgangssignal zu erzeugen. Erfindungsgemäß umfaßt die Anordnung ein physikalisches Medium, das dazu dient, in Reaktion auf die Vielzahl von Eingangssignalen ein Reaktionsfeld durch das Medium zu verbreiten, wobei das Reaktionsfeld nicht-linear von mindestens einem der Eingangssignale abhängig ist. Das Medium weist eine oder mehrere räumlich verteilte Inhomogenitäten auf, die dazu dienen, eine räumliche Abhängigkeit des Feldes zu beeinflussen. Das Medium dient dazu, das Ausgangssignal zu erzeugen, nachdem mindestens eine erste Reaktion, die das Feld am ersten Ort im Medium verkörpert, an das Ausgangsmittel weitergeleitet wurde.
Das erfindungsgemäße Informationsverarbeitungsssytem basiert auf der Erkenntnis, dass das Energieniveau des Grundzustands des Mediums von den vorhandenen Randbedingungen abhängt. Das Anregen des Mediums unter jeweils verschiedenen Randbedingungen führt dazu, dass das Medium sich auf den jeweiligen niedrigsten Zustand einschwingt. Auf diese Weise dienen die Randbedingungen als Eingangssignal und die zugehörige Konfiguration mit der niedrigsten Energie dient als ein Ausgangssignal, dessen nicht-linearer Zusammenhang mit dem Eingangssignal durch die angewendete spezifische Randbedingung bestimmt wird. Auf diese Weise kann die für die Funktion des neuronalen Netzwerks erforderliche Abbildung (Mapping) erreicht werden, indem vollkommen und im wesentlichen kontinuierliche verteilte und kollektive physikalische Eigenschaften eines räumlich inhomogenen Mediums genutzt werden. Das Medium kann ein amorphes oder ein ein strukturiertes Material sein, es kann einen Feststoff, eine Flüssigkeit, ein Gas, ein Plasma, usw. umfassen. Die jeweiligen Eigenschaften sind zum Beispiel mit elektrischen, magnetischen, elektrodynamischen oder akustischen Feldern verbunden oder mit Phänomenen, die eine Umwandlung von zum Beispiel einem elektrischen Feld in ein akustisches Feld beinhalten, usw.
Die nicht-lineare Abbildung und die wechselseitige Signal-Korrelation werden auf eine räumlich vollständig verteilte und parallele Weise erreicht, ohne dass klar definierte Orte für Neuronen-Funktionalitäten und Synapsen-Funktionalitäten erforderlich sind. Dadurch wird die charakteristische Robustheit, die den neuronalen Netzen eigen ist, weiter verstärkt, und - was noch wichtiger ist - die räumlichen Begrenzungen der herkömmlichen konzentrierten Systeme werden vermieden. Demzufolge ist mit der Erfindung eine höhere Dichte der Neuronen- und der Synapsen-Funktionalitäten erreichbar. Darüber hinaus beruht die Implementierung der Erfindung auf der Möglichkeit, die für die Funktion des neuronalen Netzwerks erforderlichen Nicht-Linearitäten auf die Eigenschaften von verschiedenen Materialien und Geräten zuzuschneiden. Da alle Materialien auf die eine oder andere Weise ein nicht-lineares Verhalten aufweisen, erweitert die Erfindung die Reihe der für die funktionelle Realisierung eines neuronales Netzwerks anwendbaren Technologien.
Zu den wesentlichen Aspekten der internen Funktion des neuronalen Netzwerks zählen Signalhemmung und Signalkreuzung. Die Hemmung ist eine Signalfunktion, um den Beitrag des Signals zum kollektiven Verhalten zu verringern oder umzukehren.
Signalkreuzung tritt auf, wenn zwei oder mehr Eingangssignale jeweils zwei oder mehr Ausgangssignale beeinflussen. Wenn die nicht-lineare Kennlinie innerhalb des benutzten Parameterbereichs im wesentlichen monoton verläuft, können weitere Maßnahmen erforderlich sein, um eine Signalhemmung oder Signalkreuzung zu erhalten.
Wenn die Stimulus-Reaktionskennlinie des Mediums im wesentlichen monoton verläuft, umfaßt die Anordnung Codiermittel, die das physikalische Medium mit dem Ausgangsmittel verbinden, um bei wechselseitiger Korrelation der ersten Reaktion und einer zweiten Reaktion das Ausgangssignal zu erzeugen. Das Codieren kann zum Beispiel eine Differenz zwischen einem Reaktionspaar, ein Verhältnis von einer bestimmten Reaktion zu einer gesammelten Summe von Reaktionen, oder eine Änderung einer bestimmten Reaktion aufgrund einer Änderung von einem bestimmten der Eingangssignale beinhalten.
Die Eingangssignale können unterschiedliche Dimensionen haben. Ein Eingangssignal kann die Dimension einer Gleichspannung oder der Energie eines Photons haben, ein anderes kann ein Strom oder eine Wechselspannung sein.
Die Anordnung kann mit einem Verbindungsmittel zwischen mindestens einem zweiten Ort und einem dritten Ort in dem Medium ausgestattet sein, um eine Wechselwirkung zwischen dem Reaktionsfeld am zweiten Ort und dem Reaktionsfeld am dritten Ort zu ermöglichen. Ein derartiges Verbindungsmittel ermöglicht die Umgehung von Naheffekten aufgrund von Abschirmung. Abschirmungseffekte treten in Systemen auf, die im Vergleich zu der Reichweite bestimmter Wechselwirkungen groß sind. Diese Effekte beeinträchtigen die Unterscheidung zwischen Reaktionen auf verschiedene Gruppen von Eingangssignalen. Ab einer bestimmten Größe des erfindungsgemäßen Systems werden daher Auflösung und Rauschen wichtig. Eine Möglichkeit zum Ausgleichen dieser Nachteile besteht darin, mehr Kontakte zu benutzen, um mehr Reaktionen zu extrahieren, die zusammen das (die) Ausgangssignal(e) erzeugen. Eine andere Möglichkeit besteht darin, einige weitreichende Verbindungen (Fernverbindungen) vorzusehen.
Vorzugsweise umfaßt die Anordnung ein Steuermittel, um die räumlich verteilten Inhomogenitäten in Hinblick auf mindestens Position, Größe oder Stärke selektiv zu modifizieren. Wie erwähnt, treten die Inhomogenitäten in Wechselwirkung mit dem kontinuierlichen Feld in dem Medium. Das selektive Modifizieren der Inhomogenitäten schafft eine Lernfunktion für das erfindungsgemäße neuronale Netzwerk.
Eine Implementierung eines erfindungsgemäßen neuronalen Netzwerks ist eine zweidimensionale elektronische Transportschicht bestehend aus verteilten, nicht- linearen Leitungspfaden zwischen Eingangskontakten und Ausgangskontakten. Die Transportschicht kann durch die Nutzung von Subschwellwert-Leitung von Halbleiter-Feldeffekt-Bauelementen oder durch die Verwendung von leitenden granularen Schichten aus organischem Material oder supraleitendem Material geschaffen werden. In einer Halbleiter- Ausführungsform können die Inhomogenitäten durch Inversionsschichten und Verarmungsschichten gebildet werden, welche durch geladene schwebende Gates geschaffen werden. Mit Hilfe eines Mechanismus, der die in einem solchen schwebenden Gate gefangene Ladung modifiziert, können die Inhomogenitäten angepaßt werden.
Eine weitere Ausführungsform nutzt ein nicht-lineares optisches System anstelle der nicht-linearen elektronischen Transportschicht aus dem vorhergehenden Absatz. Ein derartiges System kann zum Beispiel auf der Erzeugung von Tupfenmustern beruhen, d. h. von Interferenzmustern, die durch Streuung hervorgerufen wurden, oder von Mustern der zweiten Oberschwingungen in einem Material mit einem lichtstärkeabhängigen Brechungsindex, wenn es Laserlicht ausgesetzt wird.
Es ist zu beachten, dass in der aktuellen Literatur ein neuronales Netzwerk von Hopfield mit Spinglassystemen in Zusammenhang gebracht wird. Spinglassysteme nehmen ausgehend von dem kollektiven Verhalten von mikroskopischen Spins makroskopische Zustände an. Wenn es einmal angeregt ist, durchläuft das Spinglas eine extrem lange Folge von kollektiven Spinzuständen, bis abhängig von der anfänglichen Erregung ein Gleichgewicht erreicht ist. Dies kann Stunden oder sogar Tage dauern. Näheres hierzu ist zum Beispiel der Abhandlung "Neural networks and physical systems with emergent collective computational abilities" von J. J. Hopfield, Proc. Natl. Acac. Sci., Band 79, Seite 2554-2558, April 1982, und dem Artikel "Der ganz andere Computer: Denken nach Menschenart" von W. Kinzel et al., Bild der Wisschenschaft 1-1988, Seite 37-47, zu entnehmen. Spinglassysteme treten in Materialien wie Au(Fe)- und Cu(Mn)-Legierungen sowie Cd1-xMnxTe semimagnetischen Halbleitern, in elektronischem Dipolgläsern (K0.8Na0.2TaO3), Elektronengläsern (kompensiertes Si oder GaAs) und Wirbelgläsern in Supraleiter-Flächenarrays auf. Abgesehen von den unpraktikabel langen Relaxationszeiten stellen das Kontaktieren und das Lernen bei derartigen Nano-Größenordnungen Probleme dar, die praktisch nicht gelöst werden können, zumindest nicht mit der heutigen Technologie. Darüber hinaus gibt es in diesen physikalischen Systemen aufgrund der endlichen Reihe an physikalischen Wechselwirkungen nicht wirklich volle Konnektivität, die in den Glassystem-Modellen angenommen wird.

KURZE BESCHREIBUNG DER ZEICHNUNG

Die Erfindung wird im folgenden anhand von Beispielen und unter Bezugnahme auf die beigefügte Zeichnung näher beschrieben. Es zeigen:
Fig. 1 die Architektur eines herkömmlichen geschichteten neuronalen Netzwerks;
Fig. 2 ein Beispiel des erfindungsgemäßen neuronalen Netzwerks mit einer inhomogenen nicht-lineare elektrisch leitenden Schicht;
Fig. 3 und 4 Stimulus-Reaktionsdiagramme für die Ausführungsform aus Fig. 2;
Fig. 5 die funktionelle Verteilung von Inhomogenitäten in der Schicht aus Fig. 2;
Fig. 6 und 7 Hintergrundinformationen zu Formeln in dem Text bezüglich der Funktion der nicht-linearen inhomogenen Schicht;
Fig. 8, 9, 10 und 11 ein relativ einfaches quantitatives Beispiel für die Funktion eines erfindungsgemäßen neuronalen Netzwerks;
Fig. 12, 13, 14, 15 und 16 detaillierte Beispiele für den Schichtaufbau in einem erfindungsgemäßen neuronalen Netzwerk.

DETAILLIERTE BESCHREIBUNG DER AUSFÜHRUNGSFORMEN

Trotz der großen Unterschiedlichkeit ihrer Architektur beruht die grundlegende Funktion, die durch neuronale Netzwerke ausgeübt wird, in einer nicht-linearen Abbildung des Eingangs auf den Ausgang, und zwar auf parallele und vorzugsweise adaptive Weise. Nachstehend wird beschrieben, wie eine inhomogene physikalische Substanz mit einer nicht-linearen Stimulus-Reaktionskennlinie im Prinzip genutzt weiden kann, um ein neuronales Netzwerk zu verkörpern. Ein elektronisches Beispiel eines derartigen erfindungsgemäßen Netzwerks wird im folgenden beschrieben. Es ist zu beachten, dass die Erfindung im wesentlichen technologie-unabhängig ist und dass die Prinzipien der Erfindung nicht auf elektronische Ausführungsformen beschränkt sind.

Stand der Technik

Neuronale Netzwerke bestehen aus einer Ansammlung von in hohem Maße miteinander verbundenen einfachen Prozessoren, die sich bei der interessantesten Version selbst adaptiv programmieren, um ein bestimmtes Problem zu lösen. Was neuronale Netzwerke eigentlich attraktiv macht, sind die äußerst vielfältigen Verbindungsarten zwischen den Prozessoren. Diese Verbindungsarten bestimmen die Architektur eines neuronalen Netzwerks, die von einem von Schicht zu Schicht verbundenen Mitkopplungsnetzwerk bis zu einem vollkommen verbundenen Hopfield-Netzwerk reichen kann. Trotz der Vielfältigkeit der Architekturen besteht die grundlegende Funktion der neuronalen Netzwerke immer noch in einer adaptiven, nicht-linearen Abbildung des Eingangs auf den Ausgang auf parallele Weise. Diese nicht-lineare Abbildung wird im folgenden anhand des vereinfachten Drei-Schichten-Netzwerks aus Fig. 1 erläutert.
Fig. 1 zeigt ein Beispiel für eine herkömmliche Architektur eines neuronalen Netzwerks 10. Das neuronale Netzwerk 10 besteht aus einer Vielzahl von aufeinanderfolgenden miteinander verbundenen Neuronenschichten 12, 14 und 16 zwischen einem Eingang 18 und einem Ausgang 20. Jede Verbindung (Synapse), z. B. 22, wichtet das durch ein Quellen-Neuron, z. B. 24, gelieferte Signal mit einem bestimmten Faktor (synaptischer Koeffizient) und leitet das gewichtete Signal an den Eingang eines Zielneurons, z. B. 26, in der nächsten Schicht weiter. Das Zielneuron 26 summiert die auf diese Weise skalierten Beiträge aller seiner Quellen-Neuronen und wendet eine nicht-lineare Funktion (z. B. eine Sigmoid-Funktion) auf die resultierende Summe an, um sein Ausgangssignal zu erzeugen, das seinerseits über die Synapse 30 einem Neuron, z. B. 28, der nächstfolgenden Schicht zugeführt wird. Es ist zu beachten, dass die wesentliche Funktion des neuronalen Netzwerks 10 eine funktionell verteilte und parallele nicht-lineare Abbildung des Eingangs auf den Ausgang ist.

Prinzip der vollkommen verteilten Ausführungsform

Die Erfindung schafft eine Vorrichtung, die eine nicht-lineare Abbildung ermöglicht, wie sie von neuronalen Netzwerken wie dem in Fig. 1 dargestellten Netzwerk bekannt ist, wobei jedoch die konzentrierten Teile eines neuronalen Netzwerks durch volle und im wesentlichen kontinuierliche, räumlich verteilte Funktionalitäten ersetzt werden.
Fig. 2 zeigt ein Beispiel eines erfindungsgemäßen neuronalen Netzwerks 100. Das neuronale Netzwerk 100 umfaßt eine nicht-lineare inhomogene elektronische Schicht 102 mit mehreren Ports und eine Vielzahl von Eingangskontakten 104 sowie eine Vielzahl von Ausgangskontakten 106. Die Eingangsinformationen für die Schicht 102 werden über eine Reihe von N Schaltern 108 zugeführt, die mit den Kontakten 104 verbunden sind. Der binäre (ein oder aus) Zustand eines bestimmten Schalters "i" unter den Schaltern 108 wird mit Xi bezeichnet, wobei i = 1, 2, ... N ist. Die Zustände Xi geben vor, welcher der Kontakte 104 mit der Stromversorgung 110 verbunden ist, die eine Vorspannung V liefert. Die Rohausgabe von Schicht 102 wird als eine Reihe von Reaktionsströmen Ij angenommen, wobei j = 1, 2, .... M ist und wobei die Ströme durch die kleinen Widerstände 112 aus der Vorrichtung Richtung Masse fließen. Obwohl die Eingänge und Ausgänge auch rein kapazitiv sein können, wird in diesem Beispiel die Reaktion des Netzwerks 100 auf eine DC-Anregung durch ohmsche Kontakte 104 und 106 betrachtet. Die Kontakte 104 und 106 sind zwar als an der Peripherie von Schicht 102 angeordnet dargestellt, jedoch braucht dies bei praktischen Implementierungen nicht unbedingt der Fall zu sein. Die Ausführungsform des neuronalen Netzwerks 100 wird in diesem Beispiel als eine planare Vorrichtung angenommen, um die Implementierung zu erleichtern. Die Art der nachstehend geschilderten Vektorabbildung betont die binären Eingangsvektor-Komponenten anstelle der kontinuierlichen Eingangssignale. Dies geschieht, um die Analyse der Beispiele zu vereinfachen.
Es sei angenommen, dass ein Eingangsvektor Xm als eine Reihe von binären Bedingungen (offen = 0, geschlossen = 1) der Schalter 108 dargestellt wird. Der hochgesetzte Index "m" unterscheidet Vektoren, die verschiedenen Gruppen von binären Eingangssignalen entsprechen. Die zugehörigen Reaktionen, d. h. die Komponenten des Stromvektors Im, weisen nicht-lineare Zusammenhänge zwischen den Eingangsvektor- Komponenten Xmi und dem Inhalt des Netzwerks 100 auf. Der Inhalt des Netzwerks 100 wird dargestellt durch das Verteilungsmuster von Inhomogenitäten und Nicht-Linearitäten 114, die als neuronale "Gewichtungen" dienen. Die allgemeine Form des Reaktionsstroms Im kann geschrieben werden als:
(i) Im = V GmXm;
wobei Gm der nicht-lineare Leitwert-Tensor des Netzwerks ist, abhängig von dem Muster m und der Vorspannung V. Es ist zu beachten, dass die Struktur der Formel (i) den Aufbau des Ohmschen Gesetzes widerspiegelt. Mit indexierten Komponenten ausgeschrieben lautet Formel (ii):
(ii) Imj = V ΣMi = 1 Gmji (V)Xmi;
Es wird angenommen, dass das untersuchte System zu diesem Zeitpunkt keine negativen differentiellen Widerstandseigenschaften (NDR) besitzt. Wie nachstehend erläutert, werden viele Codierverfahren, die hier genannt werden, vereinfacht, wenn die Schicht 102 NDR- Eigenschaften aufweist.

Signaldiagramme

Da NDR-Effekte als nicht beteiligt angenommen werden, können die erwarteten Reaktionsströme Imj als eine Funktion des Eingangs-Vorspannungspegels V und die Eingangsvektor-Komponenten Xmi schematisch wie in den Fig. 3 und 4 dargestellt wiedergegeben werden. Fig. 3 zeigt die Abhängigkeit des Stroms Imk, der bei einem Ausgangskontakt "k" in Reaktion auf das Eingangsmuster Xm erzeugt wurde, von der Vorspannung V. Wie deutlich zu sehen ist, ist der Strom Imk eine monotone Funktion von V. Fig. 4 zeigt die Abhängigkeit des Stroms Imk von der Gesamtzahl "n" der geschlossenen Schalter 108. Wieder ist der Strom Imk eine monotone Funktion der Additionen zu der Summe K = ΣMi = 1 Xmi , d. h. von der Gesamtzahl der geschlossenen Schalter 108. Es ist zu beachten, dass die schematische Reaktion von einem der Ausgangskontakte 106 als eine Funktion von Xm aus Fig. 4 der Reaktion ähnelt, die man von einem funktionellen MOS-Transistor erhält, bei dem mehrere kapazitive (Gate-)Eingänge mit einem einzigen Ausgangsstrom (Source-Drain) koppelt sind, um einen Neuron-MOSFET zu bekommen. Siehe bei "A Functional MOS Transistor Featuring Gate-Level Weighted Sum and Threshold Operations", T. Shibata et al., IEEE Trans. Electron Devices, Band 39, 1992, S. 1444 - 1455.
Definierte man aufgrund der monotonen Ausgangsreaktion der nichtlinearen Schicht 102 das Ausgangssignal einfach als:
(iii) Om = Im - ISchwellwert
so würde das Schließen eines weiteren Schalters 108 und/oder die Erhöhung des Vorspannungspegels auf V + dV immer zu einer Änderung der festen Polarität des Ausgangssignals O führen, d. h. in diesem Beispiel zu einer Erhöhung. Mit anderen Worten, die Codierung der Ausgangsinformation entsprechend (iii) ergibt kein hemmendes Verhalten. Wenn eine nicht-lineare Abbildung wie in neuronalen Netzwerken erreicht werden soll, sollten inverse Effekte wie negative Beiträge oder Hemmung durch einige der Eingangssignale Xmi erzeugt werden. Außerdem sollte gezeigt werden, dass eine elektronische Signalkreuzung zwischen zwei entgegengesetzten quergekoppelten Paaren von Eingangs- und Ausgangskontakten möglich ist, um eine Signalkorrelation zu erreichen. Zu diesem Zweck könnten die Nicht- Linearitäten in dem System beim Codieren der Informationen am Ausgang genutzt werden. Die Nicht-Linearitäten können im Gegensatz zu der unipolaren Beschaffenheit der (gesamten) Netzwerkreaktion von unserem System ein positives oder negatives Vorzeichen haben. Eine weitere nützliche Art der Codierung der Reaktionen von der nicht-linearen lei tenden Schicht 102 könnte erreicht werden, indem Effekte höherer Ordnung verstärkt werden. Diese Verstärkung kann erreicht werden, indem differentielle Ausgangssignale oder relative Ausgangssignale benutzt werden. Es können zum Beispiel die folgenden Codierschemata benutzt werden:
(iv) Omj = Imk - Imp;
(v) Omj = Imj/Imtot;
(vi) Omj = δv (Imj).
Die erste Option bei (iv) definiert die Komponente j des Ausgangssignals Om als die Differenz zwischen den Reaktionsströmen an einem Ausgang mit dem Index "k" und an einem Ausgang mit dem Index "p". Die zweite Option bei (v) gibt die Ausgangskomponente j von Om als den Strom Imj normiert auf den Gesamtstrom beim Ein/Aus-Schaltmuster "m" an. Die dritte Option bei (vi) ist der differentielle Ausgang als eine Funktion der Änderungen der Vorspannung V, die an sich als ein Eingangssignal betrachtet werden kann, welches die Reaktionsströme beeinflußt, wie dies die Eingangssignale Xmi tun. Die Vorspannungsänderung kann zum Beispiel eine rampenförmige, eine sinusförmige oder eine gepulste Anregung sein. In Zusammenhang mit dem letztgenannten Fall können auch die Informationen in der Amplitude der verschiedenen Signaloberschwingungen der Vorspannungsänderung codiert werden. Es ist zu beachten, dass die Ausgangsfunktionen (iv) - (vi), vor allem (iv) und (v), recht einfach sind und leicht am Ausgang implementiert werden können. Ein Schwellwertstrom ISchwellwert, j kann von jedem der Ströme Imj subtrahiert werden, um die Polarität der Ergebnisse in jedem Fall zu erkennen. Mit diesen Definitionen ist die oben beschriebene Codierung analog zu der Funktion der Ausgangsneuronen in herkömmlichen neuronalen Netzwerken.
Nachstehend wird anhand von einfachen Beispielen gezeigt, dass die Arten der Codierung (iv) - (vi) Effekte wie Hemmung und Signalkreuzung erlauben. Zu diesem Zweck wird die Gleichung (ii) umgeschrieben als eine Reihenentwicklung:
(vii) Imj = ΣMi = 1[G1j,iXmi V + [ΣMk = 1 G2,jik XmiXmkV² + + [ΣMp=1 Gm3,jikpXmiXmkXmpV³ + ...]]].
Um weiter analytisch fortzufahren, betrachten wir eine nichtlineare leitende Ebene 102 mit nur zwei Eingangskontakten 104 und zwei Ausgangskontakten 106. Der Index m nimmt die Werte = 0, 1, 2 und 3 für die Eingangsvektoren Xm (0,0), (1,0), (0,1) bzw. (1,1) an. Darüber hinaus sei angenommen, dass die Nicht-Linearität in dem System nur auf Terme zweiter Ordnung begrenzt ist. In diesem Fall können die Ströme von (vii) geschrieben werden als:
(viii) Imj = Σ²i = 1[ajiXmi V + [Σ²k = 1 cjikXmiXmkV²]].
Die hier benutzten Koeffizienten "a" und "c" ersetzten die linearen und nicht-linearen Leitwerte G&sub1; bzw. G&sub2;. Die Gleichung (viii) stellt eine Gruppe von acht Gleichungen - zweiter Ordnung bei V - für die beiden Ströme dar. Anhand von Gleichung (viii) und der Codieroptionen (iv) - (vi) wird nachstehend gezeigt, wie man hemmende Effekte und Signalkreuzung in dem vereinfachten nicht-linearen leitenden Schicht-Netzwerk der Erfindung mit zwei Eingangs- und zwei Ausgangskontakten erhält.
Für die erste Codieroption (iv) ist nur ein einziger echter Ausgang zu betrachten, weil in diesem Fall Om&sub1; die Differenz zwischen den Strömen an den beiden Ausgangskontakten nutzt. Mit der obigen Formel läßt sich leicht zeigen, dass das Ausgangssignal des Netzwerks für X³ = (1,1) folgendermaßen lautet:
(ix) O³&sub1; = O¹&sub1; + O²&sub1; + 2(c&sub1;&sub1;&sub2; - c&sub2;&sub1;&sub2;)V²
Die Gleichung (ix) zeigt, dass aufgrund des letzten Terms, der negativ sein kann, O³&sub1; kleiner werden kann als (O¹&sub1;+ O²&sub1;) und - bei geeigneter Wahl der Leitwerte c&sub1;&sub1;&sub2; und c&sub2;&sub1;&sub2; - sogar negativ werden kann. Bei einem solchen Ausgang kann eine XOR-Operatin in dem Netz 100 ohne irgendeine negative Polarität in den einzelnen Strömen Imj realisiert werden. Da herkömmliche neuronale Netze negative Verbindungen oder Hemmung benötigen, um eine XOR-Operation zu erreichen, zeigt das obige Ergebnis, dass die relativen Reaktionen der nicht-linearen leitenden Schicht 102 auch hemmende Informationen weiterleiten, wenn die Nicht-Linearitäten entsprechend gewählt werden. Es ist zu beachten, dass ein solches Resultat bei einer rein linearen Schicht nicht möglich wäre, weil der letzte Term (ix) dann fehlen würde.
Um Signalkreuzung zu zeigen, d. h. ein erstes und ein zweites Ausgangssignal, die jeweils aus Beiträgen von mehr als einem Eingangssignal zusammengesetzt sind, sind mindestens zwei Eingangs- und zwei Ausgangskontakte 104 und 106 erforderlich. Für eine vereinfachte leitende Schicht 102 mit 2 Eingängen/2 Ausgängen wird die Codieroption (v) gewählt. Aus der obigen Schreibweise, bei der m = 0, 1, 2, und 3 für die Eingangsvektoren Xm (0,0), (1,0), (0,1) bzw. (1,1) ist, und mit etwas Algebra wird klar, dass - um eine Signalkreuzung zu bekommen - bewiesen werden muß, dass die folgenden Zustände erreichbar sind:
(x) (O¹&sub1; - O²&sub1;) < 0 und (O¹&sub2; - O²&sub2;) > 0;
oder, in Worten ausgedrückt, dass der Beitrag des Eingangssignals am Kontakt "i = 2" das Ausgangssignal am Kontakt "k = 1" dominiert und dass die Verteilung des Eingangssignals beim Kontakt "i = 1" das Ausgangssignal "k = 2" dominiert. Der Beweis der Validität der Bedingungen (x) entspricht dem Nachweis, dass die Differenz:
(xi) Δ = I²&sub2; I¹&sub1; - I¹&sub2; I²&sub1;
negativ sein kann. Bei einer linearen leitenden Schicht 102 könnte diese Bedingung umgesetzt werden in a&sub1;&sub1;a&sub2;&sub2; < a&sub1;&sub2;a&sub2;&sub1;, was physikalisch nicht akzeptabel ist, da ein größerer Strom von dem am weitesten entfernten aktivierten Eingangskontakt resultieren würde. Um zu zeigen, dass Δ bei einer nicht-linearen leitenden Schicht plausibel negativ sein kann, sei angenommen, dass alle linearen Elemente der linearen Leitwertmatrix gleich sind und dass die Nicht-Linearitäten als kleine Störungen behandelt werden können. Unter diesen Bedingungen ergibt Δ < 0
(xii) c&sub1;&sub2;&sub2; + c&sub2;&sub1;&sub1; > c&sub1;&sub1;&sub1; + c&sub2;&sub2;&sub2;
Diese letzte Bedingung kann leicht durch sublineare (sättigende) direkte Leitwerte und durch superlineare Querleitwerte erfüllt werden. Dieser Effekt läßt sich in einem Widerstandsnetz in Sternschaltung leicht demonstrieren, bei dem jeder Zweig einen linearen Widerstand enthält bis auf einen Zweig, der einen nicht-linearen Widerstand enthält. Wenn: a) einer der Ausgänge mit dem nicht-linearen Widerstand verbunden wird und der andere Ausgang mit einem linearen Widerstand; und b) einer der Eingänge mit dem verbleibenden linearen Widerstand verbunden wird und der andere mit dem mittleren Knotenpunkt, so kann die Zuführung der Eingangssignale (1,0) und (0,1) bei geeigneter Wahl von Widerstandswerten und Nicht-Linearität differentielle Ausgangssignale (0,1) und (1,0) erzeugen. Ähnliche Beispiele können für das bei (vi) genannte Codierverfahren angeführt werden. Wie bereits erwähnt, können in diesem letzten Fall zusätzlich zu den Flanken der Leitwertänderungen auch Ausgangsoberschwingungen der periodischen Eingangssignale benutzt werden.

Physikalische Funktionsweise

Um weiter ins Detail zu gehen, betrachten wir eine Vorrichtung mit einer zweidimensionalen nicht-linearen leitenden Schicht, die eine inhomogene Oberflächen- Inversionsschicht in einem Feldeffekt-Bauelement darstellt. Es wird angenommen, dass diese Schicht aus einer Anordnung von Elektronenklumpen mit wechselseitig unterschiedlichen Elektronendichten aufgrund von Unterschieden in der Oberflächen-Potentialvertei lung besteht. Nachstehend wird gezeigt, dass die inhärenten nicht-linearen Vektorabbildungsfähigkeiten einer nicht-linearen leitenden Oberflächenschicht in dieser einfachsten Form erreicht werden. Jegliche zusätzlichen Merkmale, die in einer späteren Phase eingeführt werden, werden dann die Effekte verstärken. Das physikalische Verhalten des hier untersuchten Bauelement-Konzepts kann als vergleichbar mit dem Verhalten des weiter oben erwähnten experimentellen MOS-Bauelements von Shibata betrachtet werden. Das Bauelement nach dem Stand der Technik von Shibata dient jedoch nur zum Implementieren der synaptischen Verbindungen für ein einziges Neuron. Im Gegensatz zu der genannten Technik wird die nicht-lineare elektronische Schicht bei der Erfindung als ein verteiltes neuronales Transformationssystem benutzt, um als ein voll neuronales Netzwerk zwischen mehreren Eingangsanschlüssen und mehreren Ausgangsanschlüssen zu fungieren. Dieser entscheidende Unterschied kann eine geeignete Codierung erfordern, wie in dem vorhergehenden Abschnitt beschrieben, um die gewünschten Informationen extrahieren zu können.
Fig. 5 zeigt schematisch eine derartige erfindungsgemäße Vorrichtung 300. Die Vorrichtung 300 umfaßt funktionell eine inhomogene Gruppierung von Punkten, die die Orte der freien Elektronenklumpen, zum Beispiel 302 und 304, in einer inhomogenen Oberflächen-Inversionsschicht in einem Feldeffekt-Bauelement darstellen. Die Klumpen 302 und 304 werden durch gefangene positive Ladungen innerhalb eines Isolators (nicht abgebildet) an der Oberfläche gebildet. Diese Elektronenklumpen sind durch nicht-lineare Kapazitäten, z. B. 306, und nicht-lineare Leitwerte, z. B. 308, elektrisch miteinander gekoppelt, was hier schematisch nur für das Klumpenpaar 302 und 304 dargestellt ist. Jeder dieser Klumpen ist außerdem kapazitiv mit Masse verbunden, was hier für einen einzigen Klumpen 310 dargestellt ist, der über die Kapazität 312 mit Masse verbunden ist. Die Eingangs- und Ausgangssignale werden an Kontakten an der Peripherie über lineare Widerstände, von denen nur die Widerstände 314 und 316 abgebildet sind, zugeführt bzw. ausgegeben. Wie oben erwähnt, brauchen die Eingangs- und Ausgangskontakte nicht immer an der Peripherie angeordnet zu sein, sondern können auch auf Oberfläche verteilt sein. Die letztgenannte Option kann zum Beispiel für Bildverarbeitungsanwendungen besonders vorteilhaft sein, wo das Eingangssignal optisch der frontalen Oberfläche als zweidimensionales Signal zugeführt wird.
Der Transport in der in Fig. 5 dargestellten Schicht wird durch vereinfachte und normierte Gleichungen modelliert, die sich den grundlegenden Merkmalen der Leitung in einer inhomogenen Oberflächen-Inversionsschicht eines großflächen Subschwellwert- Halbleiterbauelementes annähern. Weitere Hintergrundinformationen zu den physikalischen Aspekten sind der Abhandlung von Shibata zu entnehmen. Der nicht-lineare Strom, der in den Klumpen fließt, wird angegeben durch:
(xiii) Idot,i = exp(α/T) für α < 0;
Idot,i = 1 + (α/T) für α ≥ 0;
wobei Idot,i den Netto-Elektronenfluß aus einem Klumpen ist, der Klumpen durch den Index "i" bezeichnet wird und α definiert wird durch:
(xiv) α = (EF,i - Ebar,i);
EF,i ist dabei der Fermi-Pegel des Klumpens "i", Ebar,i stellt die Höhe der Potentialbarriere zwischen dem Klumpen "i" und einem seiner Nachbarn "j" dar, und T ist eine normierte Absoluttemperatur. Die Barrierenhöhe Ebar,i in einem echten Bauelement hängt von dem Potential ab, das zwischen Elektronenklumpen auftritt, und wird durch die folgende empirische Gleichung angegeben:
(xv) Ebar,i = Ec,i + [b&sub0; - b&sub1; (Ec,i+1 - Ec,i)];
wobei Ec,i der Leitungsbandrand ist und b&sub0; und b&sub1; Konstanten sind. Diese Größen sind in Fig. 6 dargestellt.
Es wird angenommen, dass die Kapazitäten zwischen zwei Klumpen abhängig von der Anzahl Träger in diesen Klumpen sind, und sie werden angegeben durch:
(xvi) Cij = d&sub0;/(d&sub1; - qi - qj);
wobei d&sub0; und d&sub1; Konstanten sind und qi sowie qj die Anzahl der Ladungen im Klumpen "i" bzw. im benachbarten Klumpen "j" darstellen. Diese Gleichung spiegelt die Tatsache wider, dass die Kapazitäten, z. B. 306, zwischen Klumpen mit weniger Ladungen kleiner sind. Die Kapazität 312 zwischen jedem Klumpen und Masse wird als eine Konstante genommen. Es wurde nicht besonders darauf geachtet; die Form oder die Parameter in diesen Gleichungen an wirkliche Bauelemente anzupassen. Hierfür muß man mit den Gleichungen auf Bauelement-Ebene beginnen, die (in diesem Beispiel) die MOS-Physik behandeln. Dies ist zur Zeit nicht erforderlich, da nur das Grundkonzept der Vektorabbildung in einer allgemeinen nicht-linearen Schicht dargestellt wird. Die genaue Form der Nicht-Linearitäten erscheint nicht entscheidend für die Funktion der leitenden Schicht als ein Vektorabbildungsnetzwerk. Die Reaktion des oben beschriebenen Modellsystems wurde numerisch berechnet, indem die diskretisierte Poisson-Gleichung und die Strom-Kontinuitätsgleichung herangezogen wurden.
Bei dem oben beschriebenen Modell wird zuerst die Eingangsvorspannungs- Abhängigkeit der Leitwerte, z. B. 308, in der Schicht untersucht. Dies geschieht, indem die Eingangsvorspannung V an nur einen der Eingänge des Bauelementes angelegt wird und der Gesamtstrom durch das Bauelement als Funktion des Wertes V der Eingangsvorspannung beobachtet wird. Die Ergebnisse sind in Fig. 7 für zwei verschiedene Werte der Eingangs-/Ausgangswiderstände 314 und 316 dargestellt. Das grundlegende Aussehen dieser Kennlinien ähnelt dem Verhalten eines einzigen MOSFET unterhalb des Schwellwertes. In dem vorliegenden Fall haben wir jedoch funktionell eine Ansammlung von miteinander verbundenen schwebenden Subschwellwert-MOSFETs. Die Ergebnisse in dieser Figur können auch interpretiert werden als vorspannungsabhängige "Perkolation" durch die Klumpen des Bauelementes. Im Gegensatz zu echten perkolativen Modellen gibt es jedoch kein deutliches Abschalten auf einen Strom gleich null bei geringen Vorspannungen, da der von null abweichende Temperaturparameter in den Berechnungen berücksichtigt wurde.
Im folgenden wird das Eingangs-/Ausgangs-Verhältnis für ein Beispiel 400 mit 3 Eingängen und 5 Ausgängen des Bauelementes 300 unter Bezugnahme auf die Fig. 8, 9 und 10 beschrieben. Das Bauelement 400 umfaßt eine nicht-lineare leitende Schicht 402 mit drei Eingangskontakten 404, 406 und 408, die über die Schalter 410, 412 und 414 mit der Stromversorgung V verbunden werden können. Die Schicht 402 umfaßt weiterhin fünf Ausgangskontakte 416, 418, 420, 422 und 424, um die Reaktionsströme I1 - I5 in Abhängigkeit davon zu liefern, welche der Schalter 410-414 geschlossen sind. Die Reaktionsströme werden einer Schaltung 426 zugeführt, um die differentiellen Größen zu bestimmen, wie oben bei Gleichung (iv) erörtert. Es ist zu beachten, dass die Schaltung 426 ein einfacher Widerstand sein kann, der zwischen zwei Ausgangskontakte geschaltet ist. Die Spannung an diesem Widerstand gibt dann den Nettostrom durch den Widerstand an.
Fig. 9 zeigt eine Tabelle 1 mit den Werten der Reaktionsströme I1 - I5 in vorgegebenen Einheiten, z. B. mA, als Funktion der Eingangsmuster X von geöffneten oder geschlossenen Schaltern 410-414. In Vektorschreibweise ist X = (X1, X2, X3)T, wobei X1 dem Zustand von Schalter 410 entspricht, X2 dem Zustand von Schalter 412 und X3 dem Zustand von Schalter 414. Die Komponente Xi ist eins, wenn der entsprechende von den Schaltern 410-414 geschlossen ist, wodurch die Stromversorgung V mit einem entsprechenden der Kontakte 404-406 verbunden wird, und ist ansonsten null. In diesem Beispiel wird davon ausgegangen, dass der Ausgangskontakt 422 nicht verbunden ist. Fig. 10 zeigt eine Tabelle II mit den differentiellen Werten für die Ströme I2 und I1 und für die Ströme I3 und I5. Die Informationen von Tabelle II sind in Fig. 11 in einem Diagramm veranschaulicht. Fig. 11 zeigt deutlich, wie sich das Ausgangssignal 15-13 vom Positiven ins Negative ändert, oder - mit anderen Worten - zu einer Invertierung führt, wenn das System weitere Eingangssignale empfängt. Das Ausgangssignal I2 - I1 zeigt andererseits die XOR- Operation und damit das Signalkreuzen, wenn die Eingangsvektoren (100), (010), (110) und (000) die Ausgangssignale mit der Polarität (+), (+), (-) bzw. (-) in bezug auf zum Beispiel einen Pegel von I2-I1 gleich 3,5 A erzeugen. Ein Logik-Ausgangssignal wird auf einfache Weise durch geeignete Schwellwerte und anschließende Begrenzung erzeugt. Andere Codierschemata als dasjenige, welches zu differentiellen Ausgangssignalen führt, zum Beispiel die Codierschemata aus den Gleichungen (v) und (vi), führen zu einer Invertierung und auch zu einer Signalkreuzung. Die hier genannten Beispiele für Ausgangssignale erhält man, nachdem die leitende nicht-lineare Schicht 402 einen stabilen Gleichgewichtszustand erreicht hat. Wenn die Ausgangsstromwerte erfaßt werden, bevor ein solcher stabiler Zustand erreicht ist, können die relativen Werte der Ausgangsströme in einer derartigen leitenden Ebene vollkommen von den in Tabelle II aufgeführten Werten abweichen. Das Mischen der Signale in diesem transienten Bereich kann sich als leichter erreichbar erweisen als das Mischen in der Situation des stabilen Zustands.
Ein NDR-Effekt (negativer differentieller Widerstand) wird in der inhomogenen Inversionsschicht-Anordnung erreicht, indem man den Strom als Funktion der zunehmenden Vorspannungsdifferenz an den Elektronenklumpen leicht abnehmen läßt. Aufgrund dieses NDR-Effektes sind die relativen Orte der Ausgangsstromwerte für die verschiedenen Eingangsvektor-Konfigurationen stark vermischt. Außerdem weisen die Eingangsknotenpunkt-Stromwerte ebenfalls eine solche nicht-lineare Vermischung auf. Es ist offensichtlich, dass derartige Reaktionen durch einfache Schwellentransformation zu nichttrivialen nicht-linearen Vektorabbildungen führen, ohne dass eines der in (iv), (v) und (vi) genannten Codierungsverfahren angewendet werden muß.
Fig. 12 zeigt einen Teil einer nicht-linearen inhomogenen elektrisch leitenden Transportstruktur 500 zur Verwendung als eine Schicht 102 in einem erfindungsgemäßen neuronalen Netzwerk. Die Struktur 500 umfaßt ein Halbleitersubstrat 502, zum Beispiel P-dotiertes Silizium, und eine elektrisch isolierende Schicht 504, zum Beispiel Siliziumdioxid. Die Schicht 504 ist mit Ladungseinfanggebieten 506, 508, 510, 512, 514 und 516 versehen, die zum Beispiel aus polykristallinem Silizium oder Siliziumnitrid bestehen. Elektrische Ladungen von einem vorgegebenen Polaritätstyp, in diesem Beispiel von posi tiver Polarität, die in einer oder in mehreren der Gebiete 506-516 gefangen sind, induzieren Inversionsgebiete, zum Beispiel 518, 520, 522 und 524, und Verarmungsgebiete, zum Beispiel 526 und 528, in dem Substrat 502 nahe der Isolierschicht 504. Gefangene elektrische Ladungen der anderen Polarität, in diesem Fall von negativer Polarität, induzieren Ansammlungsgebiete, zum Beispiel 530, in dem Substrat 502 nahe der Isolierschicht 504. Die gefangenen Ladungen spezifizieren damit ortsabhängige Leitfähigkeitseigenschaften im Substrat 502, die eine elektrische Transportstruktur 500 auf der Basis der Feldeffektfunktion aufbauen.
In Fig. 13 ist ein Ausschnitt 600 der Struktur 500 in einem erfindungsgemäßen neuronalen Netzwerk dargestellt. Der Ausschnitt 600 umfaßt einen Teil des Substrats 502 und der Isolierschicht 504, die unter Bezugnahme auf Fig. 12 beschrieben wurden. Die Isolierschicht 504 enthält Ladungseinfanggebiete 606, 608, 610 und 612, um Inversionsgebiete, Verarmungsgebiete und Ansammlungsgebiete zu schaffen, wie weiter oben beschrieben. Ein ohmscher Kontakt 614, zum Beispiel aus Aluminium, an einer N- dotierten Region 616 im P-dotierten Substrat 502 wird benutzt, um ein Eingangssignal zuzuführen oder den Reaktionsstrom zu transportieren, der an diesem Ort durch die Eingangssignale hervorgerufen wird.
Alternativ kann der Kontakt 614 als eine zusätzliche weitreichende Verbindung benutzt werden, um zwei oder mehr entfernte Bereiche des Substrats 502 galvanisch oder kapazitiv zu koppeln, zum Beispiel um Naheffekte aufgrund der Abschirmung zu umgehen. Die Kontakte 618 und 620 werden als kapazitive Eingänge zum Substrat 502 benutzt, und zwar entweder direkt wie 620 oder indirekt über Ladungsspeichergebiete 608 und 610. Wieder werden die Kontakte 618 und 620 individuell benutzt, um ein extern erzeugtes Eingangssignal oder ein intern erzeugtes Signal mittels Rückkopplungsmechanismus zuzuführen.
Es ist zu beachten, dass bei der in Fig. 13 dargestellten Struktur ein recht homogenes und im wesentlichen gleichförmig dotiertes Substrat 502 benutzt wird. Die durch die in den Gebieten 606-610 gefangenen Ladungen induzierten Inhomogenitäten sind nur Störungen, die einer homogenen Konfiguration überlagert werden. Diese einfache Anordnung reicht aus, um eine nicht-lineare und vollkommen verteilte Abbildung wie in einem herkömmlichen neuronalen Netzwerk zu erreichen. Das Substrat 502 kann jedoch zusätzlich eine Gruppierung von N-dotierten Gebieten (hier nicht abgebildet) oder Heterostrukturgebieten (hier nicht abgebildet) angrenzend an die Isolierschicht 504 umfassen, um die elektrischen Transporteigenschaften durch NDR-Effekte oder optoelektronische Effekte zu verbessern.

Weitbereich

Die obengenannten Abschirmungseffekte treten in Systemen auf, die im Vergleich zu der Reichweite von bestimmten Interaktionen groß sind. Diese Effekte beeinträchtigen die Unterscheidung zwischen Reaktionen auf verschiedene Gruppen von Eingangssignalen. Jenseits einer bestimmten Größe des erfindungsgemäßen Systems beginnen daher Auflösung und Rauschen eine Rolle zu spielen. Eine Möglichkeit zum Kompensieren dieser Nachteile besteht darin, mehr Kontakte zu benutzen, um mehr Reaktionen zu extrahieren, die zusammen das (die) Ausgangssignal(e) erzeugen. Eine andere Möglichkeit, die weiter oben bereits kurz erwähnt wurde, besteht darin, einige weitreichende Verbindungen - leitend oder kapazitiv - zwischen verschiedenen Orten verteilt über das Bauelement vorzusehen. Dies könnte erreicht werden durch ein Muster von im wesentlichen gleichen Leitwertabständen zwischen den verbundenen Orten. In Fig. 14 ist ein Beispiel für eine derartige Anordnung 700 dargestellt, die in einer Technologie ausgeführt ist, welche der für den Ausschnitt 600 aus Fig. 13 entspricht. Die Anordnung 700 umfaßt ein Halbleitersubstrat 702 mit einer Vielzahl von Eingangskontakten und Ausgangskontakten 704 und 706, einer Vielzahl von inhomogenen Gebieten wie 708 und 710, und einer Vielzahl von Fernverbindungen wie 712, 714 und 716. Die Fernverbindungen 712-716 dienen zum Ausgleichen einer mittleren elektrischen Pfadlänge zwischen verschiedenen Eingangs- und Ausgangs- Kontaktpaaren. Da die Anordnung 700 in großem Maßstab inhomogen ist und sich in einem leitenden Zustand befindet, ist zu erwarten, dass die Anzahl der Fernverbindungen 712 - 716 relativ klein ist. Es ist zu beachten, dass eine Integration im Wafer-Maßstab eine geeignete Technologie darstellt, um ausgedehnte Versionen eines derartigen Systems zu implementieren.

Lernen

Zum Schaffen von Lernmöglichkeiten werden einige Maßnahmen benötigt, um die Transporteigenschaften des Substrats 502 selektiv zu modifizieren, indem zum Beispiel die Menge der in den Einfanggebieten 506-516 gefangenen Ladung modifiziert wird. Bekanntermaßen lernen herkömmliche neuronale Netzwerke durch Anpassung der Stärken (oder Gewichtungen oder synaptischen Koeffizienten) der Synapsen auf der Basis von Lernbeispielen. Eine bekannte Lernstrategie ist der Rückführungsmechanismus, der auf ein geschichtetes Netzwerk angewendet wird, wie es in Fig. 1 dargestellt ist. Hier definiert die Diskrepanz zwischen einem erhaltenen Ausgangssignal der Schicht 16 und einem gewünschten Ausgangssignal eine Fehlergröße, die durch eine Änderung der synaptischen Koeffizienten gemäß einem Algorithmus des steilsten Abfalls minimiert wird. Dieses Verfahren beruht auf der Individualität jeder Neuronen-Funktionalität und jeder Synapsen- Funktionalität. Es ist zu beachten, dass bei der vorliegenden Erfindung individuelle Neuronen und individuelle Synapsen nicht unterschieden werden können.
In Fig. 15 ist ein Beispiel eines erfindungsgemäßen neuronalen Netzwerks mit einer elektrischen Transportstruktur 800 mit Lernmöglichkeiten dargestellt. Da die Struktur 800 dem Ausschnitt 600 teilweise ähnelt, wird auf Fig. 13 und die obige Beschreibung der elektrischen Transportaspekte Bezug genommen. Die Struktur 800 umfaßt ein Halbleitersubstrat 802, zum Beispiel aus P-dotiertem Silizium, eine elektrisch isolierende Schicht 804, zum Beispiel aus Siliziumdioxid, eine Ladungseinfangschicht 806, zum Beispiel aus polykristallinem Silizium, Inseln aus polykristallinem Silizium, die in eine Isolierschicht 804 eingebettet sind, oder aus Siliziumnitrid, eine piezoelektrische Schicht 808, zum Beispiel aus Zinkoxid, zur Ausbreitung von mechanischen Spannungswellen und elektrisch getrennt von Schicht 806, eine Isolierschicht 810, zum Beispiel aus Siliziumdioxid, und eine elektrisch leitende Schicht 812, zum Beispiel Aluminium oder Wolfram, die als ein (globales) Gate wie in einem Feldeffekttransistor funktioniert.
Das Lernen geht folgendermaßen vor sich. Es sei angenommen, dass die anfängliche Verteilung der gefangenen Ladungen in Schicht 806 zu fehlerhaften Reaktionen führt, wenn eine bestimmte Gruppe von vorgegebenen Eingangssignalen zugeführt wird. Die mechanischen Spannungswellen werden in der piezoelektrischen Schicht 808 von finiter Größe erzeugt. Die Wellen können stochastisch sein. Aufgrund von Reflexionen in der Schicht 808 entsteht ein Stehwellenmuster. Dieses wiederum erzeugt zusätzlich zu dem elektrischen Feld der gefangenen Ladungen in Schicht 806 ein stehendes elektrisches Feld, das die elektrischen Transporteigenschaften im Substrat 802 beeinflußt. Dieses Spannungsmuster verbessert die Reaktionen oder es verschlechtert sie. Wenn das Spannungsmuster die Reaktionen verbessert, wird die durch das zugehörige elektrische Feld erzeugte Störung eingefroren. Die Effekte des Spannungsfeldes werden durch eine Modifikation der Verteilung der gefangenen Ladung ersetzt. Eine Möglichkeit hierfür besteht darin, eine Vorspannung an das globale Gate 812 anzulegen. Eine solche Vorspannung sollte genau unter der Tunnelschwelle zwischen der Ladungseinfangschicht 806 und dem Substrat 802 liegen. Dies ist vergleichbar mit dem Schreib-/Lösch-Schwellwert von EEPROMs. Das durch das räumlich variierende Spannungsfeld erzeugte elektrische Feld wird zu der konstanten Vorspannung des globalen Gate 812 addiert. Demzufolge wird das gesamte elektrische Feld zwischen der Ladungseinfangschicht 806 und dem Substrat 802 selektiv gesteuert, um den Schwellwert lokal zu überschreiten oder darunter zu bleiben und so selektiv ein Ladungstunneln zu ermöglichen. Diese Art des Lernens kann als "stochastisches Lernen" bezeichnet werden.
Es sind viele Abwandlungen bei der Anwendung von Vorspannung, Spannungsfeld und Ladungseinfangen möglich. Bei einem geeigneten Entwurf kann zum Beispiel das Aufladen durch Ladungstransport zum und vom globalen Gate 812 erreicht werden. Eine Vielzahl von untereinander elektrisch getrennten globalen Gates 812 kann in einem vorgegebenen geometrischen Muster angeordnet werden. Es ist zu beachten, dass zum Beispiel 6aAs piezoelektrisch ist. Eine epitaktische GaAs-Schicht, die durch eine Isolierschicht von einem GaAs-Substrat getrennt ist, kann sowohl piezoelektrische Funktionen als auch elektronischen Signaltransport liefern. Auch die Schichten 806-810 können durch eine Schicht aus ferroelektrischem Material ersetzt werden. Ein ferroelektrisches Material ist bekanntlich ein Material mit Gebieten, deren elektrisches Dipolfelder selektiv modifiziert werden können. Ferroelektrische Materialien werden in bestimmten Arten von nichtflüchtigen Speichern benutzt.
Fig. 16 zeigt ein weiteres Beispiel für eine geschichtete Struktur 900 zur Verwendung als eine Zelle in einem lernenden erfindungsgemäßen neuronalen Netzwerk auf der Basis von Optoelektronik. Die Struktur 900 umfaßt ein Halbleitersubstrat 902, zum Beispiel aus P-dotiertem Silizium, eine Isolierschicht 904, zum Beispiel aus Siliziumdioxid, und ein Ladungseinfanggebiet 906, zum Beispiel aus polykristallinem Silizium, eingebettet in eine Isolierschicht 904. Eine obere Fläche 908 der Struktur 900 trägt die Elektroden 910 und 912, die mit entgegengesetzten Polen einer Stromversorgung (nicht abgebildet) verbunden sind. Die Elektrode 912 ist mit einer Photodiode 914 verbunden und die Elektrode 910 mit einem Widerstand 916. Die Photodiode 914 und der Widerstand 916 sind über einen Knotenpunkt 918 nahe des Ladungseinfanggebietes 906 miteinander verbunden. Auf die Photodiode 914 auftreffende Lichtstrahlen 920 verursachen eine Änderung des Potentials am Knotenpunkt 918, wodurch die Ladungsverteilung lokal beeinflußt wird und damit die Transporteigenschaften des Substrats. Bei einem verbesserten Ausgang (Lernen) des neuronalen Netzwerks aufgrund dieser Änderungen wird die gefangene Ladung im Gebiet 906 angepaßt, indem eine große Vorspannung, zum Beispiel über die Elektroden 910 und 912 angelegt wird, um eine Tunnelung zwischen den Elektroden 910 oder 912 und dem Ladungseinfanggebiet 906 hervorzurufen.
Eine Vielzahl derartige Zellen von Photodioden und Widerständen kann in einer vorgegebenen Konfiguration angeordnet werden, zum Beispiel in einem rechteckigen Gitter oder auf radiale Weise, um die Netzhaut zu imitieren und eine Mustererkennung zu ermöglichen. Jedes Bildelement eines Bildes wird dann auf eine entsprechende Photodiode abgebildeet, wodurch die zugehörigen Transporteigenschaften in Form von Verarmungsschichten 920 und Inversionsschichten 922 beeinflußt werden.

Claims

1. Informationsverarbeitungssystem mit einem neuronalen Netzwerk mit Neuronen, die durch Synapsen miteinander verbunden sind, wobei das Netzwerk über ein Eingangsmittel (104) zum Empfangen einer Vielzahl von Eingangssignalen (Xi), über ein Ausgangsmittel (106) zum Liefern von mindestens einem Ausgangssignal (Fi) des neuronalen Netzwerks und über eine Anordnung (102) zwischen dem genannten Eingangsmittel und dem genannten Ausgangsmittel verfügt, um eine neuronale Transformation der Vielzahl der genannten Eingangssignale zu implementieren, um das genannte mindestens eine Ausgangssignal zu erzeugen, wobei das genannte Informationsverarbeitungssystem dadurch gekennzeichnet ist, dass die Anordnung ein physikalisches Medium (500) umfaßt, das dazu dient, in Reaktion auf die Vielzahl von Eingangssignalen ein Reaktionsfeld durch das Medium zu verbreiten, wobei das Reaktionsfeld nicht-linear von mindestens einem der Eingangssignale abhängig ist; und dadurch, dass das Medium mindestens eine räumlich verteilte Inhomogenität aufweist, die dazu dient, die räumliche Abhängigkeit des Feldes zu beeinflussen, wobei das Medium dient dazu, das Ausgangssignal zu erzeugen, nachdem mindestens eine erste Reaktion, die das Feld am ersten Ort im Medium verkörpert, an das Ausgangsmittel weitergeleitet wurde.

2. System nach Anspruch 1, wobei die Anordnung Codiermittel enthält, die das physikalische Medium mit dem Ausgangsmittel koppeln, um bei wechselseitiger Korrelation der ersten Reaktion und einer zweiten Reaktion das Ausgangssignal zu erzeugen.

3. System nach Anspruch 2, wobei das Codiermittel dazu dient, mindestens eine der folgenden Korrelationen durchzuführen:

- Erzeugen eines jeweiligen Ausgangssignals, das eine Differenz zwischen einem bestimmten Paar von Reaktionen beinhaltet;

- Erzeugen eines jeweiligen Ausgangssignals, das ein Verhältnis von einer bestimmten Reaktion zu einer Summe von Reaktionen beinhaltet;

- Erzeugen eines jeweiligen Ausgangssignals, das eine Änderung einer bestimmten Reaktion aufgrund einer Änderung von einem bestimmten der Eingangssignale beinhaltet.

4. System nach Anspruch 1, 2 oder 3, wobei ein erstes der Eingangssignale eine erste physikalische Dimension aufweist und ein zweites der Eingangssignale eine zweite physikalische Dimension besitzt, die sich von der ersten physikalischen Dimension unterscheidet.

5. System nach Anspruch 1, wobei die Anordnung ein Verbindungsmittel zwischen mindestens einem zweiten Ort und einem dritten Ort in dem Medium besitzt, um eine Wechselwirkung zwischen dem Reaktionsfeld am zweiten Ort und dem Reaktionsfeld am dritten Ort zu ermöglichen.

6. System nach Anspruch 1, wobei die Anordnung ein Steuermittel umfaßt, um zumindest eine Inhomogenität in Bezug auf mindestens Position, Größe oder Stärke selektiv zu modifizieren.

7. System nach Anspruch 1, wobei die Anordnung ein Halbleitersubstrat umfaßt, wobei die Inhomogenität mindestens ein Verarmungsgebiet oder ein Inversionsgebiet umfaßt.

8. System nach Anspruch 7, wobei die Anordnung ein Ladungseinfanggebiet umfaßt, das dazu dient, das Verarmungsgebiet oder das Inversionsgebiet herbeizuführen.

9. System nach Anspruch 1, wobei die Anordnung ein Steuermittel umfaßt, um zumindest eine Inhomogenität in Bezug auf mindestens Position, Größe oder Stärke selektiv zu modifizieren; wobei die Anordnung ein Ladungseinfanggebiet umfaßt, um das Verarmungsgebiet oder das Inversionsgebiet herbeizuführen; und wobei die Steuermittel eine piezoelektrische Schicht umfassen, um bei der Ausbreitung von Spannungswellen durch die piezoelektrische Schicht ein ortsabhängiges elektrisches Feld zu schaffen und daraufhin selektiv eine Tunnelschwelle für elektrische Ladungen zum oder vom Ladungseinfanggebiet zu bestimmen.

10. System nach Anspruch 1, wobei die Anordnung ein Steuermittel umfaßt, um mindestens eine Inhomogenität in Bezug auf mindestens Position, Größe oder Stärke selektiv zu modifizieren; wobei die Anordnung ein Ladungseinfanggebiet umfaßt, um das Verarmungsgebiet oder das Inversionsgebiet herbeizuführen; und wobei das Steuermittel ein photoelektrisches Element umfaßt, um eine lichtabhängige Spannung zu liefern und um daraufhin selektiv eine Tunnelschwelle für elektrische Ladungen zum oder vom Ladungseinfanggebiet zu bestimmen.

11. System nach Anspruch 1, wobei die Anordnung ein Steuermittel umfaßt, um mindestens eine Inhomogenität in Bezug auf mindestens Position, Größe oder Stärke selek tiv zu modifizieren; wobei die Anordnung ein Halbleitersubstrat umfaßt, wobei die Inhomogenität mindestens ein Verarmungsgebiet oder ein Inversionsgebiet umfaßt; und wobei das Steuermittel eine ferroelektrische Schicht umfaßt, die dazu dient, ein ortsabhängiges elektrisches Feld zu erzeugen, indem eine Polarisationsrotation eines ferroelektrischen Gebietes in der ferroelektrischen Schicht selektiv bestimmt wird.