<Desc/Clms Page number 1>
Diese Erfindung betrifft ein Gerät, das nach dem Pnnzip neuronaler Netzwerke arbeitet, wobei die Gewichte der Synapsenverbindungen zwischen den Neuronenelementen direkt digital adressierbar sind, die Neuronenelemente über die Synapsenverbindungen durch optische Signale angesteuert werden, jedes Neuronenelement als elektronische Schaltung aufgebaut ist und zumindest einen lichtempfindlichen Emgang und einen lichtaussendenden Ausgang aufweist und die Synapsengewichte durch direkt digital ansteuerbare Abschattungsvorrichtungen innerhalb der Synapsenverbindungen zwischen den Neuronen gegeben sind, die Abschattungsvornchtung aus einer Anordnung von n direkt ansteuerbaren Elementen von in elektrischen Feldern polarisierenden Flüssigkristallen in Verbindung mit einem permanent wirkenden Polarisationsfilter besteht.
Die Ursprünge neuronaler Netzwerkmodelle reichen bis in die vierziger Jahre dieses Jahrhunderts zurück. Die anfängliche Motivation für die Entwicklung von Modellen solcher Netzwerke bestand dann, die Vorgänge Im menschlichen bzw. tierischen Gehirn zu erforschen. In letzter Zeit gewinnen jedoch auch die technischen Anwendungsmöglichkeiten bestimmter Modelle zunehmend an Bedeutung, wobei aber die Analogien zum biologischen Aufbau von Nervenzellen nicht Immer gegeben sind.
Für Problemstellungen wie Mustererkennung, Schnfterkennung, Spracherkennung und Robotersteuerung, um nur einige Beispiele zu nennen, existieren aber bereits theoretisch sehr brauchbare Modelle für die Eigenschaften und Verschaltungen von Neuronen und, noch wichtiger, Algorithmen um das neuronale Netz auf eine bestimmte Aufgabe zu trainieren (Für eine Beschreibung der Funktionsweise von neuronalen Netzwerken und der Lernalgonthmen siehe z. B. H. Fetter, T. Martinez und K. Schutten."Neuronale Netze", Addison-Wesley 1991).
Allen Modellen ist gemeinsam, dass ein Neuron über Synapsen an andere Neuronen gekoppelt ist, wobei jedes einzelne Synapsengewicht, also das Mass dafür, wie stark ein Reiz von einem Neuron an ein anderes weitergegeben wird, verändert wird, um das Netz an die gestellte Aufgabe anzupassen. Das Netz lernt
EMI1.1
bestimmten Regeln geändert werden bis das Lernziel erreicht 1St.
Um solche neuronalen Netzwerke realisieren zu können, gibt es zwei bisher beschnttene Wege :
1. Die Simulation auf einem Computer. Dabei wird der Reihe nach der Zustand jedes Neurons In Abhängigkeit von den Synapsenstärken errechnet ; es ist allerdings auch möglich, auf Prozessoren mit paralleler Architektur die Zustände mehrerer Neuronen gleichzeitig zu berechnen. Eine Von Neumann-
Maschine wie der Computer ist wegen seiner sequentiellen Arbeitsweise allerdings denbar schlecht geeignet, um ein neuronales Netz zu simulieren und man benötigt dementsprechend sehr grosse Rechenanlagen, um die Rechenzeit erträglich zu gestalten.
Eel massiv parallel arbeitenden Prozessoren liegt die Schwierigkeit In erster Linie in der Programmierung, aber auch der technische und wirtschaftli- che Aufwand, der getrieben werden muss, um ein solches System zu installieren ist sehr gross.
2. Die Konstruktion von Neuronen als Hardware (siehe z. B. EP 91 305 016. 7, DE 3 833 143. 8, DE 3 924
778. 3, DE 4 015 791. 1, DE 4 016 197. 8, DD 134 278, DD 285 220) Die Entwicklungen In diese Richtung scheinen zwar richtungsweisend, die bisher realisierten oder entworfenen Lösungen haben aber die
Nachteile, dass entweder die Synapsengewichte nicht verändert werden können, oder aber durch den
Aufbau bedingt nur einer der zahlreichen Lernalgonthmen verwendet werden kann, und schliesslich, dass mit einem auf ein Problem eintrainierten Gerät kein grundsätzlich anderes Problem gelöst werden kann, ohne das vorhergehend Erlernte zu verlieren. in der US-5 063 531 A (Kawei) bzw. US-5 095 459 A (Ohta) ist von LCD-Matnzen als mögliche Uchtmodulatoren die Rede, In der US-5 063 531 A wird explizit die Analogie zu Fernsehbildschirmen erwähnt.
In den genannten Patentschnften wird einer Abschattungsvornchtung des Lichtmodulators (entspncht einem Element der Matnx bzw. einem Pixel des Bildschirmes) eine Zahl zugeordnet, welche die
EMI1.2
Abstufungen verändert werden. Bel den oben genannten US-Patentschriften stellt eme - z. B. bmäre - Zahl (z. B. 1 Byte) den Grauwert eines Elementes dar.
Die In der US-5 095 459 A und der US-5 063 531 A genannten Erfindungen machen von der Anordnung der lichtaussenden Elemente In Spalten und der lichtempfindlichen Elemente In Zeilen Gebrauch, wobei sich der matnxförmlge Uchtmodulator logisch dazwischen befindet, diese Anordnung entspricht einer Matrixmultiplikation Im herkömmlichen Sinn. Die In der US-5 095 459 A angesprochene Notwendigkeit der Bildung von positiven und negativen Zahlenwerten (hemmenden und erregenden Signalen) ist Inhalt der meisten bekannten neuronalen Algorithmen.
In der US-5 008 833 A (Agranat) erfolgt die Matnxmultlpllkatlon auf elektronischem Weg, und zwar in der mit MUL bezeichneten Einheit. Aus der mit T'J bezeichneten Synapsenmatnx wird hintereinander jeweils nur eine Srilte herausgegriffen aufsummiert und anschliessend mit der entsprechenden Komponente des Vektors V, multipliziert
<Desc/Clms Page number 2>
In der US-5 008 833 A wird In keiner Weise die besondere Gestaltung der Abschattungsvorrichtung berührt.
Um nun auch verschiedenen Anwendungen gerecht zu werden, lautet die Problemstellung, ein funktionsfähiges, vielseitiges und schnelles Gerät zu schaffen, welches es ermöglicht, verschiedene Lernaigo- rithmen - inklusive solche, die erst entwickelt werden-zu verwenden, und gleichzeitig den technischen Aufwand bel seiner Herstellung möglichst gering zu halten.
Diese Aufgabe wird durch die vorliegende Erfindung dadurch gelöst, dass die Abschattungselemente entsprechend der Ansteuerung entweder lichtundurchlässig oder lichtdurchlässig sind und dass jedem dieser Elemente die Bedeutung eines Bits eines n-Bit-Wortes zukommt und der Grad der Abschattung mit dem numerischen ganzzahligen Wert des n-Bit-Wortes korreliert ist.
Die Erfindung wird nun anhand von Zeichnungen, in weichen zwei Ausführungsbeispiele herausgegriffen werden, beschrieben.
Die Neuronenelemente und Synapsenverbindungen der vorliegenden Erfindung sind als Hardware ausgeführt, wobei die Synapsengewichte jedoch von einem Mikroprozessor aus angesteuert werden können. Die Kopplung zwischen den Neuronen erfolgt durch Lichtsignale, die Synapsengewichte entsprechen einer unterschiedlichen Schwächung der Lichtintensität durch Abschattung. Die zur Abschattung verantwortlichen Vornchtungen befinden sich also jeweils zwischen einem Quellneuron und einem Zteineu- ron. Die Abschattung kann nun bevorzugterweise durch den Einsatz von polarisierenden Flüssigkristallen nach dem Prinzip von LCD-Anzeigen erfolgen.
Der erfindungsgemässe Aufbau einer solchen Vorrichtung beinhaltet nun, dass mehrere verschieden grosse oder verschieden lichtdurchlässige Flüsslgknstallelement eine Abschattungsvorrichtung bilden, wobei jedes dieser Elemente entweder eingeschaltet (lichtundurchläs-
EMI2.1
kann der Grad der Abschattung stufenweise eingestellt werden, bel 8 Flüssigkristalielementen stehen dann zum Beispiel 256 Abstufungen zur Verfügung, dies wiederum entspricht einer binären 8-Blt-Zahi, respektive einer Byte.
Die Ansteuerung der binär codierten Abschattungsvorrichtungen erfolgt analog der Ansteuerung eines LCD-Computerbildschirms, die Information, ob ein Flüsslgknstallelement (ein Bildpunkt) ein-oder ausgeschaltet ist befindet sich in Form einer Bit-Map in einer Binärspeicher und kann von einer Mikroprozessor verarbeitet werden.
Dieser Mikroprozessor übernimmt nun die Verwaltung der Synapsengewichte, einerseits können die für eine beste Anwendung bereits bestimmten Synapsengewichte als binäre Zahlen auf einen permanenten Datenträger üblichen Formats (Festplatte, Diskette, Magnetband etc. ) übertragen bzw. von diese eingelesen werden, andererseits übernimmt der Mikroprozessor die Kontrolle über den Trainingsvorgang, wobei die Synapsengewichte nach einer der neuronalen Algorithmen solange verändert werden, bis das Ergebnis zufriedenstellend ist. Der Lernalgonthmus befindet sich dabei in einer Computerprogramm, weiches der Prozessor arbeitet.
Soll das Netzwerk beispielsweise einen Schichtenaufbau (Bachpropagation-Modell) aufweisen, dann ist es notwendig, jedes Neuron einer Schicht mit jedem Neuron aus der folgenden Schicht über Synapsen zu verbinden. Das hat zur Folge, dass - dies gilt aber für alle theoretischen Neuronenmodelle - eine sehr grosse Anzahl von Synapsenverbindungen vorhanden sein muss, und jede Synapsenverbindung weist eine für die
EMI2.2
genden Erfindung wird die grosse Anzahl an Synapsengewichten insofern relativiert, dass ein Mikroprozessor einen Speicher mit einigen Megabyte direkt verwalten kann, und einem Speicherelement (z. B. 1 Byte) entspncht ja ein Synapsengewicht.
Die Neuronen können als elektronische Schaltkreiselemente aufgebaut werden, die an der Eingangsset- te ein lichtempfindliches Element aufweisen, welches die an das Neuron gelangenden Lichtsignale regl- stnert, an der Ausgangseite befindet sich eine Lichtquelle, die das Neuron über die Synapsen mit anderen Neuronen verbindet. Dieser Schaltkreis sendet nur dann ein Lichtsignal an andere Neuronen, wenn die Lichtintensität am Eingang über einer bestimmten Schaltschwelle liegt.
Für die meisten Netzwerkemodelle sind hemmende und erregende Lichtsignale erforderlich. Dies kann beispielsweise dadurch erreicht werden, dass ein Signal als hemmend definiert wird, wenn die Lichtintensität des Signals durch die Abschattungsvorrichtung um mehr als die Hälfte vermindert wird. Ist die Abschattung gennger, dann wird das Signal als erregend gewertet. Dies hat aber den Nachteil, dass die Schaltschwelle der Neuronen von der Anzahl der dieses Neuron ansteuernden Neuronen abhängt und ausserdem eher hoch anzusetzen ist.
Eine vorteilhafte Möglichkeit besteht darin, eine weitere abschattende Vorrichtung In den Synapsenverbindungen anzubnngen, die als Weiche für das Lichtsignal arbeitet, und die als Neuronen arbeitenden Schaltkreise so zu gestalten, dass ein Neuronenschaltkreis zwei lichtempfindliche Eingänge aufweist. Die als Welche arbeitende zusätzliche Abschattungsvornchtung lenkt die Hälfte des Lichtsignals entweder auf den einen (erregenden) oder auf den anderen (hemmenden) lichtempfindlichen Eingang des
<Desc/Clms Page number 3>
Neurons, die andere Hälfte des Lichtsignals wird abgedunkelt.
Als erregendes Signal für ein Neuron wird nunmehr die Differenz der erregenden un der hemmenden Signale angenommen, d. h. übersteigt die Summe der hemmenden Signale die Summe der erregenden, dann bleibt das Neuron inaktiv, ISt die Intensität der erregenden Signale grösser, dann gilt das für den Schaltkreis mit einem Eingang gesagte.
Die technische Ausführung beziehungsweise die Arbeitsweise solcher als Neuronenelemente arbeiten- den Schaltkreise gehört zum Stand der Technik und ISt nicht Gegenstand der vorliegenden Erfindung. Es sei aber an dieser Stelle darauf hingewiesen, dass die Schaltgeschwindigkeit der lichtempfindlichen Elemente und der Lichtquellen stark von der Wahl der entsprechenden handelsüblichen Bautelle abhängt.
Die Verbindungen zwischen den lichtaussendenden Ausgängen der Neuronenelemente und den Abschattungsvornchtungen können auch über Lichtleiter (Glasfaserkabel) geschlossen werden, was einen kompakten Aufbau des Gerätes ermöglicht, überhaupt dann, wenn die Abschattungsvornchtungen 10 Matrixform angeordnet sind.
Es ist natürlich möglich, den physikalischen Aufbau so vorzunehmen, dass jedes Neuron mit jedem Neuron verbunden ist ; soll eine bestimmte Neuronenstruktur für die Lösung einer Aufgabe verwendet werden, dann werden alle nicht benötigten Synapsenverbindungen gesperrt. In der Praxis ist es jedoch für viele Algorithmen ausreichend, von vornherein Schichtenstrukturen zu bilden, eine Schicht bildet die Emgangsschicht, d. h. diese Neuronen werden über den Prozessor (vorzugsweise wieder über unterschiedlich abgeschattete Lichtsignale) angesteuert, damit in direkter Verbindung stehen"verborgene"Schichten, und eine Schicht bildet die Ausgangsschicht ;
die Aktivitäten der Neuronen 10 der Ausgangsschicht können über Analog-Digital-Wandler 10 einen bestimmten Speicherbereich, auf den der Prozessor zugnff hat, geschrieben werden. Dieser Speicherbereich repräsentiert das mit den aktuellen Synapsengewichten erhaltene Ergebnis für ein bestimmtes Eingangsmuster
In den Figuren 1 und 2 sind zwei Ausführungsbeispiele für die Abschattungsvornchtungen dargestellt.
Die Abschattungsvorrichtung mit der Zu- und Ableitung des Lichtsignals in Fig. 1 besteht aus dem Ende einer Glasfaser 1, welches 10 ein Rechteck ausläuft Aus der daran ansetzenden Glasfaser kommt das Lichtsignal vom lichtaussendenden Ausgang eines Neurons an die Abschattungsvornchtung Um die Ausleuchtung der Stirnseite des Glasfaserkabelendes 1 zu gewährleisten, kann das Glasfaserende 1 aus leicht diffusem lichtdurchlässigem Matenal aufgebaut werden. Die eigentliche Abschattungsvorrichtung 2 besteht aus mehreren unterschiedlich grossen Abschattungselementen 3 aus Flüssigkristallen, die m diesem Fall als parallele Streifen ausgebildet sind.
Auf die Darstellung einer permanent polarisierenden Schicht, die notwendig ist, damit der abschattende Effekt zustande kommt, wurde aus Gründen der Übersichtlichkeit in Fig. 1 verzichtet. Durch geeignetes binäres Ansteuern der polanslerenden Abschattungselemente aus
EMI3.1
rung der Lichtintensität eingestellt werden. Stnd nun n unterschiedlich breite Streifen vorhanden, wobei die Breite des Streifens j (j = 1, 2, 3.., n) den 2'-ten Teil der Fläche der Abschattungsvornchtung 2 abdeckt, und das Ansteuern/Abdunkeln des j-ten Streifens mit der j-ten Stelle (dem j-ten Bit) einer binären Zahl identifiziert wird, dann ist die durch die Abschattungsvorrichtung 2 gelangende Lichtintensität direkt proportional zum Komplement dieser binären Zahl.
Hinter der Abschattungsvornchtung 2 befinden sich zwei weitere Abschattungsvorrichtungen 4 und 5 zur Trennung des Lichtsignals in zwei Teilsignale, welche dann durch die Glasfaserenden 6 und 7 einmal an den erregenden und einmal an den hemmenden Eingang des Zielneurons gelegt werden. Dabei gilt, dass entweder die Abschattungsvornchtung 4 oder die Abschattungsvornchtung 5 lichtdurchlässig ist, die Hälfte der Lichtintesität des Signals also ausschliesslich einen der beiden Eingänge des Z ! e ! neurons erreichen kann. Im Zielneuron wird dann schliesslich die Differenz der Summe aller dieses Neuron erregenden und der Summe aller dieses Neuron hemmenden Signale gebildet und weiterverarbeitet.
Diese Differenzenbildung bringt den zusätzlichen Effekt mit sich, dass Ungenauigkeiten, die aus der nicht vollständigen Abschattung des Lichts durch die Abschattungselemente (LCD-Eiemente) 3 oder dem Vorhandensein von Zwischenräu- men zwischen den Abschattungselementen resultieren, nicht zum tragen kommen, da etwaiges durch die Abschattungselemente dringendes Restlicht durch die Differenzenbildung herausfällt.
In Fig. 2 weist das Glasfaserende 8 eine andere rechteckige Form auf. Die Abschattungsvorr chtung 10 besteht nun aus n gleich grossen Abschattungselementen 11, die bevorzugterweise wieder aus Flussigkn- stallelementen bestehen. Zwischen der Abschattungsvorrichtung 10 und dem Glasfaserende 8 befindet sich eine unterschiedlich (zum Beispiel fotographisch) geschwärzte Folie 9. Dadurch wird eine unterschiedliche Gewichtung der Abschattung der Abschattungselemente 11, die wiederum binär angesteuert werden, erreicht. Die Lichttransmission der Folie 9 nimmt stufenweise von ganz durchlässig so ab, dass durch das Abschattungselement j (j = 1, 2, 3.., n) nur der 21-1-te Teil des Lichts durchdnngen kann.
Hinter der Abschattungsvornchtung 10 und den Glasfaserenden 14 und 15 befinden sich analog zu dem m Figur 1 dargestellten Ausführungsbeispiel die Abschattungsvornchtung 12 und 13 zur Trennung des
<Desc/Clms Page number 4>
Lichtsignals, welches über die Glasfaserenden 14 und 15 an die belden Eingänge des Z ! etneurons gelangt.
Der Nachteil des in Figur 2 dargestellten Ausführungsbeispiels liegt in der genngeren Lichtdurchlässig- kelt der gesamten Vornchtung, da das Lichtsignal In jedem Fall geschwächt wird ; der nicht zu unterschät- zende Vorteil ist aber dann begründet, dass für den Aufbau gemäss Figur 2 handelsübliche LCD-Matnx-
Bildschirme samt dem zugehörigen Mikroprozessor verwendet werden können.
In Fig. 3 Ist schematisch ein Teil des Aufbaus eines Ausführungsbeispiels des erfindungsgemässen
Netzwerkes dargestellt (Backpropagation-Modell). Es werden dabei nur zwei Schichten von Neuronen dargestellt (Quellschicht und Zielschicht). Die Abschattungsvorrichtungen sind In Form einer flächenhaften
Matrix 18 angeordnet. Ein - in der Darstellung willkürlich herausgegnffenes - lichtsignal gelangt vom lichtaussendenden Ausgang 21 eines Quellneurons 16 über eine Glasfaser 22 und das Glasfaserende 23 an eine der flächenhaft angeordneten Abschattungsvorrichtungen 18.
Hinter den flächenhaft angeordneten
Abschattungsvorrichtungen 18 setzen die Glasfaserenden 24 und 25 an, die das Lichtsignal über die
Glasfasern 26 und 27 an die beiden lichtempfindlichen Eingänge 19 und 20 des Zielneurons 17 weiterleiten.
Wie In Figur 3 angedeutet, laufen die Verbindungen von jedem Neuron der Que ! ! schicht über die flächenhaft angeordneten Abschattungsvorrichtungen 18 zu jedem Neuron der Zielschicht, was, wenn man den Aufbau um zusätzliche Schichten erweitert denkt, dem Backpropagation-Modell entspricht. Sämtliche In
Figur 3 dargestellten Neuronen sind im elektronischen Aufbau identisch.
In Fig. 4 ist ein weiteres Ausführungsbeispiel eines Teils des erfindungsgemässen Geräts dargestellt, wobei keine Glasfasern erforderlich sind. Die lichtaussendenden Ausgänge 28 der - In diesem Fall drei -
Quellneuronen sind dabei als rechteckige Streifen ausgebildet und befinden sich unmittelbar vor der
Abschattungsvomchtung 29, die in diesem Fall analog gestaltet ist wie in Fig. 1. Dahinter befindet sich wieder, ebenfalls analog zu Fig. 1, die Abschattungsvornchtung zur Trennung der Lichtsignale In zwei
Teilsignale (hemmendes und erregendes Signal) 30.
Die jeweils zwei lichtempfindlichen Elemente 31 und
32 der - In diesem Fall wieder drei - Zielneuronen sind als rechteckige Streifen ausgebildet und befinden sich unmitteter hinter der Abschattungsvomchtung zur Trennung der Lichtsignale In zwei Teilsignale 30. Das anhand Fig. 4 beschnebene Ausführungsbeispiel hat gegenüber den Ausführungsbeispielen, die In Flg. 1, 2 und 3 dargestellt sind, den Vorteil, dass auf Glasfasern verzichtet werden kann, der Nachteil liegt aber In der speziellen Ausgestaltung der lichtempfindlichen Elemente 31 und 32.
Durch Eindringen einer optischen Vorrichtung (Zylinderlinse) sind zwar pnnzlpiell auch konventionelle, also nicht streifenförmige lichtempfindlichen Elemente verwendbar, die Herstellung einer solchen aberrationsarmen optischen Vorrichtung erfordert jedoch einiges an technischem Aufwand.