DE19601026A1

DE19601026A1 - Human eye movement recognition equipment for computer use by severely-disabled person

Info

Publication number: DE19601026A1
Application number: DE1996101026
Authority: DE
Inventors: Gordon Pipa
Original assignee: Individual
Current assignee: Siemens AG
Priority date: 1996-01-13
Filing date: 1996-01-13
Publication date: 1997-07-17

Abstract

In a first stage, the line and the frame synchro-pulses are separated from the picture signal and processed according to the TTL standard, the rest of the equipment being synchronised to the resulting signal. The second stage consists of an A-D converter that digitises the picture information with a frequency of 1.565 MHz, 100 pixels per line. This information is fed alternately to the memories (SP1, SP2). Since both obtain their address from the same address bus, the pixel brightness of a pixel, at each point in time, is represented by a word (8 bytes) of the present and the previous picture. These words are separated from one another to supply a difference picture, recorded alternately in the memories (SP3, SP4), as controlled by the microcontroller (80C166).

Description

Computer können auf viele verschiedene Arten gesteuert werden. Die Entwicklung soll es ermöglichen das ein möglichst großer Personen Kreis den Computer schnell und effizient steuern kann.Computers can be controlled in many different ways. The development should make it possible as large a circle as possible can control the computer quickly and efficiently.

Selbst bei schwerst körperbehinderten Menschen ist meist die Motorik des Auges vollkommen erhalten. So kam ich auf die Idee, mit Hilfe der Augenbewegung den Computer zu steuern. Das Gerät verbindet die Blickrichtung des Auges mit der Position des Mauszeigers auf einem Bildschirm. So können die Symbole durch bloßes hinschauen auf dem Bildschirm ausgewählt werden. Durch die enorme Geschwindigkeit und Genauigkeit, die ein Mensch beim Erfassen eines Objektes mit der Augenmotorik erreicht, ist eine optimale und schnelle Kommunikation mit einem Computer möglich.Even in the most physically challenged people, the motor function of the eye is mostly preserved. So came I had the idea of using the eye movement to control the computer. The device connects the viewing direction of the eye with the position of the mouse pointer on a screen. So the symbols can be through mere look at the screen to be selected. Due to the tremendous speed and accuracy that a Achieving human beings when capturing an object with eye motor skills is an optimal and fast Communication with a computer possible.

State of the art

Solches System stehen bereits mit einer ähnlichen Technik im militärischen Bereich zur Verfügung. Das diese Systeme bislang nur dort eingesetzt werden, ist vor allem durch die hohen Kosten begründet. Nach Überlegungen, wie diese Kosten zustande kommen, sind mir die hohen technischen Anforderungen aufgefallen, welche an die Geräte gestellt werden.Such systems are already available with a similar technique in the military field. This one Systems are only used there so far, is mainly due to the high cost. After considering, How these costs come about, I noticed the high technical requirements, which to the Devices are placed.

Untersucht man die Augen vieler Probanden, so stellt man fest, daß es schwierig ist, Eigenschaften zu finden, die jedes Auge gleichermaßen besitzt. So ist z. B. die Form und die Struktur des Auges, sowie die Farbe der Iris und der Kontrast zwischen Iris und Pupille bei jeder Person extrem unterschiedlich. Das einzige charakteristische Merkmal jedes Auges ist die tief schwarze Pupille. Um ein System zu realisieren, welches trotz dieser großen Unterschiede der Augen die Struktur des Auges erkennt und somit die Pupille lokalisiert, benötigt man sehr hohe Rechenleistungen und ausgefeilte Algorithmen.If one examines the eyes of many subjects, one finds that it is difficult to find properties that every eye possesses equally. So z. As the shape and structure of the eye, and the color of the iris and the contrast between iris and pupil is extremely different for each person. The only characteristic The feature of each eye is the deep black pupil. In order to realize a system which, in spite of this great Differences of the eyes recognizes the structure of the eye and thus the pupil localizes, one needs very high Computing power and sophisticated algorithms.

Die Hochschule Dortmund z. B. beschäftigt sich mit der Erfassung der Struktur von Händen, um mit diesen einen Computer zu steuern. Um diesen Prozeß in Echtzeit auszuführen, benötigen die Informatiker dort einen High End Rechner. Dieser Aufwand kann für einen täglich zu nutzenden Eyetracker nicht betrieben werden. Um es den Betroffenen trotzdem zu ermöglichen, ein solches Gerät benutzen zu können, habe ich mir überlegt wie die Investitionskosten dafür minimiert werden können.The University of Dortmund z. B. is concerned with capturing the structure of hands to deal with these Control computer. To do this process in real time, the computer scientists need a high end there Calculator. This effort can not be operated for a daily to use eye tracker. To do it Nevertheless, to enable those affected to use such a device, I have considered how the Investment costs can be minimized.

task

1. Development of a device that detects the movement of eyes and then the position of the Auges forward relative to the head to a computer.
2. To greatly reduce the cost of such a system through technical renewal.

2nd solution

Verstärkt man den Kontrast bestimmter Strukturen im Auge durch charakteristische Merkmale, so wird es wesentlich leichter, die Position des Auges zu lokalisieren. Ich kam auf die Idee, mittels einer Kontaktlinse, auf der ein heller Punkt aufgemalt ist, jedem betroffenen Menschen das gleiche Charakteristikum, zu übertragen. If one strengthens the contrast of certain structures in the eye by characteristic features, then it becomes much easier to locate the position of the eye. I came up with the idea by means of a contact lens a bright point is painted to convey the same characteristic to each affected person.

Dieser Marker bewegt sich also mit der Augenbewegung. Dadurch benötige ich ein wesentlich weniger flexibles System und kann den Aufwand minimieren, die Position des Auges zu erkennen.This marker thus moves with the eye movement. As a result, I need a much less flexible System and can minimize the effort to detect the position of the eye.

Es ist mir damit gelungen, das System so zu verbilligen, daß es eine echte Alternative zu herkömmlichen, veralteten Eingabegeräten darstellt.I have succeeded in cheapening the system so that it is a real alternative to conventional, deprecated input devices.

Neben der oben genannten Kontaktlinse mußte ich mir noch einige andere Dinge einfallen lassen, um meinen Vorstellungen des Systems Rechnung tragen zu können. Das System sollte weitgehendst mit herkömmlichen Bauteilen aufzubauen zu sein, um die Kosten zu verringern. Dies ist mir bis auf einige wenige Bauteile recht gut gelungen. Als Aufnahmeeinheit habe ich eine Miniatur CCD-Kamera verwendet, die sich an einer von mir gefertigten, auf verschiedene Personen anpassungsfähige Kopfhalterung vor dem rechten Auge befindet. Diese Kamera liefert dabei ein Bild des rechten Auges mit relativ zum Auge gleicher Position.In addition to the above-mentioned contact lens, I had to come up with some other things to mine To be able to take into account the ideas of the system. The system should be largely compatible with conventional Building components to reduce costs. This is quite good for me except for a few components succeeded. As a capture unit, I used a miniature CCD camera that is attached to one of mine manufactured, adapted to various people headgear in front of the right eye. These Camera provides an image of the right eye with relative to the eye same position.

Um Lichtreflexe der Umwelt im Auge zu minimieren, beleuchte ich das Auge mit einer Wellenlänge von 950 nm. Diese Wellenlänge ist aufgrund des Minimums der emittierten Sonnenstrahlung bei 950 nm eine optimale Strahlungswellenlänge.In order to minimize light reflections of the environment in the eye, I illuminate the eye with a wavelength of 950 nm. This wavelength is optimal due to the minimum of solar radiation emitted at 950 nm Radiation wavelength.

Das vom Auge reflektierte Licht der schwachen Strahlungsquelle (Infrarot-Diode) wird durch die Kamera als Bild empfangen. Vor der Kamera verwende ich einen selbst angefertigten Infrarotfilter, der sehr schmalbandig die 950 nm passieren läßt.The light reflected from the eye of the weak radiation source (infrared diode) is captured by the camera as an image receive. In front of the camera, I use a self-made infrared filter, the very narrowband the 950 nm happen.

Um die restlichen im Auge vorhandenen Reflexe zu minimieren, bilde ich Differenzbilder zwischen zwei direkt auf einander folgenden Bildern.In order to minimize the remaining reflections in the eye, I imaged differential images between two directly following pictures.

2.1 Functional principle of the electronics

Zur Veranschaulichung des Funktionsprinzip habe ich die beiden Blockschaltbilder (Abb. 1, 2, 8) erstellt.To illustrate the functional principle, I have created the two block diagrams ( Fig. 1, 2, 8).

2.2 Explanation of the diagrams Fig. 1, 2, 8

Es handelt sich bei diesen beiden Diagrammen um Blockschaltbilder des Eyetrackers. Dünne Verbindungen stellen einfache Signalleitungen dar. Dicke Verbindungen stellen einen Bus dar, in welchem mehrere Signalleitungen zusammengefaßt sind.These two diagrams are block diagrams of the eye tracker. Make thin connections Thick connections represent a bus in which multiple signal lines are summarized.

2.3 Process of image processing

Bei der Zielsetzung, die obige Aufgabenstellung technisch zu realisieren, kommt man leicht zu der Erkenntnis, daß eine Bildbearbeitung in Echtzeit einiges an Know-how benötigt. Bildbearbeitung ist im allgemeinen ein Gebiet, auf dem hohe Rechenleistungen erforderlich sind. So auch bei meiner Zielsetzung. Folgende Überlegungen führten mich zu der derzeitigen Lösung:In the objective to realize the above task technically, one comes easily to the realization that a real-time image editing needs a lot of know-how. Image editing is generally an area based on which requires high computing power. So also with my objective. The following considerations led me to the current solution:

- There is no normal microcontroller that can realize the image processing in real time. So not Having to resort to special building blocks, I tried to work on several components divide.
- This has made it necessary to divide the work to be performed into independent phases (see Fig. 3),
- to save memory and computational resources and
- To use a simple algorithm that recognizes the structure.

Um diese Aufgaben zu lösen, habe ich die Erkennung eines Bildes in drei Phasen aufgeteilt. Nur eine dieser Phasen wird schließlich von einem Mikrokontroller übernommen. In Abb. 4 ist das verwendete Prinzip dargestellt. Dieses Prinzip ähnelt der Pipeline Architektur der neueren µP. Jeweils drei voneinander unabhängige Prozesse laufen parallel ab. Wobei der jeweils nächste Prozeß die Daten des vorherigen Zyklus und Prozeß benutzt. Durch dieses System erhält der User das Ergebnis der Daten des ersten Zyklus kurz vor dem Abschluß des 3. Zyklus. Da die Zyklen auf die Bildwiederholfrequenz der Kamera abgestimmt sind, erscheint das Ergebnis mit einer Verzögerung von 60 ms. Da dies immer noch eine sehr kurze Zeit ist, im Verhältnis der vom Menschen erreichbaren Geschwindigkeiten, spielt diese Verzögerung keine Rolle.To solve these tasks, I split the recognition of an image into three phases. Only one of these phases is finally taken over by a microcontroller. Fig. 4 shows the principle used. This principle is similar to the pipeline architecture of the newer μP. Three independent processes each run in parallel. The next process uses the data of the previous cycle and process. Through this system, the user receives the result of the data of the first cycle just before the completion of the 3rd cycle. Since the cycles are adjusted to the frame rate of the camera, the result appears with a delay of 60 ms. Since this is still a very short time, in proportion to man-made speeds, this delay does not matter.

2.3.1 Forming the difference pictures

In der Abb. ist das Flußdiagramm der ablaufenden Prozesse dargestellt. Das Differenz Bild des aktuellen und vorherigen Bildes wird durch eine Subtraktion der beiden Bildinformationen erreicht. Da die Bilder zu diesem Zeitpunkt als digitales Wort vorliegen, kann die Subtraktion durch (siehe Abb. 4) zwei GAL Bausteine erfolgen. An den Eingängen des ersten GAL Bausteins liegen die 4 niederwertigen Bits der beiden Bilder an. Dieser Gal-Baustein subtrahiert die beiden unteren 4 Bits und gibt ein Übertragsbit an den zweiten Gal-Baustein weiter. Dieser subtrahiert nun die oberen 4 Bits. Das Ergebnis liegt je zu 4 Bit an den 2 Gal-Bausteinen an.The figure shows the flow chart of the processes in progress. The difference image of the current and previous image is achieved by subtracting the two image information. Since the images are available as a digital word at this time, the subtraction can be done by (see Fig. 4) two GAL building blocks. At the inputs of the first GAL block are the 4 low-order bits of the two pictures. This Gal module subtracts the two lower 4 bits and passes a carry bit to the second Gal module. This now subtracts the upper 4 bits. The result is 4 bits each to the 2 Gal blocks.

2.3.2 Locating the bright point

Aufgrund der guten Qualität des zu bearbeitenden Bildes ist die Lokalisierung des Punktes durch einen einfachen Schwellwert-Vergleich möglich. Während der ersten Erfassung der Bilder bildet der µP einen Schwellenwert, um den hellen Punkt vom Rest unterscheiden zu können. Durch einen Formenvergleich ist es nach diesem ersten Unterscheiden möglich, den gesuchten Punkt vom eventuell vorhanden Datenmüll zu trennen. Ist der Ort des Punktes erst einmal bestimmt, kann in den nächsten Prozessen die Lokalisierung auf kleinere Bereiche beschränkt werden. Diese Einschränkung des zu verarbeitenden Bildbereichs ist durch die von mir gewählte Adressierung der Daten möglich. Bei dieser Adressierung werden die Zeilen und Pixel von einander getrennt gezählt. So bilden die Zeilen die hochwertigen 8 Bits der Adresse und die Pixel, die restlichen 6 Bits. Durch diese lineare Struktur ist es möglich, einzeln die Zeilen und Pixel zu durchlaufen, ohne zu wissen, wieviel Pixel pro Zeile digitalisiert wurden. In Abb. 6 wird deutlich, wie stark der relevante Bildbereich eingeschränkt werden kann, wenn die Position des Bildpunktes einmal bestimmt wurde. Diese Einschränkung beruht auf der Tatsache, daß das Auge in 20 ms nur einen begrenzten Weg zurücklegen kann. Dieser Weg ist durch die maximale Geschwindigkeit, also auf einen empirischen Wert begrenzt. Durch die Angabe der maximalen Bewegung muß nur der Bereich des Bildes untersucht werden, der sich in diesem maximalen Bereich befindet. Bei dieser Umgebung handelt es sich um einen Kreis. Da die Form eines Kreises jedoch mathematisch zu kompliziert zu erfassen ist, beschränke ich das zu untersuchende Bild auf einen quadratischen Bereich, um den Punkt zur Zeit t=0 (siehe Abb. 6). In der Abb. 6 ist Δx und Δy die reale Bewegung des Punktes in die x und y Richtung. Das Quadrat hat die Abmessungen a mal b. Der Mittelpunkt des Quadrates ist die Position des Punktes zur Zeit t=0. a und b ergeben sich aus der zweifachen Strecke der maximalen Bewegung des Auges zwischen der Zeit t=0 und t=1. Somit sind Δx und Δy immer kleiner als a und b. Um nun die Koordinaten des Quadrates zu erhalten, erfolgt folgender Algorithmus:Due to the good quality of the image to be processed, the localization of the point is possible by a simple threshold comparison. During the first capture of the images, the μP forms a threshold to distinguish the bright spot from the rest. By means of a comparison of shapes, after this first differentiation, it is possible to separate the desired point from any possible garbage. Once the location of the point has been determined, localization can be restricted to smaller areas in the next processes. This limitation of the image area to be processed is possible due to the addressing of the data I have selected. In this addressing, the lines and pixels are counted separately from each other. So the lines form the high-quality 8 bits of the address and the pixels, the remaining 6 bits. This linear structure makes it possible to individually step through the rows and pixels without knowing how many pixels have been digitized per line. In Fig. 6 it becomes clear how much the relevant image area can be restricted if the position of the pixel has once been determined. This limitation is due to the fact that the eye can travel only a limited distance in 20 ms. This path is limited by the maximum speed, ie to an empirical value. By specifying the maximum motion, only the area of the image that is within this maximum range needs to be examined. This environment is a circle. However, since the shape of a circle is mathematically too complicated to grasp, I limit the image to be examined to a square area around the point at time t = 0 (see Fig. 6). In Fig. 6, Δx and Δy are the real movement of the point in the x and y directions. The square has the dimensions a times b. The center of the square is the position of the point at time t = 0. a and b result from twice the maximum movement of the eye between time t = 0 and t = 1. Thus, Δx and Δy are always smaller than a and b. In order to obtain the coordinates of the square, the following algorithm is used:

Z₀ = Zeile des Punktes zur Zeit t=0Z₀ = line of the point at time t = 0 P₀ = Pixel des Punktes zur Zeit t=0P₀ = pixel of the point at time t = 0 Z_u = unterste abzutastende ZeileZ _u = bottom line to be scanned P_r = rechteste abzutastende PixelP _r = rightmost pixel to be scanned Z_o = oberste abzutastende ZeileZ _o = topmost line to be scanned P₁ = linkeste abzutastende PixelP₁ = leftmost pixel to be scanned Z_u= Z_o-Const₁Z _u = Z _o -Const₁ P₁=P₀+Const₂P₁ = P o + Const₂ Z₀=Z₀+Const₁Z₀ = Z₀ + Const₁ P_r=P_o+Const₂P _r = P _o + Const

mit Const₁= maximale Bewegung des Auges in y-Richtung, angegeben in der Anzahl an Zeilen,
mit Const₂= maximale Bewegung des Auges in x-Richtung, angegeben in der Anzahl an Zeilen.with Const₁ = maximum movement of the eye in the y-direction, indicated in the number of lines,
with Const₂ = maximum movement of the eye in the x-direction, indicated in the number of lines.

Siehe Abb. 5.See Fig. 5.

Der Startpunkt der Abtastung liegt somit bei (P₁, Z_o). Durch Addition einer 1 je Pixel wird nach 2*Const₂ Schritten der Punkt (P_r, Z₀) erreicht. Durch Addition von 128-2^*Const₂ auf die Adresse des Punktes (P_r, Z_o) startet der Vorgang eine Zeile tiefer erneut. Bei Erreichen des Punktes (P_u, Z_u) ist der gesamte relevante Bildbereich abgearbeitet worden. Sollte an dieser Stelle kein Punkt gefunden worden sein, der mit dem erwarteten Ergebnis übereinstimmt, kann der Bereich der Abtastung temporär vergrößert werden. Die Anzahl der zu verarbeitenden Pixel ergibt sich aus der Formel Anz. = 2*Const₁+ 2*Const₁. Da die maximale Bewegung in 20 ms sehr klein ist, kann der relevante Bildbereich im Verhältnis zum Gesamtbild gut um den Faktor 10 verringert werden. Durch diese Maßnahme kann mehr Rechenleistung dem Formenvergleich zugeordnet werden. Da sich die Kamera immer in der relativ zum Kopf gleichen Position befindet, ist das Abbild des Punktes auf dem Kamerabild genau definiert. Somit können die durch einen Schwellwert selektierten Bereiche einfach mit Vorlagen aus dem internen Eprom des Gerätes verglichen werden. Zudem ist der Reflex der IR-Led selbst positionstreu und kann somit vernachlässigt werden. Sollte der Zufall es erlauben, daß ein Störeinfluß die gleiche Form wie die gespeicherte Form im Eprom besitzt, muß diese trotzdem von dem reellen Punkt unterschieden werden. Hierzu kann dann schließlich nur die Positionsveränderung der Punkte zur Zeit t=0 und t=1 benutzt werden. Da beide Punkte nur mit einer endlichen Geschwindigkeit die Position verändern können, ist wahrscheinlich der Punkt, welcher näher an dem Vorherigen ist, der richtige.The starting point of the sampling is thus at (P₁, Z _o ). By adding one 1 per pixel, the point (P _r , Z₀) is reached after 2 * Const steps. By adding 128-2 ^* Const to the address of the point (P _r , Z _o ) the process starts one line lower again. Upon reaching the point (P _u , Z _u ), the entire relevant image area has been processed. If no point has been found at this point that matches the expected result, the area of the scan can be temporarily increased. The number of pixels to be processed is given by the formula Qty. = 2 * Const₁ + 2 * Const₁. Since the maximum movement in 20 ms is very small, the relevant image area can be reduced by a factor of 10 in relation to the overall image. By this measure more computing power can be assigned to the mold comparison. Since the camera is always in the same position relative to the head, the image of the point on the camera image is precisely defined. Thus, the ranges selected by a threshold can be easily compared to templates from the internal Eprom of the device. In addition, the reflex of the IR-Led itself is positionally stable and can therefore be neglected. Should chance allow a perturbation to have the same shape as the stored shape in the Eprom, it still has to be distinguished from the real point. Finally, only the change in position of the points at the time t = 0 and t = 1 can be used. Since both points can only change position with a finite speed, the point closer to the previous one is probably the correct one.

2.4 Detailed information on the circuit

In der ersten Stufe der Elektronik trenne ich von dem Bildsignal die Zeilen und Bildsynchronimpulse ab und bereite diese nach TTL-Standard auf. Auf diese Synchronsignale wird die gesamte restliche Elektronik, bis auf den Mikrocontroller, synchronisiert. Die zweite Stufe besteht aus einem AD-Wandler, der mit einer Samplingfrequenz von 1.565 MHz also mit ca. 100 Pixel pro Zeile die Bildinformationen digitalisiert. Diese Bildinformationen werden abwechselnd in die Speicher SP1 und SP2 geschrieben, wodurch der jeweils andere Speicher das vorherige Bild beinhaltet. Da beide über den gleichen Adreßbus ihre Adresse erhalten, liegt zu jedem Zeitpunkt die Pixelhelligkeit eines Pixel als Wort (8 Byt) vom derzeitigen und vorherigen Bild vor. Diese beiden Wörter werden mittels GAL′s von einander subtrahiert. Als Ergebnis erhalten wir ein Differenzbild, welches lediglich die Unterschiede der beiden Bilder enthält. Alle 20 ms wird ein neues Bild dargestellt. Da 20 ms eine sehr kurze Zeit im Bezug auf die Bewegungsgeschwindigkeit eines Menschen ist, ist davon auszugehen, daß die beiden Bilder so gut wie identisch sind. Daraus folgt daß das Differenzbild der beiden Bilder fast ganz schwarz ist. Nun bestrahle ich das Auge, jedoch nur jedes zweite Bild, mit der Infrarotquelle. Dadurch erreiche ich, daß ich als Differenzbild nur die durch die Infrarotstrahlung hervorgerufen Bildinformationen erhalte. Somit werden die Reflexe der Umwelt auf eine einfache Art und Weise herausgerechnet. Das Differenzbild wird nun wieder abwechselnd in die Speicher SP3 und SP4 geschrieben, wodurch einer der beiden Speicher wieder das alte Bild enthält. Der Speicher, der nicht beschrieben wird, wird nun physikalisch durch eine Bustrennung über die Bausteine 74HCT245 dem Mikrocontroller 80c166 als Arbeitsspeicher zu Verfügung gestellt. Dieser µC verfügt über eine Rechenleistung von 20 MIPS. Mit diesem Wert erreiche ich bei 782500 pro Sekunde zu verarbeitende Pixel, eine Rechenleistung von ca. 26 Befehlen pro Pixel. Bei diesem Wert ist allerdings eine lineare Abarbeitung des gesamten Bildes vorausgesetzt. Wie ich später erkläre, wird die Anzahl der zu verarbeitenden Pixel pro Bild jedoch noch stark gesenkt.In the first stage of the electronics I separate from the image signal lines and sync pulses and prepare them to TTL standard. All remaining electronics, except for the microcontroller, are synchronized to these sync signals. The second stage consists of an AD converter, which digitizes the image information with a sampling frequency of 1,565 MHz, ie with approximately 100 pixels per line. This image information is alternately written in the memories SP1 and SP2, whereby the other memory includes the previous image. Since both receive their address via the same address bus, the pixel brightness of a pixel is present as a word ( 8 bytes) from the current and previous picture at all times. These two words are subtracted from each other using GALs. As a result, we get a difference image that contains only the differences between the two images. Every 20 ms a new picture is displayed. Since 20 ms is a very short time in terms of the speed of movement of a human, it can be assumed that the two images are as good as identical. It follows that the difference image of the two images is almost completely black. Now I irradiate the eye, but only every second image, with the infrared source. In this way I achieve that, as a difference image, I receive only the image information caused by the infrared radiation. Thus, the reflexes of the environment are calculated out in a simple way. The difference image is now again written alternately in the memory SP3 and SP4, whereby one of the two memories again contains the old image. The memory, which is not described, is now physically made available to the microcontroller 80 c166 as a working memory by means of a bus separation via the modules 74 HCT245. This μC has a computing power of 20 MIPS. With this value I reach at 782500 pixels per second to be processed, a computing power of about 26 commands per pixel. At this value, however, a linear processing of the entire image is required. As I explain later, however, the number of pixels to be processed per image is still greatly reduced.

Da der Mikrokontroller durch die Adresse einen Indikator für die Zeilen und Pixelnummer des lokalisierten Punktes zur Verfügung hat, kann dieser nun diese Information in x,y-Koordinaten umrechnen und diese z. B. über die Serielle Schnittstelle einem PC zur Verfügung stellen. Somit kann dieses Gerät direkt als Mausersatz dienen.Since the microcontroller by the address an indicator for the lines and pixel number of the localized Point has available, this can now convert this information into x, y coordinates and z. B. over provide the serial interface to a PC. Thus, this device can serve directly as a mouse replacement.

Die Synchronimpulse werden folgendermaßen abgetrennt. Nach einem einfachen Impedanzwandler wird das Bildsignal über eine Diode mit seinem niedrigsten Pegel auf 0 V geklemmt. Anschließend werden mit einem Schmitt-Trigger, die Synchronimpulse vom Bildsignal abgetrennt und auf ein Niveau von +/- 5 V angehoben. Durch einen ULN2803 und eine vorgeschaltete Diode wird das Signal auf einen TTL-Pegel konvertiert, um später mit normalen Logikbausteinen verarbeitet werden zu können. Die abgetrennten Bild- und Zeilensynchronimpulse werden über drei Kondensatoren integriert, so daß über einen Schmitt-Trigger der Bildsynchronimpuls von dem Zeilensynchcronimpuls abgetrennt wird. Auch dieser Bildsynchronimpuls wird über den ULN2803 auf einen TTL-Pegel konvertiert. Um das Bildsignal digitalisieren zu können, müssen die Synchronimpulse von dem Bildsignal abgetrennt werden. Hierzu wird das Bildsignal kapazitiv von der Videokamera entkoppelt und mit dem Schwarzpegel des Bildes auf 0 V geklemmt. Somit können die nun negativen Synchronimpulse durch eine Diode abgeschnitten werden. Um das Signal auf eine Amplitude von 3 Volt anzuheben, erfolgt eine Verstärkung durch einen Opamp (LM318). Dieses verstärkte Signal wird nun mit einer Zeitkonstante von 64 µs über einen Kondensator und einen Trimmer integriert. Dieses Signal wird nun durch den AD-Wandler µPD6950 digitalisiert. Die digitalisierten Bildinformationen liegen an den Ausgängen des AD- Wandler (LSB, B1-B6, MSB) als ein 8-Bit breites Wort an. Dieses Wort wird über einen Datenbus den A- Eingänge zweier 74HCT245 zugeführt. Dieser Baustein ist ein 8-Bit breiter bidirektionaler Bus-Transceiver. Er transferiert in Abhängigkeit des logischen Zustands des Dir-Pins die Daten von A nach B oder B nach A. Zusätzlich werden je nach Pegel des Oe-Pins die Ausgänge aktiv oder hochohmig geschaltet. Die B-Ausgänge des Bausteins werden jeweils an die 8 Dateneingänge der 2 Speicherbausteine 62256 angeschlossen. Durch diese Trennung ist es möglich, jeweils einen der Speicher mit den Informationen des AD-Wandler zu schreiben, während der andere die Pixel des vorherigen Bildes ausliest. Die Adressierung dieser beiden Speicher SP1 und SP2 erfolgt über den gleichen Adreßbus. Die aktuelle Adresse wird durch zwei 4040 generiert. Einer dieser Bausteinen zählt die Zeilen des Bildes und der andere die Pixel pro Zeile. In Abhängigkeit der Adresse werden die digitalisierten Daten sequentiell in die Speicher geschrieben. Die Steuerung der Aktivität der Ausgänge, der 74HCT245 und der Speicher SP1 und SP2, werden durch einen Gal-Baustein gesteuert. Diese Steuerung erfolgt in Abhängigkeit der Bildsynchronimpulse. Während bei ungradzahligen Bildern SP1 geschrieben und SP2 gelesen wird, ist dies bei allen gradzahligen genau umgekehrt. Durch diese Technik liegt immer an einem der Speicher das vorherige und an dem anderen Speicher das aktuelle Bild an. Diese beide Pixel werden durch zwei Gal-Bausteine voneinander subtrahiert. Als Ergebnis erhält man die Differenzhelligkeit der beiden Pixel. Dieses 1 Byte breite Wort wird nun wieder auf die A-Eingänge zweier weiterer 74HCT245 gelegt. An den B-Ausgängen befinden sich wiederum zwei Speicher (62256) SP3 und SP4. Das Differenzbyte wird nun wieder in einen der beiden Speicher, welcher an dem gleichen Adreßbus wie SP1 und SP2 angeschlossen ist, geschrieben. Der jeweils andere Speicher wird sowohl von dem Adreßbus, als auch von dem Datenbus physikalisch von je drei 74HCT245 getrennt. Dieser Baustein dient dem Mikrokontroller 80C166 als Arbeitsspeicher. Da in diesem Speicher das komplette vorherige Differenzbild geschrieben ist, kann der Mikrokontroller dieses Differenzbild auf seine Charakteristika hin untersuchen. Nachdem diese erkannt wurden, dient die Speicheradresse als Indikator für den Ort des hellen Punktes im Kamerabild. Diese in x,y-Koordinaten umgerechneten Werte können nun über die Serielle Schnittstelle dem PC zur Verfügung gestellt werden. Dieser kann folglich die Informationen in eine Position des Cursors umrechnen. Alternativ kann neben der Realisierung der Bilderkennung über einen µC die Erkennung, diese über einen Computer (PC oder ähnlich) erfolgen (Siehe Abb. 8).The sync pulses are separated as follows. After a simple impedance converter, the image signal is clamped to 0 V via a diode having its lowest level. Subsequently, with a Schmitt trigger, the sync pulses are separated from the image signal and raised to a level of +/- 5V. A ULN2803 and an upstream diode convert the signal to a TTL level for later processing with normal logic devices. The separated image and line sync pulses are integrated via three capacitors, so that the image sync pulse is separated from the line sync pulse via a Schmitt trigger. This frame sync pulse is also converted to a TTL level via the ULN2803. In order to digitize the image signal, the sync pulses must be separated from the image signal. For this purpose, the image signal is capacitively decoupled from the video camera and clamped with the black level of the image to 0V. Thus, the now negative sync pulses can be cut by a diode. In order to raise the signal to an amplitude of 3 volts, it is amplified by an opamp (LM318). This amplified signal is now integrated with a time constant of 64 μs via a capacitor and a trimmer. This signal is now digitized by the AD converter μPD6950. The digitized image information is present at the outputs of the AD converter (LSB, B1-B6, MSB) as an 8-bit wide word. This word is fed via a data bus to the A inputs of two 74HCT245. This device is an 8-bit wide bidirectional bus transceiver. Depending on the logic state of the Dir pin, it transfers the data from A to B or B to A. In addition, depending on the level of the Oe-pin, the outputs are switched active or high-impedance. The B outputs of the block are connected to the 8 data inputs of the 2 62256 memory modules . By this separation, it is possible to write one of the memories with the information of the AD converter, while the other reads out the pixels of the previous picture. The addressing of these two memories SP1 and SP2 takes place via the same address bus. The current address is generated by two 4040s. One of these building blocks counts the lines of the image and the other the pixels per line. Depending on the address, the digitized data is sequentially written into the memories. The control of the activity of the outputs, the 74HCT245 and the memories SP1 and SP2, are controlled by a Gal module. This control takes place as a function of the frame sync pulses. While SP1 is written and SP2 is read for odd-numbered images, this is exactly the opposite for all even-numbered images. This technique always applies the memory to one memory and the current image to the other memory. These two pixels are subtracted from each other by two Gal modules. The result is the difference brightness of the two pixels. This 1 byte wide word is now put back on the A inputs of two other 74HCT245. At the B outputs there are again two memories ( 62256 ) SP3 and SP4. The difference byte is now written again in one of the two memories, which is connected to the same address bus as SP1 and SP2. The other memory is physically separated from the address bus as well as from the data bus by three 74HCT245 each. This module is used by the microcontroller 80 C166 as a main memory. Since the entire previous difference image is written in this memory, the microcontroller can examine this difference image for its characteristics. Once detected, the memory address serves as an indicator of the location of the bright spot in the camera image. These values converted into x, y coordinates can now be made available to the PC via the serial interface. This can therefore convert the information into a position of the cursor. Alternatively, in addition to the realization of the image recognition via a μC, the recognition can be done via a computer (PC or similar) (see Fig. 8).

2.5 Components used by individuals 2.5.1 contact lens

Es handelt sich bei dieser Kontaktlinse um eine asperische, hartflexible Linse mit Prismenbelag.This contact lens is an asperic, hard-flexible lens with a prism coating.

Normale Kontaktlinsen rotieren, um die Belüftung der Augenhornhaut zu gewährleisten. Diese Belüftung ist für ein Auge unbedingt notwendig, um es nicht zu beschädigen. Da ein Rotieren der Linse es allerdings verhindern würde, die Position des Punktes relativ zum Auge zu bestimmen, mußte eine Lösung gefunden werden, die Kontaktlinse im Auge zu fixieren. Um dies zu gewährleisten, ist die Kontaktlinse an der unteren Seite schwerer als an der oberen. Durch dieses Ungleichgewicht bleibt die Linse immer in der gleichen Position relativ zum Auge. Es kann zwar nach einem Lidschlag zu einer kurzzeitigen leichten Verschiebung kommen, jedoch rutscht die Linse wieder innerhalb sehr kurzer Zeit auf ihre Fixstelle (siehe Abb. 6). Die weiteren Eigenschaften der Linse hängen von der Beschaffenheit des Auges ab.Rotate normal contact lenses to help ventilate the cornea. This ventilation is essential for one eye so as not to damage it. However, since rotating the lens would prevent it from determining the position of the spot relative to the eye, a solution had to be found to fix the contact lens in the eye. To ensure this, the contact lens is heavier at the bottom than at the top. This imbalance keeps the lens always in the same position relative to the eye. Although there may be a momentary slight shift after a blink, the lens will slip back to its fix point within a very short time (see Figure 6). The other properties of the lens depend on the nature of the eye.

2.5.2 Camera

Bei der Kamera handelt es sich um eine preisgünstige schwarzweiß Kamera. An die Kamera werden keine gehobenen Ansprüche gestellt. Weder die Auflösung, noch die Lichtempfindlichkeit ist entscheidend. Ich habe mich bei der Wahl meiner Kamera vor allem an der Größe und der Empfindlichkeit im Bereich um 950 nm orientiert. Somit fiel meine Wahl auf eine Miniaturkamera der Firma Conrad. Technische Eigenschaften:The camera is a budget black and white camera. To the camera will be no high standards. Neither the resolution nor the photosensitivity is crucial. I have me in the choice of my camera especially s.der size and sensitivity in the range around 950 nm oriented. Thus my choice fell on a miniature camera of the company Conrad. Technical characteristics:

Spannungsversorgung: 12 VPower supply: 12V Lichtempfindlichkeit: ca. 1 LuxPhotosensitivity: about 1 lux Stromaufnahme: 110 mACurrent consumption: 110 mA Objektiv: f=4,3 mm/F1,8Lens: f = 4.3 mm / F1.8 Zeilenfrequenz: 15625 HzLine frequency: 15625 Hz Blendeneinstellung: AutomatischAperture setting: Automatic Bildfrequenz: 50 HZFrame rate: 50 Hz Abmessungen: 30_*24_*65 mm (etwas Größer als eine Streichholzschachtel)Dimensions: 30 _* 24 _* 65 mm (slightly larger than a matchbox) Horizontalauflösung: 380 Zeilen @Horizontal resolution: 380 lines @ Auflösung: 512 [H]_*582 [V]Resolution: 512 [H] _* 582 [V]

2.5.3 The following properties are important for my project

Die kleinen Abmessungen der Kamera sind für mich von Vorteil, weil sie so kaum das Sichtfeld des linken Auges einschränkt. Um eine weitere Verringerung der Einschränkung zu erreichen, könnte man ein anderes Objektiv verwenden, um die Kamera weiter vom Auge entfernen zu können. Für meinen Prototypen reicht dieses Objektiv jedoch vollkommen aus.The small dimensions of the camera are beneficial to me because they barely cover the field of view of the left eye limits. To achieve a further reduction of the restriction, one could use another lens use to further remove the camera from the eye. For my prototype this lens is enough but completely out.

Die Auflösung der Kamera ist weitgehend uninteressant, da meine Bildverarbeitung nur 80 Pixel jeder zweiten Zeile auswertet. Die angegebene Lichtempfindlichkeit gilt nur für das Tageslicht und ist somit nicht für den von mir verwendeten Bereich aussagekräftig. Jedoch erreicht das Fernsehbild durch die automatische Blenden einstellung auch bei einer nur geringen Infrarot-Bestrahlung eine optimale Helligkeit. Die automatische Blendeneinstellung kann im weiteren Verlauf des Projektes einen enormen Vorteil haben. Sollte der Mikrokontroller trotz der verwendeten Algorithmen Schwierigkeiten bei der Suche der Charakteristika haben, könnte dieser die Infrarot Bestrahlung erhöhen. Da die Kamera die Helligkeit des Bildes durch Ändern der Integrationszeiten immer konstant hält, hätte die Erhöhung der Bestrahlung somit keine Auswirkung auf dir Helligkeit. Vorteil wäre jedoch, daß der Helligkeitsunterschied zwischen den Störlichtern und der Infrarotquelle größer würde. Somit würden die Störlichter immer weniger Einfluß auf die Bildbearbeitung haben und die Charakteristika für den 80C166 leichter zu erkennen sein. Ein weiterer Vorteil ist, daß das Bild von der Kamera im BAS Standard gesendet wird. Somit konnte ich mir während der Entwicklung die Ergebnisse der Elektronik über die Scartbuchse eines Fernsehens anschauen. Nur so war es mir möglich, mich von der korrekten Verarbeitung der Signale zu überzeugen. Aus genau diesem Grund habe ich von Geräten, wie Zeilenkameras oder digitalen CCD-Sensoren Abstand genommen. Diese Bauteile liefern das Bild sofort in digitaler Form. Dadurch ist ein sofortiges Verarbeiten der Informationen möglich. Jedoch braucht man hier Meßgeräte, wie zum Beispiel Logikanalysatoren die mir nicht zur Verfügung standen. Im Laufe der weiteren Entwicklung wäre es allerdings zu überlegen, die Analog Elektronik durch digitale Bausteine zu ersetzen.The resolution of the camera is largely uninteresting, since my image processing only 80 pixels every second Evaluates line. The specified photosensitivity applies only to the daylight and is therefore not for the of The range I used was meaningful. However, the television picture reaches through the automatic aperture Setting even with a low infrared irradiation optimal brightness. The automatic Aperture adjustment can have a huge advantage in the further course of the project. Should the Microcontrollers, despite the algorithms used, have difficulty finding the characteristics, this could increase the infrared radiation. Because the camera changes the brightness of the image by changing the Integrationszeiten always keeps constant, the increase in radiation would therefore have no effect on you Brightness. Advantage would be, however, that the brightness difference between the Störlichtern and the infrared source would be bigger. Thus, the jamming lights would have less and less influence on the image processing and the Characteristics for the 80C166 easier to recognize. Another advantage is that the picture from the camera sent in the BAS standard. Thus, during development I was able to get the results of the electronics watch over the scart socket of a television. Only then was it possible for me to get away from the correct one Convincing processing of the signals. For that very reason I have devices, such as line scan cameras or digital CCD sensors have been removed. These components deliver the image immediately in digital form. This is Immediate processing of information possible. However, you need here meters, such as Logic analyzers that were not available to me. In the course of further development, it would be too consider replacing analog electronics with digital devices.

2.5.4 Infrared radiation

Um die äußeren Störreflexe zu minimieren verwende ich Infrarot Licht mit einer Wellenlänge von 950 nm. Zu Erklärung siehe die Skizze Abb. 7:
Wie man der Skizze leicht entnehmen kann, deckt die Empfindlichkeit des Auges bei weitem nicht das gesamte emittierte Spektrum der Sonne ab. Somit ist es möglich, das Auge mit Wellenlängen außerhalb des sichtbaren Bereiches zu bestrahlen, ohne daß sie wahrgenommen werden. Diese Eigenschaft habe ich mir zu Nutzen gemacht. Ich habe mich aus folgenden Gründen für eine Wellenlänge um 950 nm entschieden:In order to minimize the external disturbing reflections I use infrared light with a wavelength of 950 nm. For explanation see the sketch Fig. 7:
As can easily be seen from the sketch, the sensitivity of the eye does not cover the entire emitted spectrum of the sun by far. Thus, it is possible to irradiate the eye with wavelengths outside the visible range without being perceived. I have used this property for my benefit. I chose a wavelength around 950 nm for the following reasons:

1) At 950 nm there is a minimum of the sun's emitted radiation. So I have less interference.
2) The radiation of the infrared range is much less dangerous than UV radiation. This shortwave Radiation can cause retinal burns and damage the eye. There is also today not yet semiconductors that can produce such a short wavelength.

Neben der Wahl der richtigen Wellenlänge war es jedoch nötig, die anderen Wellenlängen der Sonne durch einen Filter vor der Kamera herauszufiltern. Vorteil des Filters ist, daß er extrem schmalbandig das Licht passieren läßt und so wenig Störstrahlung in die Kamera fällt.In addition to the choice of the right wavelength, it was necessary, the other wavelengths of the sun by a Filter in front of the camera. The advantage of the filter is that it lets the light pass extremely narrowband and so little interference falls into the camera.

3.0 Further improvement approaches

Mein System erlaubt es bis jetzt, die Positionen der Augen relativ zum Kopf zu erfassen. Um die Position der Augen relativ zum Kopf in eine Relation zu der Position der Augen relativ zum 3D Raum zu schaffen, müßte die Position des Kopfes festgestellt werden. Hierzu könnten Winkel und Beschleunigungssensoren verwendet werden. Das Problem bei dieser Art der Positionserfassung ist die Genauigkeit der Messung. Es müssen immerhin 3 Winkelbeschleunigungen gemessen und miteinander verknüpft werden. Die Genauigkeit der Systeme war jedoch bisher so schiecht, daß die gemessenen Größen keine zuverlässigen Indikatoren für die Position des Kopfes gewesen wären. In der Elrad 7/95 wurde nun ein relativ preisgünstiges System vorgestellt, was mit erstaunlicher Präzision mißt. Ich habe jedoch die Möglichkeit, die Erfassung der Analogsignale direkt über die AD-Wandler des 80C166 durch zu führen und dadurch die beiden relativen Position in eine Relation miteinander zu bringen.My system so far allows to capture the positions of the eyes relative to the head. To the position of To create eyes relative to the head in relation to the position of the eyes relative to the 3D space would have to Position of the head can be determined. For this angle and acceleration sensors could be used. The problem with this type of position detection is the accuracy of the measurement. At least 3 Angular accelerations are measured and linked together. The accuracy of the systems, however, was so far so bad that the measured sizes are not reliable indicators of the position of the head would have been. In the Elrad 7/95 now a relatively low-priced system was presented, which is amazing Precision measures. However, I have the ability to capture the analog signals directly through the ADCs of the 80C166 through and thereby bring the two relative position in a relation with each other.

Zudem könnten die programmierbaren Logikbausteinen durch komplexere Bausteinen ersetzt werden (z. B. FPGA). Die Form des Reflexionspunktes könnte verändert werden. Hier wären 1. Zwei Punkte welche sich gegenüberliegen denkbar um einen eventuelle Rotation zuerkennen. Oder der gesamte Iris Bereich wird als Reflexionsfläche gestaltet. So wäre der maximale Kontrast zu erreichen da die Pupille stark das Licht absorbiert. Zudem ist eine Beobachtung des Auges durch einen Halbdurchlässigenspiegel möglich so das das Blickfeld des Anwenders nicht gestört wird. Über diesen Spiegel könnten zudem Bilder ins Auge projiziert werden.In addition, the programmable logic devices could be replaced by more complex devices (eg FPGA). The shape of the reflection point could be changed. Here are 1. Two points which are opposite possible to recognize a possible rotation. Or the entire iris area is called Reflection surface designed. So the maximum contrast would be achieved because the pupil strongly absorbs the light. In addition, an observation of the eye through a semitransparent mirror is possible so that the field of view of the User is not disturbed. Pictures could also be projected into the eye via this mirror.

Achievable benefits

Ich glaube, daß meine Erfindung neben der hohen Steuerungsgeschwindigkeit weitere Vorteile in sich birgt. So kann dieses System vor allem für Behinderte Menschen eine erhebliche Verbesserung der Lebensumstände darstellen. Es sollte zudem beachten werden, daß es gerade für körperlich behinderte Menschen enorm wichtig ist, durch technologische Hilfen ihre Lebensqualität zu verbessern. Der Effekt einer solchen Hilfe kann nicht an den direkten Auswirkungen belegt werden. Das System kann durch die Fähigkeit, Behinderungen auszugleichen eine gleichzeitige Verbesserung der Integration in unsere Sozialstruktur bewirken. Behinderte wären nicht mehr in dem Maße von anderen abhängig oder hilfsbedürftig. Es könnten neue Berufsfelder geöffnet werden, die ihnen vorher verwehrt waren. Im Bezug auf diese erreichbaren Vorteile ist es ein nur sehr kleines Übel, während der Benutzung des Gerätes eine Kontaktlinse zu tragen, welche neben ihrer eigentlichen Aufgabe eventuell vorhandene Sehschwächen ausgleicht kann. Das System kann jedoch auch zur alltäglichen Nutzung benutzt werden um zum Beispiel einen Mausersatz eines normalen Arbeits-PC darstellen.I believe that my invention in addition to the high control speed has other advantages. So This system especially for disabled people can significantly improve living conditions represent. It should also be noted that it is enormously important especially for physically disabled people is to improve their quality of life through technological aids. The effect of such help can not the direct impact. The system can by the ability to compensate for disabilities Simultaneous improvement of integration into our social structure. Disabled people would not be in anymore the size of others dependent or in need of assistance. New occupational fields could be opened to them previously denied. In terms of these achievable advantages, it is a very small evil while the Use of the device to wear a contact lens, which in addition to their actual task may can compensate for existing visual weaknesses. However, the system can also be used for everyday use will be, for example, a mouse replacement of a normal work PC.

Claims

1. A device for detecting the movement of a human eye, with a camera observing the eye, characterized in that in the eye to be observed is a contact lens having a reflective zone, which is detected by the camera and is recognized by the image processing ,

2.1. Characterized by claim 1, characterized in that the reflective zone of the contact lens is outside the Pupil, especially in the area of the iris.

2.2. Characterized by claim 1, by using infrared-reflective materials for the reflective zone.

2.3. Characterized by claim 1, by irradiating the eye with infrared light, in particular with the Wavelength of 950 nm.

2.4. Characterized by the claim 1, by the sequential processing of the image information in 3 different stages (AD conversion, subtraction of two images, image recognition of the point) and of it connected writing the data in two memory modules.

2.5. Characterized by claim 1, by the difference between two successive images, one of which is irradiated by infrared light and one not.

2.6. Characterized by claim 1, by determining the position of the eye, which by the Determination of the position of the head by angular acceleration sensors and sensors for linear Acceleration is related to the environment.