DE4039144A1 - Verfahren zum erfassen eines aenderungspunktes zwischen einem ersten und einem zweiten signalpegel - Google Patents
Verfahren zum erfassen eines aenderungspunktes zwischen einem ersten und einem zweiten signalpegelInfo
- Publication number
- DE4039144A1 DE4039144A1 DE4039144A DE4039144A DE4039144A1 DE 4039144 A1 DE4039144 A1 DE 4039144A1 DE 4039144 A DE4039144 A DE 4039144A DE 4039144 A DE4039144 A DE 4039144A DE 4039144 A1 DE4039144 A1 DE 4039144A1
- Authority
- DE
- Germany
- Prior art keywords
- line
- bit
- determined
- signal
- bit element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims description 22
- 210000001508 eye Anatomy 0.000 claims description 12
- 210000005252 bulbus oculi Anatomy 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims 1
- 230000011514 reflex Effects 0.000 abstract description 3
- 230000007704 transition Effects 0.000 abstract description 2
- 230000004397 blinking Effects 0.000 abstract 1
- 210000001747 pupil Anatomy 0.000 description 11
- 230000003287 optical effect Effects 0.000 description 7
- 210000004087 cornea Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 101100171060 Caenorhabditis elegans div-1 gene Proteins 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
- G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/02—Viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/403—Discrimination between the two tones in the picture signal of a two-tone original
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B2213/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B2213/02—Viewfinders
- G03B2213/025—Sightline detection
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Focusing (AREA)
Description
Die Erfindung betrifft ein Verfahren nach dem Oberbegriff
des Patentanspruchs 1, das inbesondere beim Erfassen der
Blickrichtung des menschlichen Auges anwendbar ist.
Theoretisch muß ein photoelektrisches Signal bei einer
Lichtmengenänderung zwischen einem ersten und einem zweiten
Signalpegel eine klar definierte Grenze durchlaufen. In der
Praxis tritt die Lichtänderung oft jedoch nicht an einem
scharfen Grenzpunkt auf, was auf verschiedene Stör- bzw.
Rauschquellen zurückzuführen ist. Es ist wichtig, den Ände
rungspunkt genau festzustellen, um verschiedene Signalver
arbeitungen durchführen zu können. Hierzu wird bei einem
bekannten Verfahren ein geeigneter Schwellenpegel zwischen
dem ersten und dem zweiten Signalpegel festgelegt, so daß
der Änderungspunkt damit festgestellt werden kann. Bei die
sem bekannten Verfahren kann das Signal jedoch Rauschen
enthalten, so daß keine genaue Erfassung zu erwarten ist.
Ferner kann der Änderungspunkt leicht erfaßt werden, wenn
eine Regelmäßigkeit vorliegt, d. h. ein gegenüber einer Mitte
symmetrischer Signalverlauf. Ist eine solche Regelmäßigkeit
nicht gegeben, so ist es schwierig, den Änderungspunkt genau
zu erfassen.
Bei einer Einrichtung zum Erfassen der Blickrichtung des
menschlichen Auges muß die Grenze (Änderungspunkt) zwischen
einer Signalkomponente (erster Signalpegel) entsprechend dem
an der Iris reflektierten Licht und einer Signalkomponente
(zweiter Signalpegel) entsprechend dem am Augenhintergrund
reflektierten Licht genau erfaßt werden, da diese Grenze
einen Umfangsrand der Pupille wiedergibt. Kann dieser nicht
genau erfaßt werden, so kann die Blickrichtung nicht genau
festgestellt werden. Allgemein gesprochen, enthält das elek
trische Signal, in das das am Augenhintergrund und an der
Iris reflektierte Licht umgesetzt wird, eine Rauschkomponen
te. Dadurch ergibt sich eine unscharfe Übergangsfeststellung
(Änderungspunkt). Dies macht eine genaue Erfassung des
Grenzwertes schwierig.
Die Aufgabe der Erfindung besteht darin, ein Signalverarbei
tungsverfahren anzugeben, mit dem ein Änderungspunkt zwi
schen einem ersten und einem zweiten Signalpegel genau er
faßt werden kann. Dieses Verfahren soll sich besonders für
eine Erfassung der Blickrichtung eignen.
Diese Aufgabe wird durch die Merkmale des Patentanspruchs 1
gelöst. Vorteilhafte Weiterbildungen sind Gegenstand der
Unteransprüche.
Die Erfindung wird im folgenden anhand der Zeichnung näher
erläutert. Darin zeigen:
Fig. 1A und 1B schematische Darstellungen von Ausfüh
rungsbeispielen, bei denen die
Blickrichtung des menschlichen Auges
erfaßt wird,
Fig. 2 die schematische Darstellung des Haupt
teils eines optischen Systems zum Erfas
sen der Blickrichtung,
Fig. 3 eine schematische Darstellung des
Sucherbildfeldes einer einäugigen Spie
gelreflexkamera, die mit einer Einrich
tung zum Erfassen der Blickrichtung aus
gerüstet ist,
Fig. 4 eine Darstellung eines ersten Purkinje-
Bildes auf einem Auge,
Fig. 5 eine Darstellung ähnlich Fig. 4 zum Er
läutern der Positionsermittlung eines
Spitzenwertes in einem Signalverlauf
innerhalb einer Einrichtung nach Fig. 2,
Fig. 6 eine Darstellung des Verfahrens zum Ent
fernen einer Spitzenkomponente aus dem
Verlauf eines photoelektrischen Signals,
Fig. 7 ein Muster eines photoelektrischen
Signalverlaufs,
Fig. 8A, 8B und 8C photoelektrische Signale, wie sie
bei einem Verfahren nach der Erfindung
auftreten, und
Fig. 9, 10A, 10B, 11 und 12 Flußdiagramme für Ver
fahren zum Erfassen der Blickrichtung
unter Anwendung der Erfindung.
Die folgende Beschreibung betrifft ein Ausführungsbeispiel
der Erfindung, das in dem Autofokus-System einer einäugigen
Spiegelreflexkamera eingesetzt wird.
Fig. 3 zeigt das Sucherbild einer einäugigen Spiegelreflex
kamera mit drei Scharfstellzonen 11, 12 und 13. Der Abstand
zwischen den Mitten dieser Scharfstellzonen 11, 12 und 13
beträgt in der Praxis etwa 9 mm. Eine einäugige Spiegelre
flexkamera hat nicht dargestellte optische Autofokussysteme
entsprechend den Scharfstellzonen 11, 12 und 13. Diese Sy
steme haben Scharfstellzonen (nicht dargestellt) entspre
chend den Zonen 11, 12 und 13 an Positionen, die zu den
Scharfstellzonen 11, 12 und 13 konjugiert sind. Die opti
schen Autofokussysteme entsprechend den Scharfstellzonen 11,
12 und 13 haben, wie Fig. 2 zeigt, CCD-Elemente 14, 15 und
16. Auf diesen werden Objektbilder 17, 18 und 19 mit zwei
Separatorlinsen (nicht dargestellt) erzeugt, die jeweils
einen Teil eines optischen Autofokussystems bilden.
Die CCD-Elemente 14, 15 und 16 werden wahlweise entsprechend
einem Ausgangssignal einer Prozessorschaltung 20 einer Ein
richtung zum Erfassen der Blickrichtung angesteuert, die
noch erläutert wird.
Die folgende Beschreibung betrifft den allgemeinen Aufbau
eines optischen Systems der Einrichtung zum Erfassen der
Blickrichtung.
In Fig. 2 sind ein Pentaprisma 21, eine Okularlinse 22, ein
Kamera-Gehäuserahmen 23, ein Lichtübertragungssystem 24 zum
Erfassen der Blickrichtung, ein Lichtempfangssystem 25 zum
Erfassen der Blickrichtung und ein Bildteiler 26 darge
stellt. Das Lichtübertragungssystem 24 hat eine Lichtquelle
27′ und ein Kompensationsprisma 28′. Die Lichtquelle 27′
gibt Infrarotlicht ab, das über das Kompensationsprisma 28′
und das Pentaprisma 21 auf die Okularlinse 22 gerichtet
wird, so daß es damit parallel gebündelt wird. Das parallele
Infrarotlicht wird einem Sucherfenster 28 über den Bildtei
ler 26 zugeführt. Wenn der Kamerabenutzer mit seinem Auge 29
das Sucherfenster 28 betrachtet, so kann er die Objekte 17,
18 und 19 (Fig. 3) sehen. Gleichzeitig fällt das parallele
Infrarotlicht zum Erfassen der Blickrichtung auf sein Auge.
Durch die Projektion des parallelen Infrarotlichts wird ein
erstes Purkinje-Bild PI auf der Hornhaut 30 des Auges 29
erzeugt, das in Fig. 4 gezeigt ist. Ein Teil des Infrarot
lichts erreicht den Augenhintergrund durch die Hornhaut 30
hindurch. Bekanntlich ändert sich die Position des ersten
Purkinje-Bildes PI mit der Drehung des Augapfels, die die
Blickrichtung ändert. Entsprechend kann der Drehwinkel des
Augapfels durch die Positionsbeziehung des ersten Purkinje-
Bildes PI und der Mitte 32 (oder des Randes) der Pupille 31
bestimmt werden.
Das am Augenhintergrund und das an der Hornhaut 30 reflek
tierte Licht fallen wiederum durch das Sucherfenster 28 auf
den Bildteiler 26. Dadurch werden beide Lichtanteile durch
den Bildteiler 26 zu dem Lichtempfangssystem 25 reflektiert.
Dieses enthält eine Kondensorlinse 33, einen Spiegel 34,
eine Bilderzeugungslinse 35 und einen ersten Dimensions-
Liniensensor (CCD) 36, der eine große Zahl photoleitfähiger
Bitelemente vorbestimmter Breite hat. Das Bild des am Augen
hintergrund reflektierten Lichts und das erste Purkinje-Bild
PI mit dem an der Hornhaut 30 reflektierten Licht werden in
dem ersten Dimensions-Liniensensor 36 erzeugt. Dieser gibt
ein photoelektrisches Signal entsprechend diesen Bildern ab.
Die Kurve 3 dieses Signals enthält eine Spitzenkomponente 1
entsprechend dem ersten Purkinje-Bild PI, eine Signalkom
ponente 2 entsprechend dem am Augenhintergrund reflektierten
Licht und eine Signalkomponente 4 entsprechend dem an der
Iris reflektierten Licht, wie Fig. 6 und 7 zeigen. Das die
Kurve 3 bildende photoelektrische Signal wird der Prozessor
schaltung 20 zugeführt.
Fig. 6 und 7 zeigen ein ideales Muster der photoelektrischen
Signalkurve 3. Nimmt man an, daß der Teil 4 entsprechend dem
an der Iris reflektierten Licht der erste Signalpegel und
der Teil 2 entsprechend dem am Augenhintergrund reflektier
ten Licht der zweite Signalpegel ist, so gibt es einen kla
ren Unterschied zwischen den beiden Teilen 4 und 2, der auf
unterschiedliche Reflexionsfähigkeit zurückzuführen ist. Die
Grenzen (Änderungspunkte) 5 zwischen den beiden Signalpegeln
bestimmen zwei diametral einander gegenüberliegende Punkte
37 der Pupille. Die Blickrichtung wird entsprechend der
relativen Positionsbeziehung zwischen der Spitzenkomponente
1 aus dem ersten Purkinje-Bild PI und der Pupille (d. h. der
Mitte zwischen den beiden Punkten 37) bestimmt. Es ist sehr
wichtig, die Änderungspunkte 5 genau zu bestimmen, damit
sich die genaue Blickrichtung ergibt.
Es ist nicht schwierig, die Änderungspunkte 5 in Fig. 6 und
7 zu erfassen, in denen die Punkte 5 klar auftreten. Die
Kurve 3 des photoelektrischen Signals hat in der Praxis
jedoch nicht derart klare Änderungspunkte. Dies ist aus Fig.
8A, 8B und 8C zu ersehen. Diese zeigen die Kurven 3 des
photoelektrischen Signals für jeweils die Blickrichtung auf
die zentrale Scharfstellzone 11, die linke Scharfstellzone
13 und die rechte Scharfstellzone 12.
Die Erfindung bezweckt das Erfassen der Änderungspunkte 5
aus der Kurve 3, bei der diese Punkte durch Rauschen un
scharf sind. Dennoch soll eine genaue Erfassung der Ände
rungspunkte möglich sein.
Hierzu führt die Signalprozessorschaltung 20 die folgenden
Operationen entsprechend einem vorbestimmten arithmetischen
Programm durch.
1. Erfassen der Position des ersten Purkinje-Bildes PI:
1.1 Erfassen eines Bitelements entsprechend dem Spitzenwert
der Kurve 3 des photoelektrischen Signals. In diesem
Schritt wird zum Erhalten eines Maximalwertes nach
einem an sich bekannten Verfahren ein Anfangswert
Vmax=0 (Schritt 1 in Fig. 9) in einen Maximalwertspei
cher (nicht dargestellt) als provisorischer Maximalwert
Vmax eingesetzt. Die Bitelemente des ersten Dimensions-
Liniensensors, deren Zahl N ist, werden nacheinander
von links nach rechts erhalten, um ein Bitelement zu
finden, das einen über den provisorischen Maximalwert
Vmax hinausgehenden Wert abgibt. Das so erfaßte Bitele
ment wird erneuert als ein Bitelement mit einem zweiten
provisorischen Maximalwert Vmax, so daß die Adresse
Imax des Bitelements entsprechend dem zweiten proviso
rischen Maximalwert Vmax in einem Bitadressenspeicher
(nicht dargestellt) gespeichert wird.
Mit anderen Worten: Der zweite provisorische Maximal
wert Vmax wird mit dem Ausgangssignal V(I) des Bitele
ments Nr. I in Schritt S2 verglichen. Wenn V(I)≧ Vmax,
so werden in Schritt S3 Vmax=V(I) und Imax=I gesetzt.
Wenn andererseits V(I)<Vmax, so wird die Adresse des
Bitelements in Schritt S4 um 1 erhöht und die Operation
des Schritts S2 wiederholt.
Die vorstehend erläuterten Operationen der Schritte S1
bis S4 werden wiederholt, bis I=N, die vorstehenden
Operationen werden also für das letztgültige Bitelement
(N-tes Bitelement) durchgeführt. Entsprechend wird ein
realer Maximalwert (Spitzenwert) Vmax in dem Maximal
wertspeicher gespeichert, und die Adresse Imax des ent
sprechenden Bitelements wird in dem Bitadressenspeicher
gespeichert.
1.2 Erfassen der Position des ersten Purkinje-Bildes PI als
eine Interpolationskoordinate Xpeak unter Verwendung
des Bitelements, welches den Maximalwert abgibt (Fig.
5 und 9). In diesem Schritt werden die Zahl Imax des
Bitelements und der reale Maximalwert Vmax aus dem
Bitadressenspeicher bzw. dem Maximalwertspeicher gele
sen. Danach wird die Zahl Imax-1 des nächsten, links
von Imax liegenden Bitelements aus dem Bitadressenspei
cher gelesen, so daß der Ausgangswert V(Imax-1) des
Bitelements Imax-1 als V-1 in dem Maximalwertspeicher
gespeichert wird.
Ferner wird die Zahl Imax+1 des nächsten Bitelements
rechts von Imax aus dem Bitadressenspeicher gelesen, so
daß der Ausgangswert V(Imax+1) des Bitelements Imax-1
als V+1 in dem Maximalwertspeicher gespeichert wird
(Schritt S5).
Danach wird in Schritt S6 geprüft, ob V-1 V+1 ist.
Dann geht die Steuerung zu Schritt S7 oder S8, um die
Interpolationskoordinate Xpeak zu erhalten.
Wenn das Ausgangssignal V-1 des Bitelements Imax-1
gleich dem Ausgangssignal V+1 des Bitelements Imax+1
ist, so kann davon ausgegangen werden, daß der Spitzen
wert an der zentralen Position des Bitelements Imax
gegeben ist. Da aber das Ausgangssignal V-1 normaler
weise nicht gleich dem Ausgangssignal V+1 ist und da
das Bitelement eine gewisse Breite hat, wird der Wert
Xpeak durch Interpolation abgeleitet.
Wenn in Schritt S6 V-1 V+1 festgestellt wird, so er
gibt sich ein Schnittpunkt der Linien A und B (Fig. 5)
in Schritt S8 durch die folgende Gleichung, die mathe
matisch die Steigung einer Linie angibt:
Xpeak = Imax + 1 - [{2 · Vmax - (V-1 + V+1)}/2 · (Vmax - V-1)]
Wenn in Schritt S6 V-1<V+1 festgestellt wird, so wird
in Schritt S7 statt dessen die folgende Gleichung angewendet:
Xpeak = Imax - 1 + [{2 · Vmax - (V-1 + V+1)}/2 · (Vmax - V+1)]
Somit kann die Position des ersten Purkinje-Bildes PI
als die Interpolationskoordinate Xpeak erhalten werden
aus dem Bitelement, das einen Spitzenwert ergibt, und
zwei weiteren Bitelementen beiderseits dieses Bitele
ments.
2. Entfernen von Bitelementen des ersten Purkinje-Bildes
PI aus dem zu bearbeitenden Objekt.
In diesem Verfahren werden die Bitelemente entsprechend
der Spitzenkomponente 1 (Fig. 6) aus der Operation
entfernt. Dies kann erreicht werden, indem die Aus
gangssignale der Bitelemente rechts und links des Bit
elements Imax nicht gelesen werden. In Fig. 6 werden
die Bitelemente in einem Bereich C aus dem zu bearbei
tenden Objekt entfernt.
Die Zahl der zu entfernenden Bitelemente hängt von den
optischen Eigenschaften der Einrichtung zur Blickrich
tungserfassung und von der Breite der Bitelemente des
ersten Dimensions-Liniensensors 36 ab. Vorzugsweise
wird sie anhand der Wellenform der Kurve 3 des photo
elektrischen Signals bestimmt, die auf einem Bildschirm
dargestellt werden kann.
Im dargestellten Ausführungsbeispiel werden die Bit
elemente zwischen den vierten Bitelementen (Imax-4) und
(Imax+4) gezählt von dem den realen Maximalwert Vmax
abgebenden Bitelement in beiden Richtungen entfernt.
Danach ergeben sich zur Bestimmung von Schwellwerten
der Bitelemente rechts und links der entfernten Bit
elemente das rechte Endelement IR der Kurve 40 auf der
linken Seite und das linke Endelement IL der Kurve 41
auf der rechten Seite nach Erfassen der diametral ein
ander gegenüberliegenden Punkte 37 der Pupille (Iris)
folgendermaßen. Das Bitelement Imax-5 wird in dem Teil
des Speichers gespeichert, der dem rechten Endelement
IR entspricht. Danach wird das Bitelement Imax+5 in dem
Teil des Speichers gespeichert, der dem linken Endele
ment IL entspricht (Schritt S9).
3. Erfassen der diametral einander gegenüberliegenden
Punkte 37 der Pupille (Iris). In diesem Verfahren wer
den die Änderungspunkte 5 aus der Kurve 3 des photo
elektrischen Signals ermittelt, was eines der wichtig
sten Merkmale der Erfindung darstellt. Zwei Ausfüh
rungsbeispiele werden im folgenden erläutert. Das erste
ist in Fig. 1A und 10A und das zweite in Fig. 1B und
10B darstellt.
Bei dem ersten, in Fig. 1A und 10A dargestellten Aus
führungsbeispiel werden die Ausgangssignale der Bit
elemente mit entfernten Bitelementen, die die Spitzen
komponente 1 abgeben, zum Erfassen der Änderungspunkte
5 für die linke und rechte Kurve 40 und 41 verwendet.
Da die Operation für die rechte Kurve 41 symmetrisch
derjenigen für die linke Kurve 40 bezüglich der Spit
zenkomponente 1 ist, wird im folgenden nur die Opera
tion für die linke Kurve 40 beschrieben.
3.1 Ein Schwellwert SL, der unter dem Ausgangswert V(IR)
des rechten Endelements IR (IR=max-5) der rechten Kur
ve 40 liegt, wird, wie in Fig. 1A gezeigt, eingestellt.
Vorzugsweise ist der Schwellwert SL etwa der halbe
Ausgangswert V(IR) des Bitelements IR. Im dargestellten
Ausführungsbeispiel ist SLL=V(IR)/2 (Schritt S101 in
Fig. 9).
In Schritt S102 wird geprüft, ob die Ausgangssignale
V(I) und V(I+1) der beiden benachbarten Bitelemente
unter oder über dem Schwellwert SLL liegen. Dies wird
von I=1 bis I=IR wiederholt (Schritt 102′). Wenn die
beiden benachbarten Bitelemente gefunden sind, welche
die vorstehende Bedingung erfüllen, werden sie in dem
Speicher als I1 und I2 (Fig. 1A) gespeichert (Schritt
S103).
3.2 Eine erste Linie K1 zum Erfassen des Änderungspunktes
5 nach dem Newton-Verfahren wird erhalten.
Zunächst werden das zweite Bitelement I1+2 (=I3) ausge
hend von dem Bitelement I1 nach rechts und das zweite
Bitelement I1-2 (=I4) ausgehend von dem Bitelement I1
nach links erhalten und in den Teilen IUP und ILO des
Speichers gespeichert (Schritt S104). Ferner wird D=4
gespeichert. "D" bedeutet die Bitzahlen zwischen I3 und
I4. Danach geht die Steuerung zu Schritt S105, um die
arithmetische Operation zum Bestimmen der ersten Linie
K1 durchzuführen. Die erste Linie K1 ergibt sich näm
lich durch Verbinden der Ausgangswerte V3 und V4 ent
sprechend I3 und I4. Es kann davon ausgegangen werden,
daß die Ausgangssignale der Bitelemente I1 und I2 sowie
der danebenliegenden Bitelemente längs der ersten Linie
K1 oder nahe dieser Linie liegen. Die Linie K1 hat
einen Steigungswinkel A1 und einen Abschnitt (Ausgangs
pegel bei Referenzbit) B1, die durch die folgenden
Gleichungen angegeben werden:
A = {V(IUP) - V(ILO)}/D
B = {IUP × V(ILO) - ILO × V(IUP)}/D
B = {IUP × V(ILO) - ILO × V(IUP)}/D
3.3 Ein Schnittpunkt X1, an dem die erste Linie K1 den
Nullpegel (vorbestimmter Pegel) schneidet, wird erhal
ten. Danach wird ein Bitelement, das dem Punkt X1 links
am nächsten liegt, als Nulldurchgangs-Bitelement (I5)
gesetzt. Dies kann durch Speichern des Wertes (-B1 DIV
A1) in dem Speicherteil IUP geschehen.
B1 DIV A1 wird durch die folgende Gleichung gegeben:
B₁ DIV A₁ = SGN(B/A) · INT(ABS(B/A))
Dabei ist ABS(B/A) ein Absolutwert von B/A, INT eine
ganze Zahl von B/A, die auf die nächstkleinere ganze
Zahl abgerundet ist, und SGN ein Vorzeichen zum Unter
scheiden des negativen und positiven Wertes. Somit wird
das Nulldurchgangs-Bitelement erhalten.
Danach wird das vierte Bitelement IUP-4 (=I6) ausgehend
von dem Nulldurchgangs-Bitelement I5 nach links in dem
Speicherteil ILO gespeichert (Schritt S106). Danach
geht die Steuerung zu Schritt S107 (Fig. 10A), um die
arithmetische Operation für die Ableitung der zweiten
Linie K2 durchzuführen, die in Fig. 12 gezeigt ist. Die
zweite Linie K2 ergibt sich durch Verbinden des Aus
gangswertes V6 des Bitelements I6 und des Ausgangswer
tes V5 des Nulldurchgangs-Bitelements I5. Es ist davon
auszugehen, daß die Ausgangssignale der Bitelemente I5
und I6 sowie der benachbarten Bitelemente auf der zwei
ten Linie K2 oder in deren Nachbarschaft liegen. Die
zweite Linie K2 hat einen Steigungswinkel A2, der klei
ner als derjenige der ersten Linie K1 ist. Der Stei
gungswinkel A2 und ein Abschnitt B2 können ähnlich wie
bei der ersten Linie K1 abgeleitet werden.
3.4 Ein Schnittpunkt X2 der ersten Linie K1 und der zweiten
Linie K2 sind mathematisch durch die folgende Formel
gegeben und werden in Schritt S108 erhalten:
X2=(B1-B2)/(A2-A1).
In einfachster Weise ist der so erhaltene Schnittpunkt
X2 der Änderungspunkt 5 der Kurve 3 des photoelektri
schen Signals. Dieses Ergebnis ist in der Praxis aus
reichend.
Um den Änderungspunkt 5 mit höherer Genauigkeit zu
erfassen, ist es möglich, eine dritte Linie K3 folgen
dermaßen unter Ausnutzung des Schnittpunkts X2 zu be
stimmen. Die dritte Linie K3, deren Steigungswinkel
(Absolutwert) größer als derjenige der ersten Linie K1
ist, ergibt sich aus den Bitelementen in der Nachbar
schaft des Schnittpunktes X2, was noch beschrieben
wird. Der Änderungspunkt 5 ist durch einen Schnittpunkt
der zweiten Linie K2 und der dritten Linie K3 gegeben.
3.5 Ein Bitelement Ix2, das dem Schnittpunkt X2 links am
nächsten liegt, ergibt sich durch die folgende Formel:
Ix2=X2 DIV 1.
Die dritte Linie K3 ergibt sich durch Verbinden des
Ausgangswertes V7 des zweiten Bitelements I7, gezählt
von dem Bitelement Ix2 nach rechts, und des Ausgangs
wertes V8 des vierten Bitelements I8 (das in diesem
Ausführungsbeispiel identisch mit I2 ist), gezählt von
dem Bitelement I7. Der Wert (X2+2) wird in dem Spei
cherteil ILO gespeichert, und der Wert (ILO+4) wird in
dem Speicherteil IUP gespeichert, um das zu verwendende
Bitelement zu bezeichnen (Schritt S109). Danach geht
die Steuerung zu Schritt S110, um die Operation nach
Fig. 12 durchzuführen, die zu der dritten Linie K3, zu
deren Steigungswinkel A3 und zu dem Abschnitt B3 führt.
Es ist davon auszugehen, daß die Ausgangssignale der
Bitelemente I2 und I7 sowie der benachbarten Bitelemen
te auf der dritten Linie K3 oder in deren Nachbarschaft
liegen. Die Linie K3 gibt die Ausgangssignale dieser
Bitelemente mit höherer Genauigkeit an als die erste
Linie K1. Der Steigungswinkel A3 und der Abschnitt B3
können ähnlich wie bei der ersten Linie K1 erhalten
werden.
3.6 Der Schnittpunkt Xedge der zweiten Linie K2 und der
dritten Linie K3 wird in Schritt S111 nach der folgen
den Gleichung erhalten:
Xedge=(B3-B2)/(A3-A2).
Der so erhaltene Schnittpunkt Xedge entspricht genauer
dem Änderungspunkt 5, der einen der diametralen Punkte
37 der Pupille bestimmt.
Die vorstehend beschriebenen Operationen werden für die
rechte Kurve 41 zum Erfassen des anderen diametralen
Punktes 37 der Pupille durchgeführt. Die Pupillenmitte
ergibt sich mit einem Mittelwert der Koordinaten der
diametralen Punkte 37.
Beim Umschalten der Operation von der linken Kurve 40
auf die rechte Kurve 41 wird in Schritt S113 geprüft,
ob der Wert Xedge über einem bestimmten Grenzwert TL
liegt. Wenn der Grenzwert TL über Xedge liegt, wird
dieser Wert auf TL gesetzt (Xedge=TL), um die Operation
für die rechte Kurve 41 durchzuführen (Schritt S11).
Wenn andererseits der Grenzwert TL gleich oder kleiner
als Xedge ist, so geht die Steuerung direkt auf die
Operation für die rechte Kurve über (Schritt S11 in
Fig. 11). Gleichartige Operationen werden für die rech
te Kurve durchgeführt.
Wenn die Operation für die rechte Kurve abgeschlossen
ist, ergibt sich ein Mittelwert Xmean der Schnittpunkte
Xedge (linke und rechte Seite) zum Erfassen der Pupil
lenmitte (Schritt S12). Danach ergibt sich die Position
Xobj der X-Koordinate durch die folgende Formel, indem
der Mittelwert Xmean und die Interpolationskoordinate
Xpeak zum Feststellen der Blickrichtung verwendet wer
den (Schritt S13):
Xobj=C×(Xmean-Xpeak).
Der Koeffizient C ist dabei ein Wert, der sich aus dem
Prinzip der Blickrichtungserfassung ergibt. Dieser Wert
kann 2,467 betragen.
Es wurde experimentell bestätigt, daß die Blickrichtung,
d. h. die vorstehend beschriebene Koordinate Xobj den Wert -9
mm hat, wenn auf die linke Scharfstellzone 11 geblickt wird.
Sie hat den Wert +9 mm, wenn auf die rechte Scharfstellzone
13 geblickt wird. Die Position der mittleren Scharfstellzone
12 liegt bei 0 mm.
Die folgende Beschreibung betrifft das zweite Ausführungs
beispiel der Erfindung gemäß Fig. 1B und 10B. Das zweite
Ausführungsbeispiel ermöglicht das direkte Erfassen von
Xedge′ ohne eine dritte Linie K3. Hierbei sind die Prozesse
zum Bestimmen des Schwellenpegels SL und zum Ableiten der
Bitelemente I1 und I2 mit einem kleineren bzw. größeren
Ausgangssignal als der Schwellenpegel SL dieselben wie bei
dem ersten Ausführungsbeispiel. Der hauptsächliche Unter
schied besteht in dem Prozeß zum Darstellen der ersten Linie
K1′.
3.2′ Zum Erhalten der Änderungspunkte 5 unter Anwendung des
Newton-Verfahrens werden die folgenden Operationen
durchgeführt.
Die Prozesse zum Darstellen der ersten Linie K1′ werden
für die Bitelemente zwischen dem vierten Bitelement I1-4
(=ILS), ausgehend von dem Bitelement I1 in linker
Richtung und dem vierten Bitelement I1+4 (ILL), ausge
hend von dem Bitelement I1 in rechter Richtung durch
geführt. Jeweils zwei Bitelemente bilden ein Paar, das
eine Linie bestimmt. Mehrere Paare von Bitelementen
bestimmen eine Liniengruppe. Beispielsweise bestimmt
ein erstes Paar aus einem ersten und einem dritten
Bitelement eine Linie und ein zweites Paar aus einem
zweiten und einem vierten Bitelement eine weitere Li
nie. In der Praxis ist eine Liniengruppe durch die
Ausgangssignale der Paare von Bitelementen bestimmt. Im
dargestellten Ausführungsbeispiel bilden das Ausgangs
signal V3 des Bitelements I3 und das Ausgangssignals V4
des Bitelements I4 eine Linie K1′-1, und ähnlich bilden
das Ausgangssignal V1 des Bitelements I1 und das Aus
gangssignal V4 des Bitelements I4 die Linie K1′-2. Für
diese Operation werden ILS=I1-4 und ILL=I1+4 bei Schritt
S115 gespeichert.
Danach werden die Anfangswerte AL1=0 und BL1=0 in den
entsprechenden Speicherabschnitten in Schritt S116
gesetzt. Die Nummern I+1 und I+1 werden in den Spei
cherabschnitten ILO und IUP gespeichert. D=2 wird in dem
entsprechenden Speicherabschnitt gespeichert (Schritt
S117). Danach geht die Steuerung zu Schritt S118, um
die arithmetische Operation für eine Linie der Bitele
mente I-1 und I+1 durchzuführen. Der Steigungswinkel
a und der Abschnitt (Ausgang) b der Linie wer
den durch die folgenden Gleichungen angegeben:
a = {V(IUP) - V(ILO)}/D
b = {IUP × V(ILO) - ILO × (IUP)}/D.
b = {IUP × V(ILO) - ILO × (IUP)}/D.
Der Steigungswinkel a wird mit dem Steigungswinkel im
Speicherabschnitt AL1 in Schritt S119 verglichen. Wenn
a<AL1, so geht die Steuerung zu Schritt S110, um die
Speicherabschnitte AL1 und BL1 zu erneuern, so daß der
Steigungswinkel a und der Abschnitt b aus
Schritt S108 in den Speicherabschnitten AL1 und BL1
gespeichert werden. Dies wird von I=ILS bis I=ILL wie
derholt, um eine Linie mit dem größten Steigungswinkel
zu erhalten (Schritt S121).
Im dargestellten Ausführungsbeispiel hat die Linie
K1′-1, die durch die Bitelemente I1 und I4 bestimmt
ist, den größten Steigungswinkel und entspricht der
ersten Linie K1′.
Wie aus der vorstehenden Beschreibung hervorgeht,
zeichnet sich das zweite Ausführungsbeispiel dadurch
aus, daß die erste Linie K1′ als die Linie mit dem
größten Steigungswinkel erhalten wird.
3.3′ Danach wird die Position X1′ ermittelt, bei der die
erste Linie K1′ den Nullpegel schneidet. Das der Posi
tion X1′ links am nächsten liegende Bitelement wird als
Nulldurchgangs-Bitelement I7 gesetzt. Dies ergibt sich
durch Speichern des Wertes (-B1 DIV A1) in dem Spei
cherabschnitt IUP. (B1 DIV A1) wird durch die folgende
Gleichung bestimmt:
B DIV A=SGN(B/A)×INT(ABS(B/A) ).
Dabei ist ABS(B/A) der Absolutwert von B/A, INT eine
ganze Zahl von B/A, die auf die nächst kleinere ganze
Zahl abgerundet ist, und SGN ein Vorzeichen zum Unter
scheiden des negativen und des positiven Wertes. Auf
diese Weise ergibt sich das Nulldurchgangs-Bitelement.
Danach wird das vierte Bitelement IUP-4 (=I8), ausgehend
von dem Nulldurchgangs-Bitelement I7 nach links, in dem
Speicherabschnitt ILO in Schritt S122 gespeichert. Da
nach geht die Steuerung zu Schritt S123 in Fig. 10B, um
die Routine der arithmetischen Operation zum Darstellen
der zweiten Linie K2′ durchzuführen, die in Fig. 12
gezeigt ist. Die zweite Linie K2′ wird erhalten durch
Verbinden des Ausgangswertes V8 des Bitelements I8 und
des Ausgangswertes V7 des Nulldurchgangs-Bitelements
I7. Die zweite Linie K2′ hat einen Steigungswinkel A2,
der kleiner als derjenige der ersten Linie K1′ ist. Der
Steigungswinkel A2 und ein Abschnitt B2 können in
ähnlicher Weise wie für die erste Linie K1′ erhalten
werden.
In dem zweiten Ausführungsbeispiel muß die zweite Linie
K2′ durch das Ausgangssignal eines Nulldurchgangs-Bit
elements und das Ausgangssignal eines Bitelements mit
Abstand zu dem Nulldurchgangs-Bitelement ermittelt
werden, wobei dieser Abstand mindestens ein Bitelement
beträgt.
3.4 Ein Schnittpunkt Xedge′ der ersten Linie K1′ mit der
zweiten Linie K2′ wird mathematisch abgeleitet. Der
Änderungspunkt 5 ergibt sich durch den Schnittpunkt
Xedge′, um einen der diametralen Punkte 37 der Pupille
zu bestimmen.
Die nachfolgenden Prozesse stimmen mit denjenigen des ersten
Ausführungsbeispiels überein.
Obwohl bestimmte Bitelemente ausgehend von einem Referenz
bitelement ausgewählt werden, um die erste, zweite und drit
te Linie K1, K1′, K2, K2′ und K3 bei den vorstehend be
schriebenen Ausführungsbeispielen zu bestimmen, hängt die
Auswahl der photoleitfähigen Bitelemente des Liniensensors
von dessen Größe oder den optischen Eigenschaften der zu
verarbeitenden photoelektrischen Signale usw. ab.
Claims (7)
1. Signalverarbeitungsverfahren zum Erfassen eines Ände
rungspunktes zwischen einem ersten Signalpegel und
einem zweiten Signalpegel, die von einem Liniensensor
abgegeben werden, welcher aus einer Anordnung photo
leitfähiger Bitelemente besteht, insbesondere zum Er
fassen der Blickrichtung des menschlichen Auges durch
Auswerten von am Augapfel reflektiertem Licht mit einer
dem ersten Signalpegel entsprechenden Reflexion an der
Iris und einer dem zweiten Signalpegel entsprechenden
Reflexion am Augenhintergrund, dadurch gekennzeichnet,
daß zwischen dem ersten Signalpegel und dem zweiten
Signalpegel ein Schwellenpegel festgelegt wird, daß
zwei Bitelemente mit einem Ausgangspegel größer bzw.
kleiner als der Schwellenpegel erfaßt werden, daß aus
den Ausgangspegeln der beiden Bitelemente oder zweier
Bitelemente mit bestimmter Beziehung zu diesen Bitele
menten eine erste Linie bestimmt wird, daß ein Null
durchgangs-Bitelement bestimmt wird, das an einem
Schnittpunkt der ersten Linie mit einem vorbestimmten
Ausgangspegel liegt, daß eine zweite Linie bestimmt
wird, deren Absolutwert des Steigungswinkels kleiner
als derjenige der ersten Linie ist, wozu die Ausgangs
pegel des Nulldurchgangs-Bitelements und eines Bitele
ments mit vorbestimmter Beziehung dazu oder die Aus
gangspegel zweier Bitelemente mit vorbestimmter Bezie
hung zu dem Nulldurchgangs-Bitelement verwendet werden,
und daß der Änderungspunkt durch den Schnittpunkt der
ersten und der zweiten Linie bestimmt wird.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß
das Bestimmen der ersten Linie durch Erhalten einer
Liniengruppe aus den Ausgangspegeln von Bitelementpaa
ren und durch Auswählen der ersten Linie aus der Li
niengruppe erfolgt.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß
die Linie mit dem größten Steigungswinkel ausgewählt
wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch
gekennzeichnet, daß eine dritte Linie bestimmt wird,
deren Absolutwert des Steigungswinkels größer als der
jenige der ersten Linie mit Bezug auf das Nulldurch
gangs-Bitelement ist.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß
der Änderungspunkt durch den Schnittpunkt der dritten
mit der zweiten Linie bestimmt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß der Schwellenpegel etwa
ein Mittelwert des höheren der beiden Signalpegel ist.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, daß die Blickrichtung aus der
relativen Positionsbeziehung zwischen dem Änderungs
punkt und einem Spitzenwert der photoelektrischen Si
gnale bestimmt wird, welche durch ein erstes Purkinje-
Bild definiert sind.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP1316468A JP2877400B2 (ja) | 1989-12-07 | 1989-12-07 | 視線検出装置の視線検出方法 |
JP1316466A JP2877399B2 (ja) | 1989-12-07 | 1989-12-07 | 視線検出装置の視線検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE4039144A1 true DE4039144A1 (de) | 1991-06-13 |
DE4039144C2 DE4039144C2 (de) | 1993-05-19 |
Family
ID=26568671
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE4039144A Granted DE4039144A1 (de) | 1989-12-07 | 1990-12-07 | Verfahren zum erfassen eines aenderungspunktes zwischen einem ersten und einem zweiten signalpegel |
Country Status (2)
Country | Link |
---|---|
US (1) | US5485403A (de) |
DE (1) | DE4039144A1 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19731303B4 (de) * | 1997-07-13 | 2009-02-26 | Smi Senso Motoric Instruments Gmbh | Verfahren und Vorrichtung zum kontaktlosen, helmfreien Messen der Blickrichtung von Augen bei Kopf- und Augenbewegungen |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3864030A (en) * | 1972-07-11 | 1975-02-04 | Acuity Syst | Eye position measuring technique |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3804496A (en) * | 1972-12-11 | 1974-04-16 | Stanford Research Inst | Two dimensional eye tracker and method for tracking an eye |
US4047187A (en) * | 1974-04-01 | 1977-09-06 | Canon Kabushiki Kaisha | System for exposure measurement and/or focus detection by means of image senser |
JPS5413330A (en) * | 1977-07-01 | 1979-01-31 | Olympus Optical Co Ltd | Automatic focus adjusting system |
EP0055338A1 (de) * | 1980-12-31 | 1982-07-07 | International Business Machines Corporation | Augengesteuerte Anwendermaschine zum Informationsaustausch |
US4574314A (en) * | 1982-05-28 | 1986-03-04 | Weinblatt Lee S | Camera autofocus technique |
US4636624A (en) * | 1983-01-10 | 1987-01-13 | Minolta Camera Kabushiki Kaisha | Focus detecting device for use with cameras |
US4660945A (en) * | 1983-01-25 | 1987-04-28 | Trachtman Joseph N | Methods and apparatus for accommodation training |
JPS6032012A (ja) * | 1983-08-01 | 1985-02-19 | Minolta Camera Co Ltd | カメラの焦点検出装置 |
JPH067219B2 (ja) * | 1983-08-16 | 1994-01-26 | ミノルタカメラ株式会社 | カメラの焦点検出装置 |
US4648052A (en) * | 1983-11-14 | 1987-03-03 | Sentient Systems Technology, Inc. | Eye-tracker communication system |
JPS61172552A (ja) * | 1985-01-28 | 1986-08-04 | 株式会社トプコン | 視線方向検出装置 |
FR2587191B1 (fr) * | 1985-09-19 | 1988-12-02 | Inst Nat Sante Rech Med | Procede et dispositif de mesure de la direction du regard |
DE3637742A1 (de) * | 1986-11-05 | 1988-05-11 | Leitz Ernst Gmbh | Fotografische kamera mit einem wechselobjektiv |
US4836670A (en) * | 1987-08-19 | 1989-06-06 | Center For Innovative Technology | Eye movement detector |
DE3841575C2 (de) * | 1987-12-17 | 1994-11-03 | Asahi Optical Co Ltd | Kamera mit einem Suchersystem mit einer Einrichtung zum Feststellen der Blickrichtung des Benutzers |
US4848340A (en) * | 1988-02-10 | 1989-07-18 | Intelligent Surgical Lasers | Eyetracker and method of use |
JP2950546B2 (ja) * | 1988-08-31 | 1999-09-20 | キヤノン株式会社 | 視線検出装置及び視線検出装置を有するカメラ |
-
1990
- 1990-12-07 DE DE4039144A patent/DE4039144A1/de active Granted
- 1990-12-07 US US07/623,566 patent/US5485403A/en not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3864030A (en) * | 1972-07-11 | 1975-02-04 | Acuity Syst | Eye position measuring technique |
Also Published As
Publication number | Publication date |
---|---|
US5485403A (en) | 1996-01-16 |
DE4039144C2 (de) | 1993-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE2639625C3 (de) | Automatische Scharfeinstelleinrichtung | |
DE2922080C2 (de) | Entfernungsmeßeinrichtung | |
DE69111377T2 (de) | Kamera mit gegenstandshervorhebung und bewegungsdetektion. | |
DE69113889T2 (de) | Passive Abstandsmessung und schnelle Autofokussierung. | |
DE19949580B4 (de) | Autofokuseinrichtung für ein Visierfernrohr | |
DE3131053C2 (de) | Automatische Fokussierungsermittlungseinrichtung für eine Kamera | |
DE3320096C2 (de) | Verfahren und Vorrichtung zum Feststellen des Scharfstellungszustandes eines optischen Abbildungssytems | |
DE3636951A1 (de) | Einrichtung zur scharfeinstellungsermittlung | |
DE68920782T2 (de) | Automatisches Scharfeinstellgerät. | |
DE3828587C2 (de) | ||
DE3907664C2 (de) | ||
DE69114146T2 (de) | Einrichtung zur Fokussierungsdetektierung. | |
DE3215483A1 (de) | Augenuntersuchungsinstrument | |
DE2942794A1 (de) | Vorrichtung zur elektrischen ermittlung der scharfeinstellung eines objektivs | |
DE3031813A1 (de) | Scharfeinstellungs-ermittlungsvorrichtung. | |
DE3633592C2 (de) | ||
DE4215523C2 (de) | Blickpunkterfassungseinrichtung für eine Kamera | |
DE3406578A1 (de) | Automatische brennpunktermittlungsvorrichtung | |
DE2717531A1 (de) | Vorrichtung zur anzeige der fokussierungsbedingung eines optischen systems sowie verwendung der vorrichtung | |
DE3428974C2 (de) | ||
DE3841575A1 (de) | Einrichtung zur feststellung der blickrichtung des benutzers einer fotografischen kamera | |
DE4039145C2 (de) | Verfahren zum Erfassen der Blickrichtung des menschlichen Auges | |
DE3005044A1 (de) | Fokussierungsermittlungseinrichtung fuer eine kamera | |
DE3245675A1 (de) | Fokusdetektor | |
DE4226523A1 (de) | Verfahren und Vorrichtung zum automatischen Fokussieren auf Objekte |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
D2 | Grant after examination | ||
8328 | Change in the person/name/address of the agent |
Free format text: SCHAUMBURG, K., DIPL.-ING. THOENES, D., DIPL.-PHYS. DR.RER.NAT. THURN, G., DIPL.-ING. DR.-ING., PAT.-ANWAELTE, 81679 MUENCHEN |
|
8364 | No opposition during term of opposition | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: PENTAX CORP., TOKIO/TOKYO, JP |
|
8320 | Willingness to grant licences declared (paragraph 23) | ||
8339 | Ceased/non-payment of the annual fee |