[go: up one dir, main page]

WO2009080791A1 - Method for ascertaining and/or tracking the position of characteristic components of the eye - Google Patents

Method for ascertaining and/or tracking the position of characteristic components of the eye Download PDF

Info

Publication number
WO2009080791A1
WO2009080791A1 PCT/EP2008/068104 EP2008068104W WO2009080791A1 WO 2009080791 A1 WO2009080791 A1 WO 2009080791A1 EP 2008068104 W EP2008068104 W EP 2008068104W WO 2009080791 A1 WO2009080791 A1 WO 2009080791A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
eye
characteristic
comparison object
tracking
Prior art date
Application number
PCT/EP2008/068104
Other languages
German (de)
French (fr)
Inventor
Günter Meckes
Keith Thornton
Thomas Schuhrke
Original Assignee
Carl Zeiss Surgical Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Surgical Gmbh filed Critical Carl Zeiss Surgical Gmbh
Priority to JP2010538775A priority Critical patent/JP5379159B2/en
Publication of WO2009080791A1 publication Critical patent/WO2009080791A1/en
Priority to US12/801,689 priority patent/US8662667B2/en
Priority to US14/147,046 priority patent/US9089283B2/en

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Definitions

  • the invention relates to a method for determining and / or tracking the position of characteristic eye components according to the preamble of claim 1 and a corresponding device according to the preamble of claim 15.
  • Such methods are known, for example, in the field of ophthalmic surgery.
  • Another example of this is a cataract surgery in which a natural lens of the human eye, which has become clouded, is replaced by an artificial lens.
  • the surgeon performs such an intervention under a surgical microscope. After a circular opening of the front capsule leaf usually the lens is smashed and sucked. Subsequently, an artificial lens is inserted into the empty capsular bag.
  • a surgical microscope for eye surgery which superimposes a pattern on the eye to be operated on.
  • the pattern may aid in setting the cutting position, but it may also serve as a guide in the placement of toric intraocular lenses, or may assist in the insertion of a suture in a corneal transplant.
  • To position the pattern in the right place it is necessary to determine the position of the pupil or iris on the eye to be treated. Ideally, the position will also be during The operation again and again determined or tracked, as it may come during the procedure to movements of the entire eye or the pupil.
  • the invention has for its object to develop a method for detecting and / or tracking the position of characteristic eye components, which is robust against interference and works independently of the individual design of the Au s reliable and fast.
  • the object is achieved according to the invention by a method for determining and / or tracking the position of characteristic ocular components with the features of claim 1 and a corresponding device having the features of claim 15.
  • an annular comparison object predefined, preferably independent of image content size, preferably with a fixed radius an annular HeII dark transition corresponding size in the recording determined to a measure of the match between the comparison object and to get the picture.
  • the comparison object is defined independently of the image content of the current image and preferably stored.
  • the correlation preferably takes place with variation of the location, so that the correlation function is a function of the location variable.
  • the values of the pixels of the image are compared with the values of the pixels of the comparison object, while the comparison object is moved over the image, ie preferably the center of the comparison object comes to lie on each pixel of the image.
  • the comparison object or the filter is pushed over the image and for each position (x ⁇ , y ⁇ ) of the center of the comparison object or the filter, preferably for which the comparison object or filter does not extend beyond the image edge, the result R (x0, y0) is calculated.
  • the result R (x0, y0) is calculated.
  • the position of the comparison object in which the maximum value of the match results is selected as the position of the characteristic eye component.
  • a position is chosen whose value of coincidence does not deviate by more than 20%, preferably less than 10%, ideally less than 5% from the maximum of the match.
  • it may be advantageous to consult further criteria such as, for example, the color of the characteristic ocular component, the slope of the increase in density or the like in order to thereby prefer a determination of the characteristic ocular component based on additional features.
  • the invention is based on the finding that characteristic eye components such as the limbus or the pupil edge represent annular transitional objects of density transitions in the images of the eye recorded during eye treatment and that these are based on comparison with a corresponding comparison object or on the convolution with a corresponding annular filter are particularly easy to find and especially reliable difference.
  • the search for an annular transition object is extremely robust to impairments that image-dominating features may corrupt the image during the operation. For example, when instruments partially obscure the eye, more severe edges emerge, which can cause great difficulties for any edge detection method, as these are detected instead of the limbus or the pupil edges.
  • the radius of the comparison object is determined in an initialization step in that the image detail to be analyzed is correlated in each case with annular comparison objects of different radii.
  • the best match for the comparison object is determined in each case and based on the comparison of the values of best match determines the absolute best match among all and thus the comparison object with the best adapted to the object to be examined size. This is done advantageously in that the respective maximum response of the correlation function, which results in the correlation with the image section, is plotted against the radius of the comparison object, resulting in a function that always forms a maximum when the radius is good matches the radius of a corresponding object in the image section to be examined.
  • the maximum that results at the largest radius associated with a maximum value corresponds to the radius of the largest annular object in the image detail and thus the limbus radius, which was detected in the course of this method.
  • This radius determined in this way is selected as a defined radius for a comparison object which is suitable for tracking the limbus and thus also the limbus center during the eye examination or else treatment, ie during the evaluation of the following images of the same object.
  • This initialization step requires a significantly greater computational effort and thus time factor than the subsequent tracking or tracking of the already known object with a comparison object of defined size. However, since it occurs only once at the beginning of the examination or treatment, this is acceptable.
  • the annular object is constructed from two concentrically arranged annular components. Because the comparison object has at least two components, it is possible to place one component each on the eye area outside the density transition, for example in the area of the eye. B. the Sclera and the second component of the lying within the density transition eye area, z. As the iris to adapt. By means of these two components, the density transition can thus be strengthened to a certain extent via a correlation with the comparison object. The optimal match with the comparison object results when the inner ring of the comparison object z. B. on the iris, the outer z. B. is located on the sclera, and thus the transition region is thus comprised in this case, the limbus edge of the two annular components.
  • the limbus center comes into coincidence with the center of the comparison object.
  • the shape feature that is, the ring-shaped or circular appearance of the limbus / pupil, but also the surface feature, the density transition
  • the two components of the comparison object are two narrow annular components which are spaced so far that none of the components comes to lie in the transition region of the density increase, but one in the region of lower density, the other in the region of high density. This allows a clear identification of the object.
  • the distance between the two annular components should preferably be selected so that the outer ring is safely outside, the inner safe within the edge of the transition object, ie the limbus or the pupil edge.
  • a suitable distance can be found empirically in this embodiment by examining a wider selection of typical images taken in such eye examinations or treatments.
  • a distance between one and five pixels, preferably two pixels was determined to be suitable.
  • a difference of the annular components of the comparison object or the correlated with these areas within the recorded eye detail takes place within the context of the correlation of the comparison object with the recording, a difference of the annular components of the comparison object or the correlated with these areas within the recorded eye detail.
  • the correlation it is preferable to provide one annular component of the comparison object with positive sign and the other with negative sign.
  • the comparison object is preferably formed, or the correlation function is chosen such that, when correlated with a gray area, that is to say a surface without a formed density transition, a neutral result, for example the value zero, is achieved. Only with a trained density transition, on which the comparison object comes to lie, results in an increased value of the correlation function.
  • the comparison object is realized by a filter with which the image is folded.
  • the annular filter is configured to yield a maximum filter response whenever the annular filter encounters an annular density transition such as the limbus or pupil edge. This maximum of the filter response is the more clearly formed, the better the agreement of the filter radius with the radius of the sought object. Therefore, according to the previously explained method, the radius of the filter is preferably determined in an initialization step before the eye tracking with a defined filter radius accompanying the examination or treatment takes place.
  • a filter is selected which has two concentrically arranged components, so that a maximum filter response can be achieved if one component completely in the range less, the other comes to rest completely in the range of higher density and thereby to be identified Transition area, such as the limbus, is included by the two components.
  • the distance between the two annular components is chosen so large that no component is in the transition region but both clearly in a density region, but at the same time so small that a very accurate determination of the radius is possible.
  • any change in the device settings which affects the size of the recorded eye segment is in the size of the annular Or the filter radius adjusted accordingly. This ensures that the radius of the reference object is automatically adapted to the recording conditions and in fact only has to be determined once in advance. For this purpose it is necessary to provide an interface between the device which alters the device parameter, for example the microscope and the device at which the correlation with the comparison object takes place.
  • the comparison object may as well be composed of annular segments. Essential for the process is only that the overall annular character of the object to be compared is preserved. In particular, it is even more reliable to use only ring segments in the edge region of the image. In the case of these ring segments, it is preferable to expose the region which lies at the edge to which the comparison object approaches in the correlation and thus also the limbus in the image. In the correlation, the comparison object thus better corresponds to the object to be found, which, as soon as it reaches the edge of the image, is partially cut off.
  • the red-extraction of the image is always used for the correlation with the comparison object. Surprisingly, it has been shown that this is the least affected by disturbances during eye treatment, since in this color separation, the red of the hemorrhages and veins with the white of the sclera forms a homogeneous surface. This makes it possible to achieve a more reliable result in this color channel than in other color separations.
  • the fact that always the red channel is used as a gray scale image so can achieve a high accuracy and the method over the use of a multicolor image or Accelerate the everlasting selection of the currently most contrasting color channel.
  • this step can also be omitted. Further, it is advantageous to homogenize the image to eliminate small, unimportant contrast transitions that would distort the result.
  • both the instructions derived from the position of the pupil or the limbus for the surgeon and also an indication of the reliability of the determined variable are superimposed on the view of the eye detail viewed by the surgeon.
  • this provides the surgeon with assistance for the operation, on the other hand, he can also directly assess the extent to which this assistance is reliable and thereby decide for himself whether to use it or whether he would rather rely on his experience.
  • Fig. 1 shows schematically an apparatus for carrying out the inventive
  • FIG. 2 an example of an advantageous ring filter superimposed on a picture of an eye-opening
  • Fig. 5 shows an eye detail and this associated examples of ring filter, which are exposed in the edge region.
  • Fig. 1 shows a schematic representation of the basic structure, as it is typical in an eye treatment in which the inventive method can be used particularly advantageous.
  • the patient's eye 1 to be treated which is illuminated by a light source (not shown), is observed firstly by means of an eyepiece 2 and secondly by means of a video camera 3, whereby the observation beam path is split by a beam splitter 4 into two observation beam paths for the observing instruments becomes.
  • the data recorded on the video camera 3 are transferred to a computing unit 5, where the data is stored and analyzed.
  • the pattern generating unit 6 can be embodied, for example, as a projector with an annular LED display which superimposes a pattern on the beam splitter 4 into the eye.
  • the eye 1 is continuously recorded digitally in very short time sequences with the camera 3 or analog recorded data is converted to digital and the digital data of the recording of the eye detail, as shown for example in Fig. 2 (to illustrate the comparison object with superimposed ring filter ) is transmitted to the computing unit 5.
  • the eye center is determined according to the method according to the invention, so that the optimal cutting position for the cut, for removing the clouded and for insertion of the artificial lens, can be determined.
  • the optimal cutting position for the cut for removing the clouded and for insertion of the artificial lens
  • the radius and the center of the limbus are determined on the basis of the start image in a very precise but relatively time-consuming initialization process.
  • Such a method is described in the patent application "Method for Determining Characteristic Properties and / or the Position of Characteristic Au”, filed at the same time by the same Applicant. The method is described in detail in the text which follows, in which a ring filter 8, as shown schematically in FIG.
  • the ring filter 8 is composed of two annular components, an outer ring 9 and an inner ring 10, which are symmetrically placed around the examined limbus 1 1 when the radius of the ring filter 8 is adapted to the limbus is normalized such that the outer ring 9 gives positive contributions to the filter response, while the inner ring 10 gives negative contributions
  • the ring filter 8 is normalized so that the filter response when convolving with a gray area is zero. This means that the two rings 9 and 10 weighted according to their filter components in the image si nd.
  • the limbus 11 is maintained, it can always, at least as long as the recording mode is not changed on the microscope, the same ring filter 8 are used.
  • This ring filter 8 is now folded with the image detail. That is, the filter response is determined at each point of the image.
  • the result of a folding with the ring filter 8 is shown by way of example in FIG.
  • the maximum filter response which is seen here as a bright area.
  • the center of this bright region or the position of the absolute maximum of the filter response corresponds to the midpoint of the limbus, which is transferred to the pattern generation unit 6.
  • the image of the filter response shown in Fig. 3 is converted into a binary image by thresholding as shown in Fig. 4.
  • the threshold used for this purpose is not determined in advance but determined from the image itself.
  • a threshold of at least 90% of the maximum value of the filter response has been found to be useful.
  • the value 90% was used as a threshold value for the illustration shown in FIG. From this, visible in Fig. 4, small white area, the center of gravity is determined.
  • This center of gravity corresponds to the sought-after limbus center, which is transferred to the pattern generation unit 6 becomes.
  • the current limbus center can be determined extremely quickly and reliably with the previously determined, suitable ring filter 8 for each further recording of the eye detail, in a manner of real time, according to this method.
  • the radius of the largest of these round objects in the image section corresponds to the radius of the limbus 11, so that the maximum in the curve or its filter radius corresponding to the largest radius of the correlated ring filter 8 corresponds to the radius of the limbus 11.
  • This is used in the following as the radius of the ring filter 8 in order to be used in all further recordings which were taken in the same examination or treatment of the same eye opening.
  • the filter also marked with I instead of the fully continuous ring filter which is marked V in the image and in the middle region of the image used is used.
  • the filter used in each case also corresponds significantly better to the limbus circle cut off in this area, even in the edge region of the eye detail. This measure significantly increases the safety of the process.
  • the surgeon still has to decide for himself whether he will follow the help he has received or rely on his feeling or experience and continue to work without the help.
  • the surgeon In order to be able to make this decision, it is extremely helpful for the surgeon if, in addition to the assistance, he is provided with information about the reliability of the displayed assistance.
  • the reliability of the method can be particularly easily derived in the method described here.
  • the value of the maximum in the image of the filter response can be used as an absolute measure of the safety of the determination of the limbus center. The higher this value, the better the correspondence of the radius of the limbus 11 and the corresponding ring filter 8, and thus the more reliable the result.
  • This security or reliability of the determined center can be represented for example in the form of a bar chart or in the form of an identification of the displayed assistance, for example as a solid, dashed or dotted object. LIST OF REFERENCE NUMBERS

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

The invention is directed to a method for ascertaining and/or tracking the position of characteristic components of the eye during an examination or treatment of the eye. To this end, a digital image of at least one section of an eye is recorded using the camera. According to the invention, said image is correlated with an annular comparison object of defined size and the position of the characteristic component of the eye is derived from the positions of comparison object and image, wherein coarse correspondence results between image and comparison object.

Description

Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile Method for detecting and / or tracking the position of characteristic ocular components
Die Erfindung betrifft ein Verfahren zur Ermittlung und/oder Verfolgung der Position cha- rakteristischer Augenbestandteile nach dem Oberbegriff von Anspruch 1 sowie eine entsprechende Vorrichtung nach dem Oberbegriff von Anspruch 15.The invention relates to a method for determining and / or tracking the position of characteristic eye components according to the preamble of claim 1 and a corresponding device according to the preamble of claim 15.
Derartige Verfahren sind beispielsweise aus dem Bereich der Augenchirurgie bekannt.Such methods are known, for example, in the field of ophthalmic surgery.
Beispielsweise bei der Hornhautchirurgie zur Beseitigung von Fehlsichtigkeiten des menschlichen Auges (LASIK), bei der ein Teil der Hornhaut mittels eines Lasers abgetragen wird, ist es für den Chirurgen von Interesse, an welchem Punkt die Sehachse des Patienten die Hornhaut durchstößt. Anhand der exakten Bestimmung dieses Punktes auch während der Operation kann die Laserabtragung von diesem Punkt aus präziser erfolgen, als bei der Wahl eines theoretisch angenommenen oder geschätzten Mittelpunktes der Hornhaut.For example, in corneal surgery for the removal of defective vision of the human eye (LASIK), in which a part of the cornea is ablated by means of a laser, it is of interest to the surgeon at which point the visual axis of the patient pierces the cornea. By accurately determining this point during surgery, laser ablation can be more precise from this point than when choosing a theoretically assumed or estimated midpoint of the cornea.
Ein weiteres Beispiel hierfür ist eine Kataraktoperation, bei der eine natürliche Linse des menschlichen Auges, welche sich getrübt hat, durch eine künstliche Linse ersetzt wird. Einen solchen Eingriff nimmt der Chirurg unter einem Operationsmikroskop vor. Nach einer kreisrunden Eröffnung des vorderen Kapselblattes wird üblicherweise die Linse zertrümmert und abgesaugt. Anschließend wird in den leeren Kapselsack eine künstliche Linse eingesetzt.Another example of this is a cataract surgery in which a natural lens of the human eye, which has become clouded, is replaced by an artificial lens. The surgeon performs such an intervention under a surgical microscope. After a circular opening of the front capsule leaf usually the lens is smashed and sucked. Subsequently, an artificial lens is inserted into the empty capsular bag.
Aus der DE 10 2004 055683 A1 ist ein Operationsmikroskop für die Augenchirurgie bekannt, das dem zu operierenden Auge ein Muster überlagert. Das Muster kann eine Hilfestellung zum Ansetzen der Schnittposition geben, es kann aber auch als Orientierungshilfe beim Einsetzen torischer Intraokularlinsen dienen oder auch eine Hilfestellung beim Einbringen einer Naht bei einer Hornhauttransplantation geben. Zur Positionierung des Musters an der richtigen Stelle ist es notwendig, die Position der Pupille bzw. der Iris an dem zu behandelnden Auge zu bestimmen. Idealerweise wird die Position auch während der Operation immer wieder neu bestimmt oder nachgeführt, da es während des Eingriffs zu Bewegungen des gesamten Auges bzw. der Pupille kommen kann.From DE 10 2004 055683 A1 a surgical microscope for eye surgery is known, which superimposes a pattern on the eye to be operated on. The pattern may aid in setting the cutting position, but it may also serve as a guide in the placement of toric intraocular lenses, or may assist in the insertion of a suture in a corneal transplant. To position the pattern in the right place, it is necessary to determine the position of the pupil or iris on the eye to be treated. Ideally, the position will also be during The operation again and again determined or tracked, as it may come during the procedure to movements of the entire eye or the pupil.
Auch für andere Anwendungen im Bereich der Augenchirurgie ist es von fundamentaler Bedeutung, die Position oder den Durchmesser der Iris des zu behandelnden Auges zu bestimmen. Beispielsweise ist der Durchmesser der Iris notwendig, um die Stärke einer nach einer Kataraktoperation zu implantierenden Intraokularlinse zu berechnen. Darauf und auf weitere mögliche Anwendungen, sowie auf ein Verfahren zur Bestimmung von Positionen und Größenordnungen innerhalb eines Augenabschnitts wird in der DE 101 08 797 A1 genauer eingegangen.It is also of fundamental importance for other applications in the field of ophthalmic surgery to determine the position or diameter of the iris of the eye to be treated. For example, the diameter of the iris is necessary to calculate the strength of an intraocular lens to be implanted after cataract surgery. This and other possible applications, as well as a method for determining positions and orders of magnitude within an eye section are discussed in more detail in DE 101 08 797 A1.
Es sind einige Verfahren bekannt, bei denen anhand der aktuellen Aufnahme des zu operierenden Augenabschnitts, welche mit der Kamera am Operationsmikroskop gewonnen wird, die Position der Pupille ermittelt wird. Sowohl in der DE 10 2004 055683 A1 als auch in der DE 101 08 797 A1 werden Verfahren vorgeschlagen, bei denen als erstes anhand einer Schwellwertbildung ein Binärbild erzeugt wird um die dunklen Bereiche im Bild zu bestimmen. Danach wird nach dem größten zusammenhängenden Bereich in den dunklen Regionen gesucht, welcher als Pupille identifiziert wird. Um den Rand der Pupille bzw. Iris detaillierter zu bestimmen, wird bei diesem Verfahren üblicherweise eine Kantendetek- tion vorgenommen. Diese Verfahren haben einige Nachteile. Zum einen ist nicht immer die Pupille das größte zusammenhängende dunkle Gebiet, vielmehr kann die Pupille durch einen Reflex gestört sein und ein völlig anderes Aussehen haben. Zum anderen kann die Kantendetektion beim Einbringen von mikrochirurgischen Instrumenten während der Operation stark gestört sein. Grundsätzlich ist es bei allen Verfahren welche mit einer Schwellwertbildung arbeiten schwierig einen sinnvollen Schwellwert zu definieren, der einerseits nicht zu viel Information im Bild belässt, andererseits aber nicht wichtige Details aus dem Bild herausnimmt.Some methods are known in which the position of the pupil is determined on the basis of the current image of the eye section to be operated, which is obtained with the camera on the surgical microscope. Both DE 10 2004 055683 A1 and DE 101 08 797 A1 propose methods in which a binary image is first generated by means of thresholding in order to determine the dark regions in the image. Thereafter, the largest contiguous region in the dark regions is identified, which is identified as a pupil. In order to determine the edge of the pupil or iris in more detail, an edge detection is usually performed in this method. These methods have some disadvantages. On the one hand, the pupil is not always the largest contiguous dark area; on the contrary, the pupil may be disturbed by a reflex and have a completely different appearance. On the other hand, the edge detection during the introduction of microsurgical instruments during surgery can be greatly disturbed. Basically, it is difficult to define a meaningful threshold value for all methods which work with thresholding, which on the one hand does not leave too much information in the picture, but on the other hand does not remove important details from the picture.
Insbesondere dann, wenn die Lokalisierung über die ganze Untersuchung oder Behand- lung hinweg sozusagen als Augentracking erfolgen soll, ist es darüber hinaus unerläss- lich, dass das Detektionsverfahren extrem schnell arbeitet, so dass das Ergebnis der Lokalisierung immer gleich wieder in die Aufnahme eingeblendet werden kann, aus der es abgeleitet worden ist und das möglichst ohne Zeitversatz. Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile zu entwickeln, welches robust gegenüber Störeinflüssen ist und unabhängig von der individuellen Ausgestaltung des Au- ges zuverlässig und schnell arbeitet.In particular, if the localization over the entire examination or treatment is to take place, so to speak, as eye tracking, it is furthermore essential that the detection method works extremely fast, so that the result of the localization is always displayed again in the image can, from which it has been derived, and if possible without time delay. The invention has for its object to develop a method for detecting and / or tracking the position of characteristic eye components, which is robust against interference and works independently of the individual design of the Au s reliable and fast.
Gelöst wird die Aufgabe gemäß der Erfindung durch ein Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile mit den Merkmalen von Anspruch 1 sowie eine entsprechende Vorrichtung mit den Merkmalen von An- spruch 15.The object is achieved according to the invention by a method for determining and / or tracking the position of characteristic ocular components with the features of claim 1 and a corresponding device having the features of claim 15.
Erfindungsgemäß wird anhand der Korrelation der zu analysierenden digitalen Bildaufnahme mit einem ringförmigen Vergleichsobjekt vordefinierter, vorzugsweise von Bildinhalt unabhängiger Größe, vorzugsweise mit festgelegtem Radius ein ringförmiger HeII- Dunkel-Übergang entsprechender Größe in der Aufnahme ermittelt, um ein Maß für die Übereinstimmung zwischen dem Vergleichsobjekt und dem Bild zu erhalten. Das Vergleichsobjekt wird unabhängig vom Bildinhalt des aktuellen Bildes vorab definiert und vorzugsweise abgespeichert. Die Korrelation erfolgt vorzugsweise unter Variation des Ortes, so dass die Korrelationsfunktion eine Funktion der Ortsvariablen ist. Dabei werden die Werte der Bildpunkte des Bildes mit den Werten der Bildpunkten des Vergleichsobjekts verrechnet, während des Vergleichsobjekt über das Bild bewegt wird, d.h. vorzugsweise das Zentrum des Vergleichsobjekts kommt auf jeden Bildpunkt des Bildes zu liegen. Dabei ergibt sich pro Position des Vergleichsobjekts jeweils ein Wert der Übereinstimmung von Bild und Vergleichsobjekt. Wenn Vergleichsobjekt und gesuchtes charakteristisches Merkmal im Bild aufeinander zu liegen kommen, also bei der Maximalen Übereinstimmung von Vergleichsobjekt und Bild ergibt sich der größte Wert. Bei einem bevorzugten Ausführungsbeispiel existieren vorzugsweise drei zweidimensionale Felder von Bildpunkten, die Bildpunkte des Bildes l(x,y), die Bildpunkte des Vergleichsobjekts, welche in einem bevorzugten Ausführungsbeispiel das Filter F(x,y) definiert sind und das Ergebnis der Korrelation im Ausführungsbeispiel Filterung R(x,y). Bei der Korrelation wird das Vergleichsobjekt bzw. das Filter wird über das Bild geschoben und für jede Position (xθ,yθ) des Zentrums des Vergleichsobjekts bzw. des Filters, bevorzugt für die das Vergleichsobjekt bzw. Filter nicht über den Bildrand hinausragt, wird das Ergebnis R(xO,yO) berechnet. Bei der Faltung mit einem Filter, indem der Wert jedes Bildpunkts des Filters mit dem Wert des darunter liegenden Bildpunkts des Bildes multipliziert und die Ergebnisse aller Multiplikationen addiert werden. Bei anderen Ausführungsbeispielen wie bspw. einem Templatevergleich können bspw. die Werte aller Bildpunkte aufaddiert werden, welche Bildpunkten des Templates entsprechen. In einem bevorzugten Ausführungsbeispiel, in dem insbesondere eine schnelle Positionsbestimmung gewünscht ist, wird die Position des Vergleichsobjekts, bei der sich der maximale Wert der Übereinstimmung ergibt als Position des charakteristischen Augenbestandteils gewählt. In einem anderen bevorzugten Ausführungsbeispiel wird eine Position gewählt, deren Wert der Übereinstimmung um nicht mehr als 20%, vorzugsweise weniger als 10%, idealerweise weniger als 5% vom Maximum der Übereinstimmung abweicht. Hierzu kann es vorteilhaft sein, weitere Kriterien wie bspw. die Farbe des charakteristischen Augenbestandteils, die Steigung des Dichteanstiegs oder Anderes hinzuzuziehen um dadurch eine, auf zusätzlichen Merkmalen basierende Bestimmung des charakteristischen Augenbestandteils vorzugnehmen.According to the invention, based on the correlation of the digital image acquisition to be analyzed with an annular comparison object predefined, preferably independent of image content size, preferably with a fixed radius an annular HeII dark transition corresponding size in the recording determined to a measure of the match between the comparison object and to get the picture. The comparison object is defined independently of the image content of the current image and preferably stored. The correlation preferably takes place with variation of the location, so that the correlation function is a function of the location variable. In this case, the values of the pixels of the image are compared with the values of the pixels of the comparison object, while the comparison object is moved over the image, ie preferably the center of the comparison object comes to lie on each pixel of the image. This results in each case a value of the match of image and comparison object per position of the comparison object. If the comparison object and the sought-after characteristic feature in the image come to lie on one another, ie the maximum match between the comparison object and the image, the largest value results. In a preferred embodiment, there are preferably three two-dimensional fields of pixels, the pixels of the image l (x, y), the pixels of the comparison object, which in a preferred embodiment the filter F (x, y) are defined, and the result of the correlation in the embodiment Filtering R (x, y). In the correlation, the comparison object or the filter is pushed over the image and for each position (xθ, yθ) of the center of the comparison object or the filter, preferably for which the comparison object or filter does not extend beyond the image edge, the result R (x0, y0) is calculated. When convolving with a filter, multiply the value of each pixel of the filter by the value of the underlying pixel of the image and add the results of all the multiplications. In other embodiments, such as, for example, a template comparison, it is possible, for example, to add up the values of all pixels which correspond to pixels of the template. In a preferred embodiment, in which, in particular, a quick position determination is desired, the position of the comparison object in which the maximum value of the match results is selected as the position of the characteristic eye component. In another preferred embodiment, a position is chosen whose value of coincidence does not deviate by more than 20%, preferably less than 10%, ideally less than 5% from the maximum of the match. For this purpose, it may be advantageous to consult further criteria such as, for example, the color of the characteristic ocular component, the slope of the increase in density or the like in order to thereby prefer a determination of the characteristic ocular component based on additional features.
Der Erfindung liegt die Erkenntnis zugrunde, dass bei den im Rahmen einer Augenbehandlung aufgenommenen Bildern des Auges charakteristische Augenbestandteile wie der Limbus oder der Pupillenrand ringförmige Übergangsobjekte von Dichteübergängen darstellen und dass diese anhand des Vergleichs mit einem entsprechenden Vergleichs- objekt bzw. über die Faltung mit einem entsprechenden ringförmigen Filter insbesondere unter Differenzbildung besonders einfach und zuverlässig zu finden sind. Die Suche nach einem ringförmigen Übergangsobjekt ist extrem robust gegenüber Beeinträchtigungen, die als Bild dominierende Merkmale während der Operation die Aufnahme verfälschen können. Wenn beispielsweise Instrumente das Auge teilweise verdecken treten weitere star- ke Kanten hervor, die jedem Kantendetektionsverfahren starke Schwierigkeiten bereiten können, da diese anstelle des Limbus oder der Pupillenkanten detektiert werden. All diese Störungen ändern aber nichts daran, dass der Limbus oder der Pupillenrand weiterhin, wenn auch als ausgesetztes oder leicht verformtes, dominierendes, zumindest im Mittel ringförmiges Element im Bild bestehen bleibt und bei der Suche mittels eines entspre- chenden ringförmigen Vergleichsobjekts nach wie vor zuverlässig gefunden wird. Zu betonen ist an dieser Stelle auch, dass eine absolute Schwellwertbildung, die bei den gängigen Kantendetektionsverfahren notwendig ist, und damit das Problem der Wahl eines geeigneten Schwellwertes bei dieser Methode nicht notwendig ist und auch vermieden wer- den sollte. Jede absolute Schwellwertbildung bzw. Binärisierung verfälscht nämlich das Bild und kann den ringförmigen Charakter von Limbus oder Pupillenrand zerstören, so dass dieser bei einer anschließenden Suche nach einem ringförmigen Objekt möglicherweise überhaupt nicht mehr zu finden ist. Dadurch dass die Suche nach dem ringförmigen Objekt, also dem Limbus oder dem Pupillenrand direkt auf dem Graustufenbild vorgenommen wird, ist der ringförmige Charakter sicher gegeben, selbst wenn ihn Störgrößen beeinträchtigen.The invention is based on the finding that characteristic eye components such as the limbus or the pupil edge represent annular transitional objects of density transitions in the images of the eye recorded during eye treatment and that these are based on comparison with a corresponding comparison object or on the convolution with a corresponding annular filter are particularly easy to find and especially reliable difference. The search for an annular transition object is extremely robust to impairments that image-dominating features may corrupt the image during the operation. For example, when instruments partially obscure the eye, more severe edges emerge, which can cause great difficulties for any edge detection method, as these are detected instead of the limbus or the pupil edges. However, all these disturbances do not change the fact that the limbus or the pupil margin continues to exist, albeit as an exposed or slightly deformed, dominant, at least substantially annular element in the image, and remains reliable in the search by means of a corresponding annular comparison object Is found. It should also be stressed at this point that absolute threshold formation, which is necessary in conventional edge detection methods, and thus the problem of choosing a suitable threshold value in this method is not necessary and should also be avoided. that should. Any absolute thresholding or binarization falsifies the image and can destroy the ring-shaped character of limbus or pupil edge, so that it may no longer be found in a subsequent search for an annular object. The fact that the search for the annular object, so the limbus or the pupil edge is made directly on the grayscale image, the annular character is certainly given, even if it affects disturbances.
In einer bevorzugten Ausführungsform wird der Radius des Vergleichsobjekts in einem Initialisierungsschritt bestimmt, indem der zu analysierende Bildausschnitt jeweils mit ringförmigen Vergleichsobjekten verschiedener Radien korreliert wird. Bei der Korrelation des Bildausschnittes mit Vergleichsobjekten unterschiedlicher Größe wird jeweils die für das Vergleichsobjekt beste Übereinstimmung ermittelt und anhand der Gegenüberstellung der Werte bester Übereinstimmung die unter allen absolut beste Übereinstimmung und damit das Vergleichsobjekt mit der am besten an das zu untersuchende Objekt angepassten Größe ermittelt. Dies geschieht vorteilhafter weise dadurch, dass die jeweilige maximale Antwort der Korrelationsfunktion, welche sich bei der Korrelation mit dem Bildausschnitt ergibt, für das Vergleichsobjekt gegen dessen Radius aufgetragen wird, wobei sich eine Funktion ergibt, die immer dann ein Maximum ausbildet, wenn der Radius gut zu dem Radius eines entsprechenden Objekts in dem zu untersuchenden Bildausschnitt passt. Das Maximum, das sich beim größten zu einem maximalen Wert gehörigen Radius ergibt, entspricht dem Radius des größten ringförmigen Objekts im Bildausschnitt und damit dem Limbusradius, was im Zuge dieses Verfahrens erkannt wurde. Dieser so ermittelte Radius wird als festgelegter Radius für ein Vergleichsobjekt gewählt, welches dazu geeignet ist, den Limbus und damit auch das Limbuszentrum während der Augenuntersuchung oder auch Behandlung, also bei der Auswertung folgender Aufnahmen desselben Objekts, mit zu verfolgen. Dieser Initialisierungsschritt erfordert einen deutlich größeren Rechenaufwand und damit Zeitfaktor als die anschließende Nachführung bzw. Verfolgung des bereits bekannten Objekts mit einem Vergleichsobjekt definierter Größe. Da er jedoch nur einmal zu Beginn der Untersuchung oder Behandlung erfolgt ist dies hinnehmbar. Während der Untersuchung oder Behandlung kann und muss dann jedoch begünstigt durch das Festhalten des Radius des Vergleichsobjekts eine Detektion des Limbuszentrums gewissermaßen in Echtzeit erfolgen. Da anschließend die Trefferwahrscheinlichkeit bei Verwendung des vorab bestimmten exakt passenden Radius für das Vergleichsobjekt ungleich höher ist als bei einem willkürlich gewählten Radius, ist es auf jeden Fall gerechtfertigt, diese größere Zeitspanne für die Ermittlung des Radius in Kauf zu nehmen. Wichtig ist jedoch, dass sie nicht bei jeder Aufnahme wieder erfolgt sondern dass nach der einmal erfolgten Bestimmung der passende Radius des Vergleichsobjekts festgelegt und immer wieder verwendet werden kann.In a preferred embodiment, the radius of the comparison object is determined in an initialization step in that the image detail to be analyzed is correlated in each case with annular comparison objects of different radii. In the correlation of the image section with comparison objects of different sizes, the best match for the comparison object is determined in each case and based on the comparison of the values of best match determines the absolute best match among all and thus the comparison object with the best adapted to the object to be examined size. This is done advantageously in that the respective maximum response of the correlation function, which results in the correlation with the image section, is plotted against the radius of the comparison object, resulting in a function that always forms a maximum when the radius is good matches the radius of a corresponding object in the image section to be examined. The maximum that results at the largest radius associated with a maximum value corresponds to the radius of the largest annular object in the image detail and thus the limbus radius, which was detected in the course of this method. This radius determined in this way is selected as a defined radius for a comparison object which is suitable for tracking the limbus and thus also the limbus center during the eye examination or else treatment, ie during the evaluation of the following images of the same object. This initialization step requires a significantly greater computational effort and thus time factor than the subsequent tracking or tracking of the already known object with a comparison object of defined size. However, since it occurs only once at the beginning of the examination or treatment, this is acceptable. During the examination or treatment, however, it is possible, and then favored by the detection of the radius of the object to be compared, that a detection of the limbus center can, so to speak, take place in real time. Since then the hit probability at Using the previously determined exact matching radius for the comparison object is much higher than for a randomly chosen radius, it is in any case justified to accept this greater time for the determination of the radius. However, it is important that it does not occur again every time it is taken, but that once the determination has been made, the appropriate radius of the object to be compared can be determined and used again and again.
In einer weiteren bevorzugten Ausführungsform ist das ringförmige Objekt aus zwei konzentrisch angeordneten ringförmigen Bestandteilen aufgebaut. Dadurch dass das Ver- gleichsobjekt wenigstens zwei Bestandteile aufweist, ergibt sich die Möglichkeit, jeweils einen Bestandteil an den Augenbereich außerhalb des Dichteübergangs, z. B. die Sclera und den zweiten Bestandteil an den innerhalb des Dichteübergangs liegenden Augenbereich, z. B. die Iris, anzupassen. Mittels dieser beiden Bestandteile lässt sich der Dichteübergang somit gewissermaßen über eine Korrelation mit dem Vergleichsobjekt verstär- ken. Die optimale Übereinstimmung mit dem Vergleichsobjekt ergibt sich dann, wenn der innere Ring des Vergleichsobjekts z. B. auf der Iris, der äußere z. B. auf der Sclera liegt, und damit der Übergangsbereich also in diesem Fall der Limbusrand von den beiden ringförmigen Bestandteilen umfasst wird. Dabei kommt das Limbuszentrum in Deckung mit dem Zentrum des Vergleichsobjekts. Bei dieser Gestaltung des Vergleichsobjekts wird nicht nur das Formmerkmal, also die ring- bzw. kreisförmige Erscheinung des Limbus/ der Pupille, sondern auch das Flächenmerkmal, der Dichteübergang, zur Suche nach dem Übergangsobjekt verwendet. Vorzugsweise handelt es sich bei den zwei Bestandteilen des Vergleichsobjekts um zwei schmale ringförmige Bestandteile welche so weit beabstandet sind, dass keiner der Bestandteile im Übergangsbereich des Dichteanstiegs sondern jeweils einer im Bereich niedriger, der andere im Bereich hoher Dichte zu liegen kommt. Dadurch ist eine eindeutige Identifizierung des Objekts möglich. Wird der Limbus- radius nicht vorab bestimmt, so ist der Abstand der beiden ringförmigen Bestandteile vorzugsweise so zu wählen, dass der äußere Ring sicher außerhalb, der innere sicher innerhalb des Rands des Übergangsobjekts, also des Limbus oder des Pupillenrands liegt. Ein geeigneter Abstand kann bei dieser Ausführungsform empirisch anhand der Untersuchung einer größeren Auswahl von typischen Aufnahmen, welche bei derartigen Augenuntersuchungen oder -behandlungen gemacht werden, gefunden werden. Bei einer Auflösung der Aufnahme von wenigstens 100x100 Pixeln, welche notwendig ist, um das Zentrum des Limbus mit einer für eine Operation erforderlichen Genauigkeit von wenigstens 1 mm zu bestimmen, wurde ein Abstand zwischen einem und fünf Pixeln, vorzugsweise zwei Pixel als geeignet ermittelt.In a further preferred embodiment, the annular object is constructed from two concentrically arranged annular components. Because the comparison object has at least two components, it is possible to place one component each on the eye area outside the density transition, for example in the area of the eye. B. the Sclera and the second component of the lying within the density transition eye area, z. As the iris to adapt. By means of these two components, the density transition can thus be strengthened to a certain extent via a correlation with the comparison object. The optimal match with the comparison object results when the inner ring of the comparison object z. B. on the iris, the outer z. B. is located on the sclera, and thus the transition region is thus comprised in this case, the limbus edge of the two annular components. At the same time, the limbus center comes into coincidence with the center of the comparison object. In this design of the comparison object, not only the shape feature, that is, the ring-shaped or circular appearance of the limbus / pupil, but also the surface feature, the density transition, is used to search for the transitional object. Preferably, the two components of the comparison object are two narrow annular components which are spaced so far that none of the components comes to lie in the transition region of the density increase, but one in the region of lower density, the other in the region of high density. This allows a clear identification of the object. If the limbo radius is not determined in advance, the distance between the two annular components should preferably be selected so that the outer ring is safely outside, the inner safe within the edge of the transition object, ie the limbus or the pupil edge. A suitable distance can be found empirically in this embodiment by examining a wider selection of typical images taken in such eye examinations or treatments. At a resolution of the recording of at least 100x100 pixels, which is necessary to the Center of the limbus was determined with an accuracy of at least 1 mm required for an operation, a distance between one and five pixels, preferably two pixels was determined to be suitable.
In einer weiteren vorteilhaften Ausführungsform der Erfindung erfolgt im Rahmen der Korrelation des Vergleichsobjekts mit der Aufnahme eine Differenzbildung der ringförmigen Bestandteile des Vergleichsobjekts bzw. der mit diesen korrelierten Gebiete innerhalb des aufgenommenen Augenausschnitts. So kann vorzugsweise bei der Korrelation der eine ringförmige Bestandteil des Vergleichsobjekts mit positivem, der andere mit negativem Vorzeichen versehen werden. Das Vergleichsobjekt ist bevorzugt so ausgebildet, bzw. die Korrelationsfunktion so gewählt, dass bei einer Korrelation mit einer grauen Fläche, also einer Fläche ohne ausgebildeten Dichteübergang ein neutrales Ergebnis wie beispielsweise der Wert Null erreicht wird. Erst bei einem ausgebildeten Dichteübergang, auf dem das Vergleichsobjekt zu liegen kommt, ergibt sich ein erhöhter Wert der Korrelationsfunk- tion.In a further advantageous embodiment of the invention takes place within the context of the correlation of the comparison object with the recording, a difference of the annular components of the comparison object or the correlated with these areas within the recorded eye detail. Thus, in the correlation, it is preferable to provide one annular component of the comparison object with positive sign and the other with negative sign. The comparison object is preferably formed, or the correlation function is chosen such that, when correlated with a gray area, that is to say a surface without a formed density transition, a neutral result, for example the value zero, is achieved. Only with a trained density transition, on which the comparison object comes to lie, results in an increased value of the correlation function.
In einer weiteren bevorzugten Ausführungsform wird das Vergleichsobjekt durch einen Filter realisiert, mit dem das Bild gefaltet wird. Der ringförmige Filter ist so ausgebildet, dass sich immer dann eine maximale Filterantwort ergibt, wenn der ringförmige Filter auf einen ringförmigen Dichteübergang wie dem Limbus oder Pupillenrand zu liegen kommt. Dieses Maximum der Filterantwort ist umso deutlicher ausgebildet, je besser die Übereinstimmung des Filterradius mit dem Radius des gesuchten Objektes ist. Deshalb wird bevorzugt entsprechend dem vorab erläuterten Verfahren der Radius des Filters in einem Initialisierungsschritt ermittelt, bevor die die Untersuchung oder Behandlung begleitende Augenverfolgung mit festgelegtem Filterradius erfolgt. Als bevorzugter ringförmiger Filter wird ein Filter gewählt, welcher zwei konzentrisch angeordnete Bestandteile aufweist, so dass eine maximale Filterantwort dann erreicht werden kann, wenn der eine Bestandteil vollständig im Bereich geringer, der andere vollständig im Bereich höherer Dichte zu liegen kommt und dabei der zu identifizierende Übergangsbereich, wie z.B. der Limbus, von den beiden Bestandteilen eingeschlossen wird. Der Abstand der beiden ringförmigen Bestandteile ist dabei so groß gewählt, dass kein Bestandteil im Übergangsbereich liegt sondern beide eindeutig in einer Dichteregion, gleichzeitig aber so klein, dass eine möglichst exakte Radiusbestimmung möglich ist. Um diesen Initialisierungsschritt nicht bei einer Veränderung des Objektradius auf Grund von Veränderungen der Aufnahmebedingungen, wie des Mikroskopvergrößerungsfaktors, immer wieder durchführen zu müssen wird in einer bevorzugten Ausführungsform jede Veränderung an den Geräteeinstellungen, die sich auf die Größe des aufgenommenen Augenausschnitts auswirkt in die Größe des ringförmigen Vergleichsobjekts eingerechnet, bzw. der Filterradius entsprechend angepasst. Dadurch ist gewährleistet, dass der Radius des Vergleichsobjekts automatisch an die Aufnahmebedingungen angepasst wird und tatsächlich nur einmal vorab bestimmt werden muss. Hierzu ist es notwendig, eine Schnitt- stelle zwischen dem, den Geräteparameter verändernden Gerät, beispielsweise dem Mikroskop und der Einrichtung, an der die Korrelation mit dem Vergleichsobjekt erfolgt, vorzusehen.In a further preferred embodiment, the comparison object is realized by a filter with which the image is folded. The annular filter is configured to yield a maximum filter response whenever the annular filter encounters an annular density transition such as the limbus or pupil edge. This maximum of the filter response is the more clearly formed, the better the agreement of the filter radius with the radius of the sought object. Therefore, according to the previously explained method, the radius of the filter is preferably determined in an initialization step before the eye tracking with a defined filter radius accompanying the examination or treatment takes place. As a preferred annular filter, a filter is selected which has two concentrically arranged components, so that a maximum filter response can be achieved if one component completely in the range less, the other comes to rest completely in the range of higher density and thereby to be identified Transition area, such as the limbus, is included by the two components. The distance between the two annular components is chosen so large that no component is in the transition region but both clearly in a density region, but at the same time so small that a very accurate determination of the radius is possible. In order not to have to carry out this initialization step again and again in the event of a change in the object radius due to changes in the recording conditions, such as the microscope magnification factor, in a preferred embodiment, any change in the device settings which affects the size of the recorded eye segment is in the size of the annular Or the filter radius adjusted accordingly. This ensures that the radius of the reference object is automatically adapted to the recording conditions and in fact only has to be determined once in advance. For this purpose it is necessary to provide an interface between the device which alters the device parameter, for example the microscope and the device at which the correlation with the comparison object takes place.
Obwohl die ringförmige Ausgestaltung des Vergleichsobjekts wichtig ist, würde es nichts Wesentliches am Verfahren ändern, wenn ein Vieleck oder etwas Ähnliches verwendet würde. Es ist auch nicht notwendig, dass ein geschlossener Ring verwendet wird. Das Vergleichsobjekt kann ebenso gut aus ringförmigen Segmenten zusammengesetzt sein. Wesentlich für das Verfahren ist nur, dass gesamt der ringförmige Charakter des Vergleichsobjekts erhalten bleibt. Insbesondere im Randbereich des Bildes ist es sogar zu- verlässiger nur Ringsegmente zu verwenden. Bei diesen Ringsegmenten wird bevorzugt der Bereich ausgesetzt, der an dem Rand liegt, an den sich das Vergleichsobjekt bei der Korrelation und damit auch der Limbus im Bild annähert. Damit entspricht das Vergleichsobjekt bei der Korrelation besser dem zu findenden Objekt, welches sobald es an den Randbereich des Bildes gerät, teilweise abgeschnitten ist.Although the annular configuration of the comparison object is important, it would not change anything essential to the method if a polygon or something similar were used. It is also not necessary that a closed ring is used. The comparison object may as well be composed of annular segments. Essential for the process is only that the overall annular character of the object to be compared is preserved. In particular, it is even more reliable to use only ring segments in the edge region of the image. In the case of these ring segments, it is preferable to expose the region which lies at the edge to which the comparison object approaches in the correlation and thus also the limbus in the image. In the correlation, the comparison object thus better corresponds to the object to be found, which, as soon as it reaches the edge of the image, is partially cut off.
In einer weiteren bevorzugten Ausführungsform wird für die Korrelation mit dem Vergleichsobjekt immer der Rotauszug der Aufnahme verwendet. Überraschenderweise hat sich gezeigt, dass dieser während der Augenbehandlung am wenigsten von Störungen betroffen ist, da in diesem Farbauszug das Rot der Blutungen und Äderchen mit dem Weiß der Sclera eine homogene Fläche bildet. Damit lässt sich in diesem Farbkanal ein zuverlässigeres Ergebnis erzielen als in anderen Farbauszügen. Dadurch, dass immer der Rotkanal als Graustufenbild verwendet wird, lässt sich also eine große Genauigkeit erzielen und das Verfahren gegenüber der Verwendung eines mehrfarbigen Bildes oder der immer währenden Auswahl des aktuell kontrastreichsten Farbkanals beschleunigen.In a further preferred embodiment, the red-extraction of the image is always used for the correlation with the comparison object. Surprisingly, it has been shown that this is the least affected by disturbances during eye treatment, since in this color separation, the red of the hemorrhages and veins with the white of the sclera forms a homogeneous surface. This makes it possible to achieve a more reliable result in this color channel than in other color separations. The fact that always the red channel is used as a gray scale image, so can achieve a high accuracy and the method over the use of a multicolor image or Accelerate the everlasting selection of the currently most contrasting color channel.
Um das Verfahren weiter zu optimieren ist es vorteilhaft, dieses Graustufenbild soweit zu verkleinern, wie es die geforderte Genauigkeit zulässt. Bei entsprechend hoher Rechen- kapazität kann dieser Schritt auch entfallen. Ferner ist es vorteilhaft, das Bild zu homogenisieren, um kleine, unwichtige Kontrastübergänge, die das Ergebnis verfälschen würden, zu eliminieren.In order to further optimize the method, it is advantageous to reduce this grayscale image as far as the required accuracy permits. With correspondingly high computing capacity, this step can also be omitted. Further, it is advantageous to homogenize the image to eliminate small, unimportant contrast transitions that would distort the result.
In einer bevorzugten Ausführungsform werden sowohl die, aus der Position von Pupille oder Limbus abgeleiteten Hilfestellungen für den Chirurgen, als auch eine Angabe über die Zuverlässigkeit der ermittelten Größe in die vom Chirurgen betrachtete Anzeige des Augenausschnitts mit eingeblendet. Damit wird dem Chirurgen zum einen eine Hilfestellung für die Operation gegeben, zum anderen kann er aber auch direkt abschätzen, in wieweit diese Hilfestellung zuverlässig ist und dadurch selbst entscheiden, ob er sie ver- wendet oder sich doch lieber auf seine Erfahrung verlässt.In a preferred embodiment, both the instructions derived from the position of the pupil or the limbus for the surgeon and also an indication of the reliability of the determined variable are superimposed on the view of the eye detail viewed by the surgeon. On the one hand, this provides the surgeon with assistance for the operation, on the other hand, he can also directly assess the extent to which this assistance is reliable and thereby decide for himself whether to use it or whether he would rather rely on his experience.
Weitere Einzelheiten und Vorteile der Erfindung ergeben sich aus den Unteransprüchen im Zusammenhang mit der Beschreibung eines Ausführungsbeispiels, das anhand der Zeichnungen eingehend erläutert wird.Further details and advantages of the invention will become apparent from the dependent claims in conjunction with the description of an embodiment which is explained in detail with reference to the drawings.
Es zeigen:Show it:
Fig. 1 schematisch eine Vorrichtung zur Durchführung des erfindungsgemäßenFig. 1 shows schematically an apparatus for carrying out the inventive
Verfahrens, Fig. 2 ein Beispiel eines vorteilhaften Ringfilters einer Aufnahme eines Augenausschnitts überlagert,2, an example of an advantageous ring filter superimposed on a picture of an eye-opening, FIG.
Fig. 3 ein Beispiel für eine Filterantwort,3 shows an example of a filter response,
Fig. 4 ein Beispiel für ein Schwellwertbild einer Filterantwort und4 shows an example of a threshold image of a filter response and
Fig. 5 ein Augenausschnitt sowie diesem zugeordnete Beispiele für Ringfilter, welche im Randbereich ausgesetzt sind. Die Fig. 1 zeigt in schematischer Darstellung den prinzipiellen Aufbau, wie er bei einer Augenbehandlung, bei der das erfindungsgemäße Verfahren besonders vorteilhaft eingesetzt werden kann, typisch ist. Das zu behandelnde Auge 1 des Patienten, welches mit einer nicht dargestellten Lichtquelle beleuchtet wird, wird zum einen mittels eines Oku- lars 2, zum anderen mittels einer Videokamera 3 beobachtet, wobei der Beobachtungsstrahlengang durch einen Strahlteiler 4 in zwei Beobachtungsstrahlengänge für die beobachtenden Instrumente aufgespaltet wird. Die an der Videokamera 3 aufgezeichneten Daten werden an eine Recheneinheit 5 übergeben, an der die Daten abgespeichert und analysiert werden. Anhand der Daten wird ein Hilfsmuster berechnet, das mittels einer Mustererzeugungseinheit 6 gebildet und dem im Okular 2 sichtbaren Bild überlagert wird, so dass der Chirurg 7 das zu behandelnde Auge 1 zusammen mit dem überlagerten Muster, welches an der Mustererzeugungseinheit 6 gebildet wurde, betrachten kann. Die Mustererzeugungseinheit 6 kann beispielsweise als Projektor mit einer ringförmigen LED- Anzeige, die über den Strahlteiler 4 ein Muster ins Auge einblendet, ausgeführt sein.Fig. 5 shows an eye detail and this associated examples of ring filter, which are exposed in the edge region. Fig. 1 shows a schematic representation of the basic structure, as it is typical in an eye treatment in which the inventive method can be used particularly advantageous. The patient's eye 1 to be treated, which is illuminated by a light source (not shown), is observed firstly by means of an eyepiece 2 and secondly by means of a video camera 3, whereby the observation beam path is split by a beam splitter 4 into two observation beam paths for the observing instruments becomes. The data recorded on the video camera 3 are transferred to a computing unit 5, where the data is stored and analyzed. Based on the data, an auxiliary pattern formed by a pattern generating unit 6 and superimposed on the image visible in the eyepiece 2 is calculated, so that the surgeon 7 can view the eye 1 to be treated together with the superimposed pattern formed on the pattern generating unit 6 , The pattern generating unit 6 can be embodied, for example, as a projector with an annular LED display which superimposes a pattern on the beam splitter 4 into the eye.
Bei einer Kataraktoperation wird laufend in sehr kurzen Zeitfolgen mit der Kamera 3 das Auge 1 digital aufgenommen oder analog aufgenommene Daten in digitale umgewandelt und die digitalen Daten der Aufnahme des Augenausschnittes, wie er bspw. in Fig. 2 (zur Erläuterung des Vergleichsobjekts mit überlagertem Ringfilter) zu sehen ist, an die Re- cheneinheit 5 übermittelt. Dort wird gemäß dem erfindungsgemäßen Verfahren das Augenzentrum ermittelt, damit die optimale Schnittposition für den Schnitt, zur Entnahme der getrübten und zum Einsetzen der künstlichen Linse, ermittelt werden kann. Sobald das Zentrum des Limbus und dabei, bei bekanntem Radius des Limbus 1 1 , die Schnittposition abgeleitet ist, wird dem Bild, das das Auge des Chirurgen 7 über das Okular 2 sieht, ein, an der Mustererzeugungseinheit 6 generiertes, Muster welches diese Schnittposition anzeigt, überlagert. Dadurch sieht das Auge des Chirurgen 7 während der Behandlung immer die als optimal bestimmte Schnittposition zum Ansetzen des Schnittes.In a cataract operation, the eye 1 is continuously recorded digitally in very short time sequences with the camera 3 or analog recorded data is converted to digital and the digital data of the recording of the eye detail, as shown for example in Fig. 2 (to illustrate the comparison object with superimposed ring filter ) is transmitted to the computing unit 5. There, the eye center is determined according to the method according to the invention, so that the optimal cutting position for the cut, for removing the clouded and for insertion of the artificial lens, can be determined. As soon as the center of the limbus and, in the case of a known radius of the limbus 1 1, the cutting position is derived, the image seen by the eye of the surgeon 7 via the eyepiece 2 becomes a pattern generated on the pattern generating unit 6 which indicates this cutting position , superimposed. As a result, the eye of the surgeon 7 always sees during treatment the optimal cutting position for preparing the cut.
Um ein zuverlässiges Arbeiten des Verfahrens zu gewährleisten, werden der Radius so- wie das Zentrum des Limbus anhand des Startbildes in einem sehr genauen aber relativ zeitaufwändigen Initialisierungsverfahren ermittelt. Ein derartiges Verfahren ist in der gleichzeitig, von der selben Anmelderin eingereichten, Patentanmeldung „Verfahren zur Ermittlung charakteristischer Eigenschaften und/oder der Position charakteristischer Au- genbestandteile", deren gesamter Inhalt hiermit einbezogen wird, detailliert beschrieben. Auf dieses Verfahren wird im nachfolgenden Text kurz eingegangen. In ihm wird ebenso wie in dem hier beanspruchten Verfahren ein Ringfilter 8 wie er in Fig. 2 schematisch dargestellt, einem Augenausschnitt überlagert ist, mit der Aufnahme des Augenausschnitts gefaltet. Der Ringfilter 8 ist aus zwei ringförmigen Bestandteilen, einem äußeren Ring 9 und einem inneren Ring 10 zusammengesetzt, welche bei an den Limbus angepassten Radius des Ringfilters 8 symmetrisch um den untersuchten Limbus 1 1 gelegt sind. Der Ringfilter 8 ist so normiert, dass der äußere Ring 9 positive Beiträge zur Filterantwort liefert, während der innere Ring 10 negative Beiträge ergibt. Darüber hinaus ist der Ringfil- ter 8 so normiert, dass die Filterantwort bei der Faltung mit einer grauen Fläche den Wert Null ergibt. Das bedeutet, dass die beiden Ringe 9 und 10 entsprechend ihrer Filteranteile im Bild gewichtet sind. Um das Prinzip des Verfahrens zu erläutern wird im Folgenden davon ausgegangen, dass der Radius des Limbus und damit die Größe des Ringfilters 8 in einem später zu beschreibenden Initialisierungsschritt abgeleitet und von daher bekannt ist. Bei allen danach aufgenommenen Bildern von Ausschnitten desselben Auges wird der Limbus 11 beibehalten, es kann immer, zumindest solange der Aufnahmemodus am Mikroskop nicht verändert wird, derselbe Ringfilter 8 verwendet werden. Dieser Ringfilter 8 wird nun mit dem Bildausschnitt gefaltet. Das heißt, die Filterantwort wird an jedem Punkt des Bildes ermittelt. Das Ergebnis einer Faltung mit dem Ringfilter 8 ist in Figur 3 bei- spielhaft dargestellt. An dem Ort, an dem Filterradius und Limbus 1 1 übereinander liegen, ergibt sich die maximale Filterantwort, welche hier als heller Bereich zu sehen ist. Das Zentrum dieses hellen Bereichs bzw. die Position des absoluten Maximums der Filterantwort entspricht dem Mittelpunkt des Limbus, welches an die Mustererzeugungseinheit 6 übergeben wird.In order to ensure reliable operation of the method, the radius and the center of the limbus are determined on the basis of the start image in a very precise but relatively time-consuming initialization process. Such a method is described in the patent application "Method for Determining Characteristic Properties and / or the Position of Characteristic Au", filed at the same time by the same Applicant. The method is described in detail in the text which follows, in which a ring filter 8, as shown schematically in FIG. The ring filter 8 is composed of two annular components, an outer ring 9 and an inner ring 10, which are symmetrically placed around the examined limbus 1 1 when the radius of the ring filter 8 is adapted to the limbus is normalized such that the outer ring 9 gives positive contributions to the filter response, while the inner ring 10 gives negative contributions In addition, the ring filter 8 is normalized so that the filter response when convolving with a gray area is zero. This means that the two rings 9 and 10 weighted according to their filter components in the image si nd. In order to explain the principle of the method is assumed below that the radius of the limbus and thus the size of the ring filter 8 derived in an initialization step to be described later and therefore known. In all subsequently taken pictures of sections of the same eye, the limbus 11 is maintained, it can always, at least as long as the recording mode is not changed on the microscope, the same ring filter 8 are used. This ring filter 8 is now folded with the image detail. That is, the filter response is determined at each point of the image. The result of a folding with the ring filter 8 is shown by way of example in FIG. At the place where the filter radius and limbus 1 1 are superimposed, there is the maximum filter response, which is seen here as a bright area. The center of this bright region or the position of the absolute maximum of the filter response corresponds to the midpoint of the limbus, which is transferred to the pattern generation unit 6.
Um dieses Zentrum exakt zu bestimmen, wird das Bild der Filterantwort, welches in Fig. 3 dargestellt ist, mittels einer Schwellwertbildung in ein Binärbild, wie es in Fig. 4 gezeigt ist, umgewandelt. Der hierfür verwendete Schwellwert wird nicht vorab festgelegt sondern aus dem Bildinhalt selbst bestimmt. Ein Schwellwert von wenigstens 90 % des maximalen Wertes der Filterantwort hat sich als sinnvoll erwiesen. Der Wert 90% wurde als Schwellwert für die in Fig. 4 gezeigte Darstellung genutzt. Von dieser, in der Fig. 4 sichtbaren, kleinen weißen Fläche, wird der Schwerpunkt bestimmt. Dieser Schwerpunkt entspricht dem gesuchten Limbuszentrum, welches an die Mustererzeugungseinheit 6 übergeben wird. Mit diesem Verfahren kann mit dem vorab bestimmten, geeigneten Ringfilter 8 für jede weitere Aufnahme des Augenausschnitts extrem schnell und zuverlässig, gewissermaßen in Echtzeit, nach diesem Verfahren das aktuelle Limbuszentrum ermittelt werden.In order to accurately determine this center, the image of the filter response shown in Fig. 3 is converted into a binary image by thresholding as shown in Fig. 4. The threshold used for this purpose is not determined in advance but determined from the image itself. A threshold of at least 90% of the maximum value of the filter response has been found to be useful. The value 90% was used as a threshold value for the illustration shown in FIG. From this, visible in Fig. 4, small white area, the center of gravity is determined. This center of gravity corresponds to the sought-after limbus center, which is transferred to the pattern generation unit 6 becomes. With this method, the current limbus center can be determined extremely quickly and reliably with the previously determined, suitable ring filter 8 for each further recording of the eye detail, in a manner of real time, according to this method.
Es ist jedoch, wie schon erwähnt, notwendig, vorab in einem etwas aufwändigeren Verfahren den Radius des Limbus 1 1 und damit den geeigneten Radius für den Ringfilter 8 zu bestimmen. Hierfür wird, wie in der erwähnten Parallelanmeldung detailliert beschrieben, das Bild eines Augenausschnitts mit Ringfiltern 8 unterschiedlicher Größe und damit unterschiedlichem Radius gefaltet. Für jede Faltung mit einem Ringfilter 8 wird die maxi- male Filterantwort ermittelt. Diese maximale Filterantwort wird gegen den Radius des verwendeten Ringfilters 8 aufgetragen, so dass sich eine Kurve ergibt, die immer dann maximale Werte zeigt, wenn ein Radius eines gewählten Ringfilters 8 mit dem Radius eines runden Objekts in dem Bildausschnitt übereinstimmt. Es wurde erkannt, dass der Radius des größten dieser runden Objekte im Bildausschnitt dem Radius des Limbus 11 entspricht, so dass das dem größten Radius der korrelierten Ringfilter 8 zugehörige Maximum in der Kurve bzw. dessen Filterradius dem Radius des Limbus 1 1 entspricht. Dieser wird im Folgenden als Radius des Ringfilters 8 zugrunde gelegt um in allen weiteren Aufnahmen, welche bei derselben Untersuchung oder Behandlung von demselben Augenausschnitt aufgenommen wurden, verwendet zu werden. Für alle folgenden Bilder ist es zur Nachverfolgung des Limbuszentrums somit nur noch notwenig, diese mit dem Ringfilter 8 festgelegten Radius zu falten, die Filterantwort zu binarisieren und den Schwerpunkt zu ermitteln. Damit wurde ein äußerst effizientes und zuverlässiges Verfahren entwickelt, den Radius des Limbus 1 1 und das Limbus- bzw. das Pupillenzentrum nach einem einmaligen detaillierten und etwas länger währenden Analyseschritt in allen weiteren Bildern extrem schnell abzuleiten und damit dieses Zentrum über die ganze Augendiagnose oder -behandlung hinweg gewissermaßen in Echtzeit für jedes Bild zu bestimmen und daraus die Position abzuleiten, um ein als Hilfestellung für den Chirurgen gedachtes Muster oder ähnliches einzublenden.However, it is, as already mentioned, necessary in advance to determine the radius of the limbus 1 1 and thus the suitable radius for the ring filter 8 in a somewhat more complicated process. For this purpose, as described in detail in the aforementioned parallel application, the image of an eye patch with ring filters 8 different size and thus different radius folded. For each convolution with a ring filter 8, the maximum filter response is determined. This maximum filter response is plotted against the radius of the ring filter 8 used so that a curve is obtained which shows maximum values whenever a radius of a selected ring filter 8 coincides with the radius of a round object in the image detail. It was recognized that the radius of the largest of these round objects in the image section corresponds to the radius of the limbus 11, so that the maximum in the curve or its filter radius corresponding to the largest radius of the correlated ring filter 8 corresponds to the radius of the limbus 11. This is used in the following as the radius of the ring filter 8 in order to be used in all further recordings which were taken in the same examination or treatment of the same eye opening. For all the following pictures it is only necessary to trace the radius of the limbus center, to binarize the filter response and to determine the center of gravity. Thus, a very efficient and reliable method was developed to derive the radius of the limbus 1 1 and the limbus or the pupil center extremely fast after a one-time detailed and slightly longer analysis step in all other images and thus this center through the entire eye diagnosis or -. to determine the treatment in real time for each image and derive the position to display a pattern or the like intended to assist the surgeon.
Lediglich dann, wenn das Zentrum des Auges in die Randbereiche des Bildausschnitts wandert, was während einer Augenoperation öfter einmal vorkommt, wird ein Teil des Limbus durch den Bildrand abgeschnitten und die Iris entspricht keinem ringförmigen Objekt mehr, welches mit einem Ringfilter 8 einfach und zuverlässig zu finden ist. In diesem Fall wird das Verfahren deutlich unzuverlässiger. Um diesem entgegenzuwirken wird, wie in Fig. 5 dargestellt, vorgeschlagen, in den Randbereichen des Bildes ausgesetzte Ringfilter 8 zu verwenden bei denen das am Bildrand liegende Ringsegment abgeschnitten ist. Die für die Bereiche vorzugsweise zu verwendenden Filter sind in der Fig. 5 dargestellt und zur Vereinfachung der Zuordnung mit jeweils denselben römischen Ziffern versehen, die auch auf die Randbereiche des darüber abgebildeten Augenabschnitts gelegt wurden. So wird beispielsweise für die Faltung mit einem Bild des Augenausschnitts im Bereich der linken oberen Ecke, welche mit I gekennzeichnet ist, der darunter ebenfalls mit I gekennzeichnete Filter an Stelle des voll durchgezogenen Ringfilters welcher im Bild mit V gekennzeichnet ist und im mittleren Bereich der Aufnahme verwendet wird genutzt. Damit entspricht der jeweils verwendete Filter auch im Randbereich des Augenausschnitts deutlich besser dem, in diesem Bereich abgeschnittenen, Limbuskreis. Diese Maßnahme erhöht die Sicherheit des Verfahrens maßgeblich.Only when the center of the eye moves into the edge regions of the image section, which occurs more often during an eye operation, a part of the limbus is cut off by the edge of the image and the iris corresponds to an annular object more easily and reliably with a ring filter 8 find is. In this Case, the procedure becomes significantly more unreliable. In order to counteract this, it is proposed, as illustrated in FIG. 5, to use ring filters 8 exposed in the edge regions of the image in which the ring segment located at the edge of the image is cut off. The filters which are preferably to be used for the regions are shown in FIG. 5 and provided with the same Roman numerals for simplification of the assignment, which were also applied to the edge regions of the eye section shown above. Thus, for example, for the convolution with an image of the eye detail in the area of the upper left corner, which is marked with I, the filter also marked with I instead of the fully continuous ring filter which is marked V in the image and in the middle region of the image used is used. In this way, the filter used in each case also corresponds significantly better to the limbus circle cut off in this area, even in the edge region of the eye detail. This measure significantly increases the safety of the process.
Dennoch kann auch damit gerade im Randbereich keine durchgängige 100 %ige Trefferwahrscheinlichkeit erreicht werden. Letztlich muss der Chirurg nach wie vor selbst entscheiden, ob er sich nach der, ihm angezeigten Hilfestellung richtet oder sich auf sein Gefühl bzw. auf seine Erfahrung verlässt und ohne die Hilfestellung weiterarbeitet. Um diese Entscheidung treffen zu können ist es für den Chirurgen äußerst hilfreich, wenn ihm zu- sätzlich zu der Hilfestellung eine Information über die Zuverlässigkeit der angezeigten Hilfestellung mitgegeben wird. Die Zuverlässigkeit des Verfahrens kann in dem hier beschriebenen Verfahren besonders einfach abgeleitet werden. Beispielsweise kann der Wert des Maximums im Bild der Filterantwort als absolutes Maß für die Sicherheit der Bestimmung des Limbuszentrums verwendet werden. Je höher dieser Wert ist, umso besser ist die Übereinstimmung von Radius des Limbus 11 und entsprechendem Ringfilter 8 und umso sicherer ist damit das Ergebnis. Diese Sicherheit bzw. Zuverlässigkeit des ermittelten Zentrums kann beispielsweise in Form eines Balkendiagramms oder auch in Form einer Kennzeichnung der eingeblendeten Hilfestellung, beispielsweise als durchgezogenes, gestricheltes oder gepunktetes Objekt dargestellt werden. Bezugszeichenliste:Nonetheless, it is not possible to achieve a consistent 100% hit probability, especially in the margins. Ultimately, the surgeon still has to decide for himself whether he will follow the help he has received or rely on his feeling or experience and continue to work without the help. In order to be able to make this decision, it is extremely helpful for the surgeon if, in addition to the assistance, he is provided with information about the reliability of the displayed assistance. The reliability of the method can be particularly easily derived in the method described here. For example, the value of the maximum in the image of the filter response can be used as an absolute measure of the safety of the determination of the limbus center. The higher this value, the better the correspondence of the radius of the limbus 11 and the corresponding ring filter 8, and thus the more reliable the result. This security or reliability of the determined center can be represented for example in the form of a bar chart or in the form of an identification of the displayed assistance, for example as a solid, dashed or dotted object. LIST OF REFERENCE NUMBERS
1 Auge1 eye
2 Okular2 eyepiece
3 Videokamera3 video camera
4 Strahlteiler4 beam splitters
5 Recheneinheit5 arithmetic unit
6 Mustererzeugungseinheit6 pattern generation unit
7 Auge des Chirurgen7 Eye of the surgeon
8 Ringfilter8 ring filters
9 Äußerer Filterring9 Outer filter ring
10 Innerer Filterring10 inner filter ring
1 1 Limbus 1 1 limbus

Claims

Patentansprüche claims
1. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile während einer Augenuntersuchung oder -behandlung, dadurch gekennzeichnet, dassA method for detecting and / or tracking the position of characteristic ocular components during an eye examination or treatment, characterized in that
- ein digitales Bild zumindest eines Ausschnittes eines Auges mit der Kamera aufgenommen, - dieses Bild mit einem ringförmigen Vergleichsobjekt definierter Größe korreliert und- a digital image of at least a section of an eye taken with the camera, - correlated this image with a ring-shaped comparison object of defined size and
- die Position des charakteristischen Augenbestandteils aus den Positionen von Vergleichsobjekt und Bild abgeleitet wird bei der sich große Übereinstimmung zwischen Bild und Vergleichsobjekt ergibt.the position of the characteristic eye component is derived from the positions of the comparison object and the image, resulting in a large correspondence between the image and the comparison object.
2. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 1, dadurch gekennzeichnet, dass der Wert der lokal größten Übereinstimmung bestimmt und die Position des charakteristischen Augenbestandteils aus Positionen von Vergleichsobjekten abgeleitet wird, bei denen der Wert der Übereinstimmung von Vergleichsobjekt und Bild um weniger als 20% von dem Wert der größten Übereinstimmung abweicht.2. A method for detecting and / or tracking the position of characteristic ocular components according to claim 1, characterized in that the value of the locally largest match is determined and the position of the characteristic eye component is derived from positions of comparison objects in which the value of the match of the comparison object and Image differs by less than 20% from the value of the largest match.
3. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 2, dadurch gekennzeichnet, dass der Wert der lokal größten Übereinstimmung bestimmt und die Position des charakteristischen Augenbestandteils aus Positionen von Vergleichsobjekten abgeleitet wird, bei denen der Wert der Übereinstimmung von Vergleichsobjekt und Bild um weniger als 10% von dem Wert der größten Übereinstimmung abweicht.3. A method for detecting and / or tracking the position of characteristic eye components according to claim 2, characterized in that the value of the locally largest match is determined and the position of the characteristic eye component is derived from positions of comparison objects in which the value of the match of the comparison object and Image differs by less than 10% from the value of the largest match.
4. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 3, dadurch gekennzeichnet, dass der Wert der lokal größten Übereinstimmung bestimmt und die Position des charakteristischen Augenbestandteils aus Positionen von Vergleichsobjekten abgeleitet wird, bei denen der Wert der Übereinstimmung von Vergleichsobjekt und Bild um weniger als 5% von dem Wert der größten Übereinstimmung abweicht.4. A method for detecting and / or tracking the position of characteristic ocular components according to claim 3, characterized in that the value of the locally largest match is determined and the position of the characteristic ocular component is derived from positions of comparison objects in which the Value of the match of the comparison object and the image differs by less than 5% from the value of the largest match.
5. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augen- bestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass die Position des Vergleichsobjekts beim Wert größter Übereinstimmung als die Position des charakteristischen Augenbestandteils gewählt wird.5. A method for detecting and / or tracking the position of characteristic eye components according to claim 1, characterized in that the position of the comparison object is selected at the value of greatest agreement as the position of the characteristic eye component.
6. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augen- bestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass die Position des Vergleichsobjekts großer Übereinstimmung als Limbusposition gewählt wird.6. A method for determining and / or tracking the position of characteristic eye components according to claim 1, characterized in that the position of the comparison object of great agreement is selected as the limb position.
7. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass die Position des Ver- gleichsobjekts großer Übereinstimmung als Pupillenposition gewählt wird.7. A method for detecting and / or tracking the position of characteristic ocular components according to claim 1, characterized in that the position of the comparison object of great agreement is selected as the pupil position.
8. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass die Größe des ringförmigen Vergleichsobjekts über die Korrelation eines Bildes des Ausschnittes mit ring- förmigen Vergleichsobjekten unterschiedlicher Radien vorab bestimmt wird.8. A method for determining and / or tracking the position of characteristic eye components according to claim 1, characterized in that the size of the annular comparison object on the correlation of an image of the cutout with ring-shaped comparison objects of different radii is determined in advance.
9. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass das ringförmige Vergleichsobjekt zwei konzentrische ringförmige Bestandteile aufweist.9. A method for detecting and / or tracking the position of characteristic ocular components according to claim 1, characterized in that the annular comparison object comprises two concentric annular components.
10. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 9, dadurch gekennzeichnet, dass die Größe des ringförmigen Vergleichsobjekts so gewählt wird, dass der äußere ringförmige Bestandteil sicher außerhalb und der innere sicher innerhalb des Limbus/der Pupille liegt.10. A method for detecting and / or tracking the position of characteristic ocular components according to claim 9, characterized in that the size of the annular comparison object is selected such that the outer annular component is securely located outside and the inner securely within the limbus / pupil.
11. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass bei der Korrelation eine Differenzbilduπg der ringförmigen Bestandteile erfolgt. 11. A method for determining and / or tracking the position of characteristic eye components according to claim 9 or 10, characterized in that takes place in the correlation Differenzbilduπg the annular components.
12. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass12. A method for determining and / or tracking the position of characteristic eye components according to claim 1, characterized in that
- das digitale Bild mit einem ringförmigen Filter definierten Radius gefaltet, - in der Filterantwort das Maximum ermittelt und- the digital image is folded with an annular filter defined radius, - in the filter response determines the maximum and
- der Ort der maximalen Filterantwort als Position des charakteristischen Augenbestandteils bestimmt wird.- The location of the maximum filter response is determined as the position of the characteristic eye component.
13. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augen- bestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass der definierte Radius bei einer Veränderung des Aufnahmemodus der Kamera automatisch angepasst wird.13. A method for determining and / or tracking the position of characteristic eye components according to claim 1, characterized in that the defined radius is automatically adjusted when changing the shooting mode of the camera.
14. Verfahren zur Ermittlung des Radius und/oder der Position charakteristischer Augen- bestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass als ringförmiges Vergleichsobjekt ein Ring verwendet wird.14. A method for determining the radius and / or the position of characteristic eye components according to claim 1, characterized in that a ring is used as a ring-shaped comparison object.
15. Verfahren zur Ermittlung des Radius undfoder der Position charakteristischer Augenbestandteile nach Anspruch 1, dadurch gekennzeichnet, dass als ringförmiges Ver- gleichsobjekt ein Vieleck verwendet wird.15. Method for determining the radius andf the position of characteristic eye components according to claim 1, characterized in that a polygon is used as the annular comparison object.
16. Verfahren zur Ermittlung des Radius und/oder der Position charakteristischer Augenbestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass als ringförmiges Vergleichsobjekt eine Scheibe verwendet wird.16. A method for determining the radius and / or the position of characteristic eye components according to claim 1, characterized in that a disc is used as a ring-shaped comparison object.
17. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 14, dadurch gekennzeichnet, dass als ringförmiges Vergleichsobjekt ein ausgesetzter Ring verwendet wird.17. A method for determining and / or tracking the position of characteristic ocular components according to claim 14, characterized in that a suspended ring is used as a ring-shaped comparison object.
18. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 17, dadurch gekennzeichnet, dass der ausgesetzte Ring im Randbereich des digitalen Bildes verwendet wird. 18. A method for detecting and / or tracking the position of characteristic eye components according to claim 17, characterized in that the exposed ring is used in the edge region of the digital image.
19. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 1 , dadurch gekennzeichnet, dass eine aus der Position abgeleitete Hilfestellung für den Chirurgen angezeigt wird.19. A method for detecting and / or tracking the position of characteristic ocular components according to claim 1, characterized in that a derived from the position assistance for the surgeon is displayed.
20. Verfahren zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile nach Anspruch 19, dadurch gekennzeichnet, dass eine Anzeige für die Zuverlässigkeit des Verfahrens angegeben wird.20. A method for detecting and / or tracking the position of characteristic eye components according to claim 19, characterized in that an indication of the reliability of the method is given.
21. Vorrichtung zur Ermittlung und/oder Verfolgung der Position charakteristischer Au- genbestandteile während einer Augenuntersuchung oder -behandlung, mit21. Apparatus for detecting and / or tracking the position of characteristic eye components during an eye examination or treatment, with
- einer Kamera die ein digitales Bild zumindest eines Ausschnittes eines Auges aufnimmt unda camera that captures a digital image of at least a portion of an eye and
- einer Bildverarbeitungseinrichtung zum Auswerten des Bildes, dadurch gekennzeichnet, dass - die Bildverarbeitungseinrichtung das Bild mit einem ringförmigen Vergleichsobjekt definierter Größe korreliert undan image processing device for evaluating the image, characterized in that the image processing device correlates the image with an annular comparison object of defined size and
- die Position des charakteristischen Augenbestaπdteils aus den Positionen von Vergleichsobjekt und Bild ableitet bei der sich große Übereinstimmung zwischen Bild und Vergleichsobjekt ergibt.- derives the position of the characteristic Augenbestaπdteils from the positions of the comparison object and image in the results of great agreement between the image and the comparison object.
22. Computerprogramm zur Durchführung des Verfahrens zur Ermittlung und/oder Verfolgung der Position charakteristischer Augenbestandteile während einer Augenuntersuchung oder -behandlung, wobei ein digitales Bild zumindest eines Ausschnittes eines mit einer Kamera aufgenommenen Auges analysiert wird, dadurch gekenn- zeichnet, dass22. Computer program for carrying out the method for determining and / or tracking the position of characteristic eye components during an eye examination or treatment, wherein a digital image of at least a section of an eye recorded with a camera is analyzed, characterized in that
- das Bild mit einem ringförmigen Vergleichsobjekt definierter Größe korreliert wird und- The image is correlated with a ring-shaped comparison object of defined size and
- die Position des charakteristischen Augenbestandteils aus den Positionen von Vergleichsobjekt und Bild abgeleitet wird bei der sich große Überein- Stimmung zwischen Bild und Vergleichsobjekt ergibt. the position of the characteristic eye component is derived from the positions of the comparison object and the image, resulting in a great agreement between the image and the comparison object.
PCT/EP2008/068104 2007-12-21 2008-12-19 Method for ascertaining and/or tracking the position of characteristic components of the eye WO2009080791A1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010538775A JP5379159B2 (en) 2007-12-21 2008-12-19 Method for detecting and / or tracking the location of characteristic eye components
US12/801,689 US8662667B2 (en) 2007-12-21 2010-06-21 Ophthalmologic visualization system
US14/147,046 US9089283B2 (en) 2007-12-21 2014-01-03 Ophthalmologic visualization system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102007055922A DE102007055922A1 (en) 2007-12-21 2007-12-21 Method for determining properties and / or the position of characteristic ocular components
DE102007055922.6 2007-12-21

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/068107 Continuation-In-Part WO2009080792A1 (en) 2007-12-21 2008-12-19 Method for determining properties and/or determining and/or tracking the position of a characteristic eye element

Related Child Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/068103 Continuation-In-Part WO2009080790A1 (en) 2007-12-21 2008-12-19 Method for determining the radius and/or the position of characteristic eye elements

Publications (1)

Publication Number Publication Date
WO2009080791A1 true WO2009080791A1 (en) 2009-07-02

Family

ID=40521744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2008/068104 WO2009080791A1 (en) 2007-12-21 2008-12-19 Method for ascertaining and/or tracking the position of characteristic components of the eye

Country Status (3)

Country Link
JP (1) JP5379159B2 (en)
DE (1) DE102007055922A1 (en)
WO (1) WO2009080791A1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009030504A1 (en) 2009-06-24 2010-12-30 Carl Zeiss Surgical Gmbh Eye surgery microscopy system
US8308298B2 (en) 2009-06-24 2012-11-13 Carl Zeiss Meditec Ag Microscopy system for eye surgery
DE102011082901A1 (en) 2011-09-16 2013-03-21 Carl Zeiss Meditec Ag Determining the azimuthal orientation of a patient's eye
DE102011086666A1 (en) 2011-11-18 2013-05-23 Carl Zeiss Meditec Ag Adjusting a display for orientation information in a visualization device
US8662667B2 (en) 2007-12-21 2014-03-04 Carl Zeiss Meditec Ag Ophthalmologic visualization system
DE102014201571A1 (en) 2014-01-29 2015-07-30 Carl Zeiss Meditec Ag Module for data input in a visualization device
CN113348487A (en) * 2019-01-29 2021-09-03 埃韦视觉有限公司 Eye tracking apparatus and method thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009033931B4 (en) * 2009-07-20 2016-03-10 Carl Zeiss Meditec Ag Method for determining a change in size and / or positional change of an annular component of an eye in an image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024688A1 (en) * 1999-10-07 2001-04-12 Visx, Inc. Two camera off-axis eye tracker
US20030108225A1 (en) * 2001-12-12 2003-06-12 Sony Corporation System and method for effectively extracting facial feature information

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08103B2 (en) * 1991-07-29 1996-01-10 株式会社トプコン Alignment device for ophthalmic machine
US6299307B1 (en) * 1997-10-10 2001-10-09 Visx, Incorporated Eye tracking device for laser eye surgery using corneal margin detection
JP2001212084A (en) * 2000-02-04 2001-08-07 Tomey Corp Evaluation system for refraction operation
JP3664937B2 (en) * 2000-03-27 2005-06-29 株式会社ニデック Ophthalmic equipment
JP2002017674A (en) * 2000-07-10 2002-01-22 Canon Inc Cornea measuring instrument
JP4649035B2 (en) * 2000-10-18 2011-03-09 株式会社トプコン Eye characteristics measuring device
JP3679331B2 (en) * 2001-01-25 2005-08-03 株式会社エクスプローラ Refractive correction device
DE10108797A1 (en) 2001-02-21 2002-09-05 Zeiss Carl Jena Gmbh Procedure for determining distances at the anterior segment of the eye
US6830334B2 (en) * 2001-07-30 2004-12-14 Bausch & Lomb Incorporated Anterior chamber diameter measurement system from limbal ring measurement
JP4481537B2 (en) * 2001-09-12 2010-06-16 株式会社ニデック Cornea surgery device
MXPA04011893A (en) * 2002-05-30 2005-03-31 Visx Inc "tracking torsional eye orientation and position".
DE10226382B4 (en) * 2002-06-13 2004-05-19 Carl Zeiss Cataract surgery microscopy system and method therefor
CN100571624C (en) * 2003-04-11 2009-12-23 博士伦公司 Be used to obtain the system and method for data and aligning and tracking eyes
JP4126249B2 (en) * 2003-05-30 2008-07-30 株式会社ニデック Ophthalmic equipment
JP4504763B2 (en) * 2004-08-23 2010-07-14 株式会社トプコン Ophthalmic equipment
DE102004055683B4 (en) 2004-10-26 2006-09-07 Carl Zeiss Surgical Gmbh Eye Surgery Microscopy System and Method Therefor
US7815631B2 (en) * 2004-11-30 2010-10-19 Alcon Refractivehorizons, Inc. Eye registration system for refractive surgery and associated methods

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001024688A1 (en) * 1999-10-07 2001-04-12 Visx, Inc. Two camera off-axis eye tracker
US20030108225A1 (en) * 2001-12-12 2003-06-12 Sony Corporation System and method for effectively extracting facial feature information

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
CLAUDIO A PEREZ ET AL: "Log-Linear Elliptic Transform for Frontal-Face Parameter Estimation", SYSTEMS, MAN AND CYBERNETICS, 2007. ISIC. IEEE INTERNATIONAL CONFERENC E ON, IEEE, PI, 1 October 2007 (2007-10-01), pages 1130 - 1134, XP031198982, ISBN: 978-1-4244-0990-7 *
IVINS J P ET AL: "A DEFORMABLE MODEL OF THE HUMAN IRIS FOR MEASURING SMALL THREE-DIMENSIONAL EYE MOVEMENTS", MACHINE VISION AND APPLICATIONS, SPRINGER VERLAG, DE, vol. 11, no. 1, 1 January 1998 (1998-01-01), pages 42 - 51, XP008056601, ISSN: 0932-8092 *
NEWMAN R ET AL: "Real-time stereo tracking for head pose and gaze estimation", AUTOMATIC FACE AND GESTURE RECOGNITION, 2000. PROCEEDINGS. FOURTH IEEE INTERNATIONAL CONFERENCE ON GRENOBLE, FRANCE 28-30 MARCH 2000, LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, 28 March 2000 (2000-03-28), pages 122 - 128, XP010378333, ISBN: 978-0-7695-0580-0 *
SMOLKA B ET AL: "Towards automatic redeye effect removal", PATTERN RECOGNITION LETTERS, ELSEVIER, AMSTERDAM, NL, vol. 24, no. 11, 1 July 2003 (2003-07-01), pages 1767 - 1785, XP004416063, ISSN: 0167-8655 *
YUILLE A L ET AL: "FEATURE EXTRACTION FROM FACES USING DEFORMABLE TEMPLATES", INTERNATIONAL JOURNAL OF COMPUTER VISION, KLUWER ACADEMIC PUBLISHERS, NORWELL, US, vol. 8, no. 2, 1 August 1992 (1992-08-01), pages 99 - 111, XP000306598, ISSN: 0920-5691 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8662667B2 (en) 2007-12-21 2014-03-04 Carl Zeiss Meditec Ag Ophthalmologic visualization system
US9089283B2 (en) 2007-12-21 2015-07-28 Carl Zeiss Meditec Ag Ophthalmologic visualization system
DE102009030504A1 (en) 2009-06-24 2010-12-30 Carl Zeiss Surgical Gmbh Eye surgery microscopy system
US8308298B2 (en) 2009-06-24 2012-11-13 Carl Zeiss Meditec Ag Microscopy system for eye surgery
DE102011082901A1 (en) 2011-09-16 2013-03-21 Carl Zeiss Meditec Ag Determining the azimuthal orientation of a patient's eye
US9560965B2 (en) 2011-09-16 2017-02-07 Carl Zeiss Meditec Ag Method for determining the azimuthal orientation of a patient eye and eye surgical apparatus therefor
DE102011086666A1 (en) 2011-11-18 2013-05-23 Carl Zeiss Meditec Ag Adjusting a display for orientation information in a visualization device
DE102014201571A1 (en) 2014-01-29 2015-07-30 Carl Zeiss Meditec Ag Module for data input in a visualization device
US9820820B2 (en) 2014-01-29 2017-11-21 Carl Zeiss Meditec Ag Module for a visualization apparatus for viewing an object
CN113348487A (en) * 2019-01-29 2021-09-03 埃韦视觉有限公司 Eye tracking apparatus and method thereof
US12056274B2 (en) 2019-01-29 2024-08-06 Eyeway Vision Ltd. Eye tracking device and a method thereof

Also Published As

Publication number Publication date
DE102007055922A1 (en) 2009-06-25
JP5379159B2 (en) 2013-12-25
JP2011508618A (en) 2011-03-17

Similar Documents

Publication Publication Date Title
WO2009080791A1 (en) Method for ascertaining and/or tracking the position of characteristic components of the eye
DE102007055924B4 (en) Method for determining characteristic properties and / or the position of characteristic ocular components
DE3688792T2 (en) Device for evaluating and correcting refractive errors in the eye.
EP2301424B1 (en) Ophthalmoscope with a laser device
EP2549964B1 (en) Ophthalmological laser treatment device
DE112020000880T5 (en) CONTROL DEVICE, OPHTHALMIC MICROSCOPE SYSTEM, OPHTHALMIC MICROSCOPE AND IMAGE PROCESSING DEVICE
DE102006036800A1 (en) Device for individual treatment planning and positionally accurate modification of an optical element
WO2003002047A2 (en) Method and device for representing an operative field during laser operations
DE102019007148A1 (en) Arrangement for OCT-supported laser vitreolysis
WO2009080789A1 (en) Method for determining properties and/or determining and/or tracking the position of characteristic eye elements
DE102019133431B3 (en) Method for determining a current position of a patient interface of an ophthalmic surgical laser on the basis of a Purkinje image
DE102016105962A1 (en) Positioning arrangement for intraocular lens
DE102020204454A1 (en) Monitoring treatment of an object
EP4216889B1 (en) Assembly for laser treatment of ocular opacities
DE112019001468T5 (en) CONTROL DEVICE AND PROCEDURE, AND SURGICAL MICROSCOPE SYSTEM
WO2009080792A1 (en) Method for determining properties and/or determining and/or tracking the position of a characteristic eye element
DE102007055919B4 (en) Eye viewing system and method therefor
DE102006025917A1 (en) Object`s e.g. vascular tree of patient, outline determination method, involves determining brightness region between upper pixel values and lower pixel values representing objects e.g. vascular tree of patient, in histogram of x-ray image
DE112021004605T5 (en) CONTROL DEVICE, CONTROL METHOD, PROGRAM AND OPHTHALMIC SURGICAL SYSTEM
DE102020110983A1 (en) Method, microscopy system, computer-based data processing system, computer program and data carrier for evaluating the quality of a capsulorhexis
DE102019219123A1 (en) Observation device
DE102020123728A1 (en) Method for determining a parameter of an eye and device for identifying an angular position of an eye
DE102009033931B4 (en) Method for determining a change in size and / or positional change of an annular component of an eye in an image
DE102021006553B4 (en) Method for providing a tissue for a laboratory examination, and use of an extracted volume body of a cornea in a laboratory examination
DE102021101955B4 (en) Method for providing a tissue for a laboratory examination, and use of an extracted volume body of a cornea in a laboratory examination

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08864386

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010538775

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08864386

Country of ref document: EP

Kind code of ref document: A1