DE102020104536A1

DE102020104536A1 - Methods and devices for three-dimensional eye reconstruction

Info

Publication number: DE102020104536A1
Application number: DE102020104536.0A
Authority: DE
Inventors: Cristina Alvarez Diez; Claudius Weimann; Steffen Urban; Christian Achilles
Original assignee: Carl Zeiss Vision International GmbH
Current assignee: Carl Zeiss Vision International GmbH
Priority date: 2020-02-20
Filing date: 2020-02-20
Publication date: 2021-08-26

Abstract

Es werden Verfahren und Vorrichtungen bereitgestellt, mit denen eine 3D-Rekonstruktion eines Auges bereitgestellt und gerendert wird. Dabei umfasst das Augenmodell eine Cornea, und die Brechkraft der Cornea wird beim Rendern berücksichtigt.

Methods and devices are provided with which a 3D reconstruction of an eye is provided and rendered. The eye model includes a cornea, and the refractive power of the cornea is taken into account during rendering.

Description

Die vorliegende Anmeldung betrifft Verfahren und Vorrichtungen zur dreidimensionalen Augenrekonstruktion. Unter einer dreidimensionalen Rekonstruktion oder kurz 3D-Rekonstruktion wird dabei wie in der Computergrafik allgemein üblich ein Prozess verstanden, bei dem die Form und das Aussehen von realen Objekten - in diesem Fall des Auges - erfasst wird, um diese Objekte dann möglichst realistisch auf einer Anzeige wie einem Computerbildschirm, oder einer anderen Anzeige darzustellen. Das Darstellen einer derartigen 3D-Rekonstruktion auf einer Anzeige wird auch als Rendern bezeichnet.The present application relates to methods and devices for three-dimensional eye reconstruction. A three-dimensional reconstruction, or 3D reconstruction for short, is understood, as is common in computer graphics, to be a process in which the shape and appearance of real objects - in this case the eye - are recorded in order to display these objects as realistically as possible such as a computer screen or other display. The presentation of such a 3D reconstruction on a display is also referred to as rendering.

Bei vielen Anwendungen ist eine detailgetreue 3D-Rekonstruktion eines Kopfes einer Person eine wichtige Voraussetzung. Beispielsweise wird eine realitätsnahe digitale grafische Darstellung eines Kopfes einer Person für virtuelle Anproben beispielsweise von Brillenfassungen benötigt. Herkömmliche Verfahren zur 3D-Rekonstruktion eines Gesichtes oder Kopfes einer Person sind in der US 7 835 568 B2 beschrieben. Eine virtuelle Anprobe und Anpassung von Produkten an einen Kopf einer Person, insbesondere die Anpassung einer Brillenfassung, ist beispielsweise in der US 2015 / 0 055 085 A1 oder der
WO 2018 / 220 203 A1 beschrieben. Andere Anwendungen einer derartigen 3D-Rekonstruktion eines Kopfes können in der Filmindustrie bei der Produktion von sogenannten Avataren oder bei Anwendungen im kosmetischen oder medizinischen Bereich, beispielsweise für die Simulation von Operationsergebnissen, liegen.In many applications, a detailed 3D reconstruction of a person's head is an important prerequisite. For example, a realistic digital graphic representation of a person's head is required for virtual try-ons of glasses frames, for example. Conventional methods for 3D reconstruction of a person's face or head are in the US 7 835 568 B2 described. A virtual try-on and adaptation of products to a person's head, in particular the adaptation of a spectacle frame, is for example in the US 2015/0 055 085 A1 or the
WO 2018/220 203 A1 described. Other applications of such a 3D reconstruction of a head can be in the film industry in the production of so-called avatars or in applications in the cosmetic or medical field, for example for the simulation of operation results.

Zur 3D-Rekonstruktion des Kopfes wird bei herkömmlichen Herangehensweisen der Kopf mit einem oder mehreren Sensoren aufgenommen. Beispielsweise kann eine Aufnahme mit Laufzeitsensoren (ToF, „Time of Flight“-Sensoren), mit einem Laserscanner oder mittels Musterprojektion aufgenommen werden, wodurch Tiefeninformationen und somit die dreidimensionale Struktur des Kopfes direkt erfasst werden kann. Bei anderen Herangehensweisen werden (2D)-Kameraaufnahmen aus verschiedenen Perspektiven verwendet, um die 3D-Rekonstruktion zu ermöglichen. Zum Erfassen der Textur werden ebenfalls eine oder mehrere Kameras verwendet, wobei im Falle der Erfassung der dreidimensionalen Form mittels Kameras hier dieselben Kameras zum Einsatz kommen können. Unter Textur wird dabei in der Computergrafik ein Bild bezeichnet, das auf der Oberfläche eines virtuellen Körpers dargestellt wird, vgl. Wikipedia-Artikel „Textur“ (Computergrafik), Stand 10. Januar 2020.In conventional approaches, the head is recorded with one or more sensors for the 3D reconstruction of the head. For example, a recording can be made with transit time sensors (ToF, “Time of Flight” sensors), with a laser scanner or by means of pattern projection, whereby depth information and thus the three-dimensional structure of the head can be recorded directly. Other approaches use (2D) camera recordings from different perspectives to enable the 3D reconstruction. One or more cameras are also used to capture the texture, and in the case of capturing the three-dimensional shape by means of cameras, the same cameras can be used here. In computer graphics, texture is an image that is displayed on the surface of a virtual body, see Wikipedia article “Texture” (computer graphics), stand 10 . January 2020.

Bei der 3D-Rekonstruktion des Kopfes einer Person oder auch eines Tieres sind nach heutigem Stand der Technik noch zwei Bereiche eine größere Herausforderung: die Haare und die Augen. Die vorliegende Anmeldung befasst sich mit der 3D-Rekonstruktion der Augen.In the 3D reconstruction of the head of a person or an animal, two areas are still more challenging according to the current state of technology: the hair and the eyes. The present application deals with the 3D reconstruction of the eyes.

Augen weisen verschiedene Eigenschaften auf, die eine 3D-Rekonstruktion erschweren. Zum einen ist die Oberfläche eines Auges relativ stark reflektierend, was bei Bildaufnahmen zu Glanzstellen (auch als Überstrahlungen bezeichnet) führen kann. Unter Bildaufnahmen sind dabei nicht nur Aufnahmen mit einer herkömmlichen Kamera zu verstehen, sondern auch Aufnahmen mit anderen Vorrichtungen wie Laserscannern, aus denen sich ein zweidimensionales oder dreidimensionales Bild erzeugen lässt. Auch bei solchen anderen Arten von Bildaufnahmen kann es zu Glanzstellen kommen. Auch die optisch brechende Wirkung des Auges, Rote-Augen-Effekte bei Beleuchtung von vorne, Blinzeln oder kleine Bewegungen während dem Aufnehmen des Kopfes mit den oben erwähnten Sensoren können die 3D-Rekonstruktion erschweren oder sie unmöglich machen. Weiter unten wird noch detaillierter auf verschiedene Effekte eingegangen, die die 3D-Rekonstruktion erschweren können.Eyes have various properties that make 3D reconstruction difficult. On the one hand, the surface of an eye is relatively highly reflective, which can lead to shiny spots (also referred to as overexposure) when taking pictures. Image recordings are not only to be understood as recordings with a conventional camera, but also recordings with other devices such as laser scanners, from which a two-dimensional or three-dimensional image can be generated. Glossy spots can also occur with such other types of image recordings. The optically refractive effect of the eye, red-eye effects when illuminated from the front, blinking or small movements while recording the head with the above-mentioned sensors can make the 3D reconstruction difficult or impossible. Various effects that can complicate the 3D reconstruction are discussed in greater detail below.

Herkömmliche 3D-Rekonstruktionsverfahren berücksichtigen derartige Besonderheiten des Auges oft nicht. Dies führt dazu, dass bei der Anzeige von derartigen 3D-Rekonstruktionen von Gesichtern die Augen häufig flach aussehen und beispielsweise die gekrümmte Hornhaut nicht korrekt rekonstruiert ist. Verbunden damit wird die Lage der Iris in vielen Fällen ebenfalls nicht korrekt rekonstruiert. Dies kann bei manchen Anwendungen wie z.B. bei virtuellen Brillenanpassungen nicht nur einen ästhetischen Nachteil haben und es beispielsweise erschweren, die optische Wirkung der Brille bei einer virtuellen Anprobe zu beurteilen, sondern kann auch ein Problem bei der Bestimmung sogenannter Zentrierparameter darstellen, wenn die Brillenzentrierung auf der Basis der Lage der Iris, insbesondere des inneren Irisrandes, entsprechend der Pupille, durchgeführt werden soll. Die Bestimmung von Zentrierparametern ist dabei ebenfalls in der oben erwähnten WO 2018 / 220 203 A1 beschrieben.Conventional 3D reconstruction methods often do not take into account such special features of the eye. The result of this is that when such 3D reconstructions of faces are displayed, the eyes often look flat and, for example, the curved cornea is not correctly reconstructed. In connection with this, the position of the iris is also not correctly reconstructed in many cases. In some applications, such as virtual eyeglass adjustments, this can not only have an aesthetic disadvantage and, for example, make it more difficult to assess the optical effect of the glasses during a virtual try-on, but can also pose a problem when determining so-called centering parameters if the eyeglass centering is on the Based on the position of the iris, in particular the inner edge of the iris, corresponding to the pupil, should be carried out. The determination of centering parameters is also in the above-mentioned WO 2018/220 203 A1 described.

Zum besseren Verständnis werden nachfolgend verschiedene Probleme bei der 3D-Rekonstruktion von Augen unter Bezugnahme auf die 1 bis 4 erläutert. In den Figuren bezeichnen gleiche Bezugszeichen gleiche Elemente.For a better understanding, various problems in the 3D reconstruction of eyes are discussed below with reference to FIG 1 until 4th explained. In the figures, the same reference symbols denote the same elements.

Die 1 zeigt hierzu zunächst schematisch eine Darstellung eines Auges 10, wie sie beispielsweise aus einer Frontaufnahme, d.h. einer Aufnahme von vorne, bei Geradeausblick, resultieren kann.the 1 shows this initially a schematic representation of an eye 10 as it can result, for example, from a front view, ie a front view when looking straight ahead.

Das Auge 10 umfasst eine Sklera 11 (auch als Lederhaut bezeichnet), eine Iris 12 und eine Pupille 13. Die Pupille 13 wird im Wesentlichen durch eine Öffnung in der Iris 12 gebildet und von einem inneren Irisrand 15 begrenzt. Mit dem Bezugszeichen 14 ist der äußere Irisrand bezeichnet. Wie später unter Bezugnahme auf die 3 noch näher erläutert werden wird, ist vor der Iris 12 und Pupille 13 eine durchsichtige Cornea (Hornhaut) angeordnet, welche sich an die Sklera 11 anschließt. Ein Übergangsbereich zwischen der Hornhaut und der Sklera 11 wird als Limbus bezeichnet.The eye 10 includes a sclera 11 (also called dermis), an iris 12th and a pupil 13th . The pupil 13th is essentially made through an opening in the iris 12th formed and from an inner Iris edge 15th limited. With the reference number 14th the outer edge of the iris is indicated. As later with reference to the 3 will be explained in more detail is in front of the iris 12th and pupil 13th a transparent cornea (cornea) arranged, which attaches itself to the sclera 11 connects. A transition area between the cornea and the sclera 11 is called the limbus.

Die Sklera 11, die Hornhaut und andere Bestandteile des Auges sind mehr oder weniger stark reflektierend, was zu Glanzstellen in Bildaufnahmen führen kann. Bei Bildaufnahmen aus verschiedenen Richtungen können diese Reflexe an verschiedenen Stellen liegen. Dies wird unter Bezugnahme auf die 2A und 2B erläutert.The sclera 11 , The cornea and other components of the eye are more or less highly reflective, which can lead to shiny spots in images. When taking pictures from different directions, these reflections can be at different points. This will be done with reference to the 2A and 2 B explained.

Die 2A zeigt ein schematisches Beispiel einer Bildaufnahme des Auges 10 von vorne, d.h. eine Frontaufnahme, während die 2B eine Aufnahme schräg von der Seite zeigt. In den Beispielbildern der 2A und 2B tritt dabei eine Glanzstelle innerhalb der Pupille 13 auf, in 2A als Glanzstelle 24A und in 2B als Glanzstelle 24B bezeichnet. Derartige Glanzstellen entstehen durch die Reflexion von Licht, in diesem Fall beispielsweise an der Cornea. Ähnliche Glanzstellen können auch im Bereich der Sklera 11 auftreten. Derartige Glanzstellen können in zweierlei Hinsicht problematisch sein. In den Glanzstellen fehlt die Textur, sodass es schwierig sein kann, die 3D-Rekonstruktion an derartigen Stellen mit einer entsprechenden Textur zu versehen. Zudem bauen 3D-Rekonstruktionsverfahren, die auf Bildaufnahmen aus verschiedenen Winkeln beruhen, häufig darauf auf, dass in den verschiedenen Bildaufnahmen einander entsprechende Bildbereiche erkannt werden. Da die Lage der Glanzstellen, wie in dem Beispiel der 2A und 2B ersichtlich ist, von der Aufnahmerichtung abhängt, kann es schwierig sein, einander entsprechende Bildbereiche korrekt zuzuordnen.the 2A shows a schematic example of an image recording of the eye 10 from the front, ie a front view, while the 2 B a picture shows diagonally from the side. In the example images of the 2A and 2 B a shiny spot occurs within the pupil 13th on, in 2A as a shiny spot 24A and in 2 B as a shiny spot 24B designated. Such glossy areas are created by the reflection of light, in this case for example on the cornea. Similar shiny spots can also be found in the area of the sclera 11 appear. Such glossy areas can be problematic in two ways. The texture is missing in the glossy areas, so that it can be difficult to provide the 3D reconstruction with a corresponding texture in such areas. In addition, 3D reconstruction methods that are based on image recordings from different angles are often based on the fact that image areas that correspond to one another are recognized in the various image recordings. Since the location of the glossy areas, as in the example of 2A and 2 B depends on the recording direction, it can be difficult to correctly assign corresponding image areas to one another.

Weitere Probleme ergeben sich aus der dreidimensionalen Struktur des Auges. Um dies zu erläutern, zeigt 3A eine Querschnittsansicht des Auges 10. Eine derartige Querschnittsansicht kann von einem realen Auge einer Person beispielsweise durch optische Kohärenztomografie (OCT, „optical coherence tomography“) erhalten werden. Wie in der Querschnittsansicht der 3A ersichtlich, setzt sich die Sklera 11 über den Limbus 31 zu der Cornea 30 fort. Die Cornea 30 ist wie bereits erwähnt durchsichtig und weist eine gewölbte Form auf. Die Iris 12 ist ein Stück hinter dem Übergang von Cornea 30 zu Limbus 31 im Wesentlichen an der Grenze zwischen Limbus 31 und Sklera 11 angeordnet. Mit d1 ist ein Durchmesser der Cornea von einem Ende des Limbus zu einem gegenüberliegenden Ende bezeichnet, und mit d2 ist der Durchmesser der Iris bezeichnet. Dabei gilt d1<d2, sodass ein Teil der Iris 12 vom Limbus verdeckt wird. Wie nun unter Bezugnahme auf die 3B erläutert werden wird, hängt der verdeckte Teil von der Betrachtungsrichtung, beispielsweise von der Richtung, aus der eine Bildaufnahme vorgenommen wird, ab.Further problems arise from the three-dimensional structure of the eye. To explain this, shows 3A a cross-sectional view of the eye 10 . Such a cross-sectional view can be obtained from a real eye of a person, for example by optical coherence tomography (OCT, “optical coherence tomography”). As in the cross-sectional view of the 3A can be seen, the sclera settles 11 over the limbus 31 to the cornea 30th away. The cornea 30th As already mentioned, it is transparent and has a curved shape. The iris 12th is a bit behind the junction of the cornea 30th to limbus 31 essentially on the border between limbus 31 and sclera 11 arranged. A diameter of the cornea from one end of the limbus to an opposite end is denoted by d1 and the diameter of the iris is denoted by d2. Here, d1 <d2, so that part of the iris 12th is obscured by the limbus. As now with reference to the 3B will be explained, the hidden part depends on the viewing direction, for example on the direction from which an image is recorded.

Die 3B zeigt einen Bereich, in dem die Iris 12 an der Sklera 11 in der Nähe des Limbus 31 beginnt, schematisch. Ein Winkel, unter dem die Sklera 11, der Limbus 31 und die Hornhaut 30 in dem Bereich, in dem die Iris 12 die Sklera 11 im Wesentlichen berührt, geneigt ist, ist in 3B mit α bezeichnet.the 3B shows an area where the iris 12th on the sclera 11 near the limbus 31 begins, schematically. An angle at which the sclera 11 , the limbus 31 and the cornea 30th in the area where the iris 12th the sclera 11 essentially touches, is inclined, is in 3B denoted by α.

Eine gestrichelte Linie 33 zeigt eine Betrachtungsrichtung, beispielsweise die Richtung der Bildaufnahme, von vorne (im Wesentlichen senkrecht zur Iris 12) an. Diese Richtung wird im Rahmen dieser Anmeldung auch als 0°-Richtung oder Frontrichtung bezeichnet. Eine gestrichelte Linie 34 zeigt eine Betrachtungsrichtung schräg von der Seite, unter einem Winkel von etwa 60° zu der gestrichelten Linie 33. Bei der Betrachtungsrichtung entsprechend der gestrichelten Linie 33 wird ein relativ kleiner Teil der Iris 12 verdeckt, während bei einer Betrachtungsrichtung entsprechend der gestrichelten Linie 34 ein um eine Distanz d3 größerer Teil der Iris 12 verdeckt wird. Diese unterschiedliche Verdeckung je nach Blickrichtung kann ebenfalls Probleme bei der Identifizierung einander entsprechender Bereiche in Bildaufnahmen aus verschiedenen Richtungen verursachen. In dieser vereinfachten Erklärung wurde die Lichtbrechung durch die Cornea vernachlässigt.Dashed line 33 shows a viewing direction, for example the direction of image recording, from the front (essentially perpendicular to the iris 12th ) at. In the context of this application, this direction is also referred to as the 0 ° direction or front direction. Dashed line 34 shows a viewing direction obliquely from the side, at an angle of about 60 ° to the dashed line 33 . In the viewing direction according to the dashed line 33 becomes a relatively small part of the iris 12th hidden, while in a viewing direction corresponding to the dashed line 34 a part of the iris larger by a distance d3 12th is covered. This different concealment depending on the viewing direction can also cause problems in the identification of corresponding areas in image recordings from different directions. In this simplified explanation, the refraction of light through the cornea has been neglected.

Ein weiteres Problem, das sich aus der dreidimensionalen Struktur des Auges ergibt, sind Brechungseffekte durch die Cornea 30. Da die Cornea 30 gekrümmt ist, weist sie eine Brechkraft auf, sodass Lichtstrahlen nicht einfach gerade durch sie hindurch treten. Die Brechkraft ist dabei der Kehrwert der Brennweite und wird in Dioptrien angegeben. Die Brechkraft der Cornea 30 bewirkt, dass die hinter ihr liegende Iris 12 und Pupille 13 je nach Betrachtungswinkel an einer anderen Stelle zu sein scheinen. Bei einem emmetropen Auge, d.h. einem Auge ohne Fehlsichtigkeit, liegt dabei die Brechkraft der Cornea 30 in der Größenordnung von 43 Dioptrien. Bereits wenn man senkrecht von vorne (entsprechend der gestrichelten Linie 33 der 4B) auf ein Auge blickt, sorgt die Brechkraft der Cornea 30 dafür, dass die Iris etwa 0,5 mm näher erscheint, als sie tatsächlich ist. Wird das Auge unter einem Winkel von 60° entsprechend der gestrichelten Linie 34 betrachtet, erscheint die Iris 12 noch weiter vorne (zur Cornea 30 hin) und erscheint zusätzlich auch noch zum Beobachter gekippt und leicht gekrümmt. Diese Effekte sind beispielsweise in Fedtke C., Manns F., Ho A. „The entrance pupil of the human eye: a three-dimensional model as a function of viewing angle“, Optics Express, 2010 ; 18(21):22364-22376 und in Mathur A., Gehrmann J. & Atchison DA. „Pupil shape as viewed along the horizontal visual field“ J Vis 2013 ; 13(6): 1-8 beschrieben.Another problem that arises from the three-dimensional structure of the eye is the effects of refraction through the cornea 30th . Since the cornea 30th is curved, it has a refractive power so that rays of light do not just pass straight through it. The refractive power is the reciprocal of the focal length and is given in dioptres. The refractive power of the cornea 30th causes the iris behind her 12th and pupil 13th seem to be in a different place depending on the viewing angle. In the case of an emmetropic eye, ie an eye without ametropia, the refractive power of the cornea lies here 30th on the order of 43 diopters. Already if you look straight from the front (according to the dashed line 33 the 4B) looking at one eye, the refractive power of the cornea provides 30th for the iris to appear about 0.5 mm closer than it actually is. The eye is at an angle of 60 ° according to the dashed line 34 viewed, the iris appears 12th further forward (to the cornea 30th towards) and also appears tilted and slightly curved towards the observer. These effects are for example in Fedtke C., Manns F., Ho A. "The entrance pupil of the human eye: a three-dimensional model as a function of viewing angle", Optics Express, 2010 ; 18 (21): 22364-22376 and in Mathur A., Gehrmann J. & Atchison DA. "Pupil shape as viewed along the horizontal visual field" J Vis 2013 ; 13 (6): 1-8.

Herkömmliche 3D-Rekonstruktionsverfahren gehen von Bildaufnahmen von einem unveränderten Objekt während der Aufnahme aus verschiedenen Winkeln aus. Die oben beschriebenen Veränderungen durch die Brechkraft der Hornhaut bewirken dann, dass das Auge mit derartigen herkömmlichen Algorithmen möglicherweise nicht korrekt rekonstruiert wird. Die Iris scheint sich dann zu bewegen oder zu deformieren, wenn man sie unter verschiedenen Blickwinkeln betrachtet.Conventional 3D reconstruction methods are based on image recordings of an unchanged object during the recording from different angles. The above-described changes due to the refractive power of the cornea then have the effect that the eye may not be correctly reconstructed using such conventional algorithms. The iris then appears to move or deform when viewed from different angles.

Weitere Fehlerquellen bei der 3D-Rekonstruktion können daher rühren, dass die Iris eine dreidimensionale Struktur, nicht kontinuierliche Struktur aufweisen kann, die zu zusätzlichen Verdeckungen je nach Betrachtungswinkel führen kann. Wenn zur 3D-Rekonstruktion Bildaufnahmen mit hoher Auflösung verwendet werden, kann diese dreidimensionale, z.T. netzartige Struktur zu Problemen bei der Zuordnung führen.Further sources of error in the 3D reconstruction can arise from the fact that the iris can have a three-dimensional structure, not a continuous structure, which can lead to additional obscurations depending on the viewing angle. If image recordings with high resolution are used for 3D reconstruction, this three-dimensional, partly network-like structure can lead to problems with the assignment.

Herkömmliche Herangehensweisen behandeln die obigen Probleme nur teilweise oder unzureichend. So offenbart die US 8 958 608 B2 ein Rekonstruktionsverfahren zur Iriserkennung für biometrische Anwendungen, berücksichtigt aber Problematiken anderer Teile des Auges nicht. Die US 9 649 026 B2 betrifft eine Rekonstruktion eines Auges trotz Glanzstellen. Die US 7 835 568 B2 betrifft eine fotorealistische Modellierung eines Gesichtes, wobei auf die obigen Besonderheiten des Auges nicht spezifisch eingegangen wird. Die US 10 105 049 B2 offenbart eine 3D-Aufnahme eines vorderen Augensegmentes mittels eines Projektors und dergleichen. Die US 10 217 275 B2 betrifft ebenfalls die Rekonstruktion von Augen, wobei hier eine umfangreiche Datenbank verwendet wird, was relativ aufwändig ist. Außerdem wird eine veränderte Textur bei der Rekonstruktion in Kauf genommen, die zwar z.T. zu einer robusteren 3D-Rekonstruktion führen kann, aber ein Ergebnis liefert, das nicht oder weniger der Realität entspricht. Es ist daher eine Aufgabe der vorliegenden Erfindung, verbesserte Verfahren zur 3D-Rekonstruktion bereitzustellen, bei denen zumindest manche der oben beschriebenen Nachteile, bevorzugt alle Nachteile, behoben sind.Conventional approaches only partially or inadequately address the above problems. So reveals the US 8 958 608 B2 a reconstruction process for iris recognition for biometric applications, but does not consider problems in other parts of the eye. the US 9 649 026 B2 relates to a reconstruction of an eye despite shiny spots. the US 7 835 568 B2 relates to a photo-realistic modeling of a face, whereby the above special features of the eye are not specifically discussed. the US 10 105 049 B2 discloses a 3D image of an anterior eye segment by means of a projector and the like. the US 10 217 275 B2 also relates to the reconstruction of eyes, an extensive database being used here, which is relatively complex. In addition, a changed texture is accepted during the reconstruction, which can in part lead to a more robust 3D reconstruction, but delivers a result that does not correspond to reality, or less so. It is therefore an object of the present invention to provide improved methods for 3D reconstruction in which at least some of the disadvantages described above, preferably all disadvantages, are eliminated.

Diese Aufgabe wird gelöst durch ein computerimplementiertes Verfahren nach Anspruch 1 sowie eine Vorrichtung nach Anspruch 15. Die Unteransprüche definieren weitere Ausführungsformen. Zudem wird auch ein entsprechendes Computerprogramm bereitgestellt.This object is achieved by a computer-implemented method according to claim 1 and a device according to claim 15. The subclaims define further embodiments. A corresponding computer program is also provided.

Bei einem erfindungsgemäßen computerimplementierten Verfahren zur 3D-Rekonstruktion eines Auges werden Aufnahmen einer Augenregion einer Person unter verschiedenen Betrachtungswinkeln aus bereitgestellt. Zudem wird ein Augenmodell bereitgestellt. Eine Augenregion eines Gesichts ist dabei ein Bereich, der zumindest das zu rekonstruierende Auge enthält, aber zudem auch eine Umgebung des Auges enthalten kann. Beispielsweise wird bei manchen Ausführungsvarianten das gesamte Gesicht oder der gesamte Kopf einer Person aufgenommen.In a computer-implemented method according to the invention for the 3D reconstruction of an eye, recordings of a region of the eye of a person are provided from different viewing angles. An eye model is also provided. An eye region of a face is an area that contains at least the eye to be reconstructed, but can also contain an area around the eye. For example, in some embodiment variants, the entire face or the entire head of a person is recorded.

Unter einer Aufnahme ist dabei insbesondere eine 2D-Farbaufnahme zu verstehen, wie sie mit einer Digitalkamera, die eine Optik und einen Bildsensor umfasst, erstellt werden kann. Unter verschiedenen Betrachtungswinkeln ist gleichbedeutend damit, den Augenbereich aus verschiedenen Blickrichtungen oder von verschiedenen Positionen aufzunehmen. Bevorzugt ist dabei eine Aufnahme enthalten, die zumindest näherungsweise aus einer frontalen Richtung (0°) erstellt wurde, beispielsweise aus einem Bereich von ± 5° oder ±10°. Aus einer derartigen Aufnahme lässt sich wie weiter unten näher erläutert einer Iristextur am besten ermitteln.In this context, a recording is to be understood in particular as a 2D color recording, as can be created with a digital camera that includes an optical system and an image sensor. From different viewing angles is synonymous with recording the eye area from different viewing directions or from different positions. A recording is preferably included that was created at least approximately from a frontal direction (0 °), for example from a range of ± 5 ° or ± 10 °. An iris texture can best be determined from such a recording, as will be explained in more detail below.

Des Weiteren umfasst das Verfahren ein Bereitstellen eines Augenmodells, welches eine Cornea, eine Iris und gegebenenfalls auch eine Sklera und einen Limbus modelliert. Unter einem Augenmodell ist dabei eine dreidimensionale Repräsentation des Auges zu verstehen, die als Datensatz in einem Speichermedium, beispielsweise einem Speicher eines Computers oder einem Datenträger, vorliegt. Eine solche dreidimensionale Repräsentation kann beispielsweise ein 3D-Netz (englisch „3D mesh“), bestehend aus einem Satz von 3D-Punkten, die auch als Vertices bezeichnen, und Verbindungen zwischen den Punkten, die auch als Edges bezeichnet werden. Diese Verbindungen bilden im einfachsten Fall ein Dreiecksnetz. Das Modell kann auch andere Arten von dreidimensionalen Repräsentationen umfassen. Beispielsweise kann die Cornea als gekrümmte Fläche mittels einzelner Parameter der gekrümmten Fläche, wie z.B. die Krümmungsradien, abgespeichert sein.Furthermore, the method includes providing an eye model which models a cornea, an iris and possibly also a sclera and a limbus. An eye model is to be understood as a three-dimensional representation of the eye, which is available as a data record in a storage medium, for example a memory of a computer or a data carrier. Such a three-dimensional representation can, for example, be a 3D mesh (English “3D mesh”), consisting of a set of 3D points, which are also referred to as vertices, and connections between the points, which are also referred to as edges. In the simplest case, these connections form a triangular network. The model can also include other types of three-dimensional representations. For example, the cornea can be stored as a curved surface using individual parameters of the curved surface, such as the radii of curvature.

Erfindungsgemäß wird dann auf Basis des Augenmodells und der Bildaufnahmen eine 3D-Rekonstruktion des Auges bestimmt, welche dann in einer Anwendung zur Darstellung auf einer Anzeige gerendert werden kann. Verschiedene Aspekte des erfindungsgemäßen Verfahrens werden nachfolgend erläutert. Diese verschiedenen Aspekte können in Kombination miteinander, aber auch unabhängig voneinander, implementiert werden.According to the invention, a 3D reconstruction of the eye is then determined on the basis of the eye model and the image recordings, which can then be rendered in an application for representation on a display. Various aspects of the method according to the invention are explained below. These various aspects can be implemented in combination with one another, but also independently of one another.

Bei einem ersten Aspekt wird beim Rendern des Auges die Brechkraft der Cornea berücksichtigt. Da die Form der Cornea in dem Augenmodell vorliegt, kann der Lichtdurchgang durch die Cornea unter Berücksichtigung der Brechkraft der Cornea anhand des Augenmodells bestimmt werden. Die Form der Cornea bezeichnet dabei den gesamten Aufbau der Cornea und kann eine äußere Form der Cornea, einen Verlauf einer inneren Oberfläche der Cornea, eine Dicke der Cornea, und/oder einen Brechungsindex oder Brechungsindexverlauf der Cornea beinhalten, ist also nicht auf die äußere Form beschränkt. Je genauer die Cornea spezifiziert ist, desto genauer kann die Deformation des Strahlenganges rückwärts berechnet werden. Bei manchen Ausführungsbeispielen kann dabei eine paraaxiale Berechnung durchgeführt werden. Bevorzugt wird jedoch eine allgemeinere Berechnung wie eine auf finiten Elementen beruhende Berechnung durchgeführt, da diese die Realität bei Nicht-On-Axis-Ansichten (d.h. Ansichten, die nicht entlang der optischen Achse des Auges sind) besser wiedergeben. Derartige Berechnungen sind beispielsweise in T.M. Nejad et al., „Finite element modeling of cornea mechanics: a review“, Arq. Bras. Oftalmol. vol.77 no.1 Säo Paulo Jan./Feb. 2014 , http://dx.doi.org/10.5935/0004-2749.20140016 , beschrieben.In a first aspect, the refractive power of the cornea is taken into account when rendering the eye. Since the shape of the cornea is in the eye model, light can pass through the cornea can be determined on the basis of the eye model, taking into account the refractive power of the cornea. The shape of the cornea denotes the entire structure of the cornea and can include an outer shape of the cornea, a course of an inner surface of the cornea, a thickness of the cornea, and / or a refractive index or refractive index course of the cornea, i.e. it does not refer to the outer shape limited. The more precisely the cornea is specified, the more precisely the deformation of the beam path can be calculated backwards. In some exemplary embodiments, a paraxial calculation can be carried out. However, a more general calculation, such as a calculation based on finite elements, is preferably carried out, since these reflect the reality better in the case of non-on-axis views (ie views that are not along the optical axis of the eye). Such calculations are for example in TM Nejad et al., "Finite element modeling of cornea mechanics: a review," Arq. Bras. Oftalmol. vol.77 no.1 Sao Paulo Jan./Feb. 2014 , http://dx.doi.org/10.5935/0004-2749.20140016.

Bei manchen Ausführungsformen wird dabei zur Bestimmung der Brechkraft der Hornhaut ein Standard-Augenmodell eines emmetropen Auges, d.h. eines normalsichtigen Auges, verwendet. Durch die Verwendung eines Standard-Augenmodells ist der Aufwand geringer als bei der Verwendung umfangreicher Datenbanken. Augenmodelle sind beispielsweise in D.A. Atchinson, „Optical models for human myopic eyes‟, Vis. Res. Vol. 46, 2236-2250 (2006) oder in H.-L. Liou et al., „Anatomically accurate, finite model eye for optical modeling“, Journal of the Optical Society of America A, Vol. 14(8) 1684-1695 (1997) beschrieben.In some embodiments, a standard eye model of an emmetropic eye, ie a normal-sighted eye, is used to determine the refractive power of the cornea. By using a standard eye model, the effort is less than when using extensive databases. Eye models are for example in DA Atchinson, "Optical models for human myopic eyes", Vis. Res. Vol. 46, 2236-2250 (2006) or in H.-L. Liou et al., "Anatomically accurate, finite model eye for optical modeling," Journal of the Optical Society of America A, Vol. 14 (8) 1684-1695 (1997) described.

Bei anderen Ausführungsformen wird die Brechkraft der Hornhaut aus Daten über die jeweilige Person erhalten. In manchen Fällen, beispielsweise bei chirurgischen Anwendungen, kann eine OCT-Aufnahme des Auges vorliegen, aus der die Form und Krümmung der Hornhaut genau abgeleitet werden kann. Bei anderen Ausführungsformen ist die Person, deren Auge rekonstruiert werden soll, beispielsweise Brillenträger, und die Werte der Brechkraft des Auges sind bekannt. Dabei können, wie in Navarro R. „The Optical Design of the Human Eye: Critical Review‟, J. Optom. 2009 , 2: 3-18 erläutert zwei Drittel der Aberration, die für die Person festgestellt wurde, der Hornhaut und ein Drittel der Brechkraft der Linse zugeordnet werden. In other embodiments, the refractive power of the cornea is obtained from data about the respective person. In some cases, for example in surgical applications, an OCT image of the eye can be available from which the shape and curvature of the cornea can be derived precisely. In other embodiments, the person whose eye is to be reconstructed is, for example, wearing glasses, and the values of the refractive power of the eye are known. As in Navarro R. "The Optical Design of the Human Eye: Critical Review," J. Optom. 2009 , 2: 3-18 explains two-thirds of the aberration found in the subject attributed to the cornea and one-third of the power of the lens.

Hierdurch kann die Brechkraft der Hornhaut also bekannten Aberrationen der Person angepasst werden.In this way, the refractive power of the cornea can be adapted to known aberrations of the person.

Bei weiteren Ausführungsbeispielen kann die Wirkung der Hornhaut aus den Bildaufnahmen bestimmt werden. Hierfür wird eine Information verwendet, unter welchem Winkel die Bildaufnahmen des Augenbereichs aufgenommen wurden. Wie weiter unten erläutert, können diese bekannt sein oder ermittelt werden.In further exemplary embodiments, the effect of the cornea can be determined from the image recordings. For this purpose, information is used as to the angle at which the images of the eye area were recorded. As explained below, these can be known or determined.

Für die Ermittlung der Brechkraft der Cornea auf Basis der Bilder wird von einer Iris ausgegangen, die sich während der Bildaufnahmen nicht verändert und die kaum Tiefe besitzt. Die erste Annahme wird für die meisten Aufnahmen, die in kurzer Zeit und unter konstanten Lichtverhältnissen für die Person durchgeführt wurden, ausreichend erfüllt sein. Die zweite Annahme ist zwar bei vielen Augen nicht erfüllt. Ein Effekt der Struktur der Iris und ihrer Tiefe kann aber bei verschiedenen Ausführungsformen dadurch minimiert werden, dass für die folgenden Optimierungsschritte immer nur Bilder aus kleinen Winkelbereichen (z.B. <45°, <30° oder <20°) verwendet werden, oder, in anderen Worten, dass sich die Aufnahmewinkel der Bilder, die herangezogen werden, in einem Bereich <45° oder <30° oder <20° bewegen. So machen sich beispielsweise Verdeckungen, die durch die dreidimensionale Struktur der Iris entstehen, von Bildaufnahme zu Bildaufnahme weniger bemerkbar. Welcher Winkelbereich verwendet werden kann hängt auch von der jeweiligen Struktur der Iris ab: Bei Iriden mit wenig „Löchern“ oder bei geringerer Auflösung der Bildaufnahmen kann ein größerer Winkelbereich verwendet werden. Dabei gilt allgemein, dass, solange eine Zuordnung einander entsprechender Bildbereiche möglich ist, Aufnahmen aus einem größeren Winkelbereich wegen der größeren Stereobasis zu einer besseren 3D-Rekonstruktion führen können. Auf der anderen Seite führt ein größerer Winkelbereich zu mehr Verdeckungen oder Deformationen aufgrund der Brechkraft der Cornea, was die Zuordnung einander entsprechender Bildbereiche erschwert. Der verwendete Winkelbereich stellt daher häufig einen Kompromiss zwischen diesen Anforderungen dar.To determine the refractive power of the cornea on the basis of the images, an iris is assumed that does not change during the image acquisition and that has hardly any depth. The first assumption will be sufficiently fulfilled for most recordings that were made for the person in a short period of time and under constant lighting conditions. The second assumption is not true for many eyes. An effect of the structure of the iris and its depth can, however, be minimized in various embodiments in that only images from small angular ranges (e.g. <45 °, <30 ° or <20 °) are used for the following optimization steps, or in others Words that the recording angles of the images that are used are in a range of <45 ° or <30 ° or <20 °. For example, obscurations caused by the three-dimensional structure of the iris become less noticeable from image to image. Which angular range can be used also depends on the respective structure of the iris: In the case of irises with few “holes” or with lower resolution of the image recordings, a larger angular range can be used. The general rule here is that, as long as it is possible to assign image areas that correspond to one another, recordings from a larger angular area can lead to a better 3D reconstruction due to the larger stereo base. On the other hand, a larger angular range leads to more obscurations or deformations due to the refractive power of the cornea, which makes it more difficult to assign corresponding image areas. The angle range used therefore often represents a compromise between these requirements.

Nun wird für das zu rekonstruierende Auge (wenn beide Augen rekonstruiert werden sollen, entsprechend für beide Augen) in dem Augenmodell ein Modell für die Hornhaut mit freien Parametern verwendet. Derartige freie Parameter können beispielsweise die oben beschriebenen Krümmungsparameter der Hornhaut, Positionen von Vertices der Hornhaut oder dergleichen sein oder beeinflussen. Beispielsweise kann für jedes Auge ein einziger Parameter verwendet werden, der die sphärische Aberration durch die Hornhaut (Hornhaut-Kurzsichtigkeit, Hornhaut-Weitsichtigkeit) wiederspiegelt. Der Begriff „sphärische Aberration“ wird hier entsprechend der Optometrie verwendet, wo die Brechkraft (myop, hyperop) sphärisch genannt wird, und die Hauptkrümmungsform der Hornhaut wiederspiegelt. Es können auch 3 Parameter pro Auge sein, die die sphärische Aberration und eine astigmatische Aberration (Stärke und Achse) wiederspiegeln, entsprechend Brillengläsern, wo die Brechkraft mittels den Parametern Sphäre, Zylinder und Achse angegeben werden kann. Man spricht dann laut DIN EN ISO 13666:2019-12 , Absatz 3.10.3, auch von der dioptrischen Wirkung des Brillenglases. Es können auch andere Parameter verwendet werden, die die Form und somit die optische Brechkraft der Hornhaut wiederspiegeln. Je mehr Bildaufnahmen unter verschiedenen Aufnahmewinkeln herangezogen werden und je höher die Auflösung der Bilder ist, umso mehr Parameter können zur Beschreibung der Hornhaut verwendet werden.A model for the cornea with free parameters is now used in the eye model for the eye to be reconstructed (if both eyes are to be reconstructed, correspondingly for both eyes). Such free parameters can be or influence, for example, the above-described curvature parameters of the cornea, positions of vertices of the cornea or the like. For example, a single parameter can be used for each eye that reflects the spherical aberration through the cornea (corneal myopia, corneal farsightedness). The term “spherical aberration” is used here in accordance with optometry, where the refractive power (myopic, hyperopic) is called spherical and reflects the main curvature of the cornea. There can also be 3 parameters per eye, which are spherical aberration and astigmatic aberration ( Power and axis), corresponding to spectacle lenses, where the refractive power can be specified using the parameters sphere, cylinder and axis. You then speak out loud DIN EN ISO 13666: 2019-12 , Paragraph 3.10.3, also on the dioptric power of the spectacle lens. Other parameters can also be used which reflect the shape and thus the optical power of the cornea. The more image recordings are used at different recording angles and the higher the resolution of the images, the more parameters can be used to describe the cornea.

Ein weiterer Parameter kann auch die Lage der Iris hinter der Hornhaut sein. Die Parameter werden mit einem Startwert versehen, z.B. für ein emmetropes Modellauge, also eine emmetrope, asphärische Hornhaut, und dann in einem Prozess über alle einbezogenen Bilder optimiert, so dass die Hornhaut dann die Brechung aufweist, die den Bildaufnahmen, sprich, den „gekrümmten“ Iriden und Pupillen entspricht.Another parameter can be the position of the iris behind the cornea. The parameters are provided with a starting value, e.g. for an emmetropic model eye, i.e. an emmetropic, aspherical cornea, and then optimized in one process over all included images so that the cornea then has the refraction that the image recordings, i.e. the "curved “Irides and pupils corresponds.

Für diese Optimierung können grundsätzlich verschiedene mathematische Verfahren verwendet werden. Beispiele hierfür sind das Gauss-Newton-Verfahren oder der Levenberg-Marquardt-Algorithmus. Für derartige Verfahren wird üblicherweise eine Fehlerfunktion definiert, die durch die Optimierung der Parameter minimiert werden soll. Für eine realitätsnahe Darstellung der Augen, wie sie ein Ziel der vorliegenden Anmeldung ist, kann dabei ein optimal gerendertes Auge als zielfunktional verwendet werden. Der Fehler, der bei diesem Ziel funktional minimiert wird, ist die fotometrische Distanz zwischen den Grauwerten der gerenderten 3D-Rekonstruktion mit den optimierten Parametern und den Grauwerten der Bildaufnahmen. Die fotometrische Distanz kann dabei als Summe der quadratischen Abweichungen zwischen den Grauwerten, als Summe der Absolutwerte der Abweichungen zwischen den Grauwerten oder als normalisierte Kreuzkorrelation berechnet werden. Die Parameter werden hier iterativ optimiert.In principle, various mathematical methods can be used for this optimization. Examples of this are the Gauss-Newton method or the Levenberg-Marquardt algorithm. For such methods, an error function is usually defined, which is to be minimized by optimizing the parameters. For a realistic representation of the eyes, as is a goal of the present application, an optimally rendered eye can be used as a goal-functional. The error that is functionally minimized with this goal is the photometric distance between the gray values of the rendered 3D reconstruction with the optimized parameters and the gray values of the image recordings. The photometric distance can be calculated as the sum of the square deviations between the gray values, as the sum of the absolute values of the deviations between the gray values or as a normalized cross-correlation. The parameters are optimized iteratively here.

Im Allgemeinen ist dies ein nicht-lineares Optimierungsproblem. Daher sind sinnvolle Start- und Grenzwerte für die Modellparameter wichtig. Beispielsweise sind astigmatische Aberrationen über 10 Dioptrien ungewöhnlich und typischerweise nicht zu erwarten, sodass hier ein entsprechender Grenzwert gesetzt wird. Als Startwerte können typische Mittelwerte eines emmetropen Auges verwendet werden, wie bereits oben erwähnt. Typische Startwerte sind beispielsweise ein Durchmesser der Cornea von 12mm oder eine typische radiale Dickenvariation der Cornea (die für das Rendern der Brechkraft der Cornea von Bedeutung ist). Die Streubreite der Mittelwerte, und die Mittelwerte sind aus Untersuchungen vieler Augen bekannt. Ein Beispiel für derartige Untersuchungen ist der Artikel von C.K. Leung et al., „Comparisons of anterior segment biometry between Chinese and Caucasians using anterior segment optical coherence tomography“, Br J Ophtalmol Vol. 94, 1184-1189 (2010) . In Ausführungsbeispielen können die Grenzwerte so gesetzt werden, dass sie einer bestimmten Streubreite (2 Sigma oder 3 Sigma) entsprechen. Werte außerhalb werden ganz unterdrückt oder zumindest stark „benachteiligt“. Ein anderer „Grenzwert“ bzw. eine Randbedingung, die bei Ausführungsbeispielen verwendet wird, ist, dass die geometrische Größe des Modell-Auges mit seinen Parametern (vor allem der in 1. Ordnung kugelrunden Sklera-Bereiches) zu dem (der) Augenrand(form) (oberer und untere Lidbereich) passt. Sonst sieht das gerenderte Auge zwar real aus, liegt aber eingefallen in der Augenhöhle, oder steht gar heraus.In general, this is a non-linear optimization problem. Therefore, meaningful start and limit values for the model parameters are important. For example, astigmatic aberrations over 10 diopters are unusual and typically not to be expected, so that a corresponding limit value is set here. Typical mean values of an emmetropic eye can be used as starting values, as already mentioned above. Typical starting values are, for example, a diameter of the cornea of 12 mm or a typical radial thickness variation of the cornea (which is important for rendering the refractive power of the cornea). The spread of the mean values and the mean values are known from studies of many eyes. An example of such studies is the article by CK Leung et al., "Comparisons of anterior segment biometry between Chinese and Caucasians using anterior segment optical coherence tomography", Br J Ophtalmol Vol. 94, 1184-1189 (2010) . In exemplary embodiments, the limit values can be set in such a way that they correspond to a certain spread (2 sigma or 3 sigma). Values outside of it are completely suppressed or at least severely “disadvantaged”. Another "limit value" or a boundary condition that is used in exemplary embodiments is that the geometric size of the model eye with its parameters (especially the first-order spherical sclera area) to the edge (s) of the eye (form ) (upper and lower lid area) fits. Otherwise the rendered eye looks real, but is sunken in the eye socket or even protruding.

Mit den aus der Optimierung erhaltenen Parametern wird das Augenmodell entsprechend angepasst und dann zum Rendern verwendet. Auf diese Weise kann auch ohne spezifische Daten der Person wie aus einem Brillenglas oder aus OCT-Untersuchungen eine realistischere Darstellung erreicht werden als in den Fällen, in denen nur ein emmetropes Modellauge verwendet wird. Insgesamt ist jedoch auch mit einem emmetropen Modellauge eine realistischere Darstellung als bei Verfahren, welche die Brechkraft der Hornhaut nicht berücksichtigen, möglich.With the parameters obtained from the optimization, the eye model is adapted accordingly and then used for rendering. In this way, even without specific data on the person, such as from a spectacle lens or from OCT examinations, a more realistic representation can be achieved than in cases in which only an emmetropic model eye is used. Overall, however, a more realistic representation is also possible with an emmetropic model eye than with methods that do not take the refractive power of the cornea into account.

Ein zweiter Aspekt bezieht sich auf die Korrektur von Glanzstellen. Bei dem zweiten Aspekt werden dabei bevorzugt Corneabereich und Sklera separat behandelt. Hierfür werden in den Bildaufnahmen Bereiche von Cornea und Sklera detektiert. Dies kann auf Basis des Farbkontrastes zwischen Iris und Sklera und der runden Form der Iris geschehen. Eine derartige Detektion kann wie bei herkömmlichen Augendetektionsprogrammen erfolgen, beispielsweise wie in dem Artikel „Evaluation of state of the art pupil detection algorithms on remote eye images“ von W. Fuhl et al., http://www.ti.unituebingen.de/uploads/tx_timitarbeiter/evaluation_remote.pdf beschrieben. Dann werden Glanzstellen korrigiert, wobei hier grundsätzlich verwendet wird, dass Glanzstellen bei verschiedenen Aufnahmewinkeln an verschiedenen Stellen auftreten und somit die dort fehlende Texturinformation aus anderen Bildaufnahmen entnommen werden kann. Gemäß einem Ausführungsbeispiel werden Herangehensweisen wie in der US 9 245 344 B2 oder dem Artikel „Bright Spot Regions Segmentation and Classification for Specular Highlights Detection in Colonoscopy Videos“ von F. Javier Sanchez et al., http:
//refbase.cvc.uab.es/files/SBS2017.pdf beschrieben, verwendet.A second aspect relates to the correction of glossy areas. In the second aspect, the corneal area and sclera are preferably treated separately. For this purpose, areas of the cornea and sclera are detected in the image recordings. This can be done on the basis of the color contrast between the iris and sclera and the round shape of the iris. Such a detection can take place as with conventional eye detection programs, for example as in the article "Evaluation of state of the art pupil detection algorithms on remote eye images" by W. Fuhl et al., Http://www.ti.unituebingen.de/ uploads / tx_timitarbeiter / evaluation_remote.pdf. Glossy areas are then corrected, the principle being used here that glossy areas occur at different recording angles at different positions and the texture information missing there can thus be taken from other image recordings. According to one embodiment, approaches as in FIG US 9 245 344 B2 or the article "Bright Spot Regions Segmentation and Classification for Specular Highlights Detection in Colonoscopy Videos" by F. Javier Sanchez et al., http:
//refbase.cvc.uab.es/files/SBS2017.pdf, used.

Bei der Anwendung von Verfahren zur Entfernung von Glanzstellen wird dabei bevorzugt darauf geachtet, dass keine Verfahren verwendet werden, die eine nur auf dem Farbraum verwendbare Filterung zur Detektion der Glanzstellen verwenden oder, in anderen Worten, Glanzstellen lediglich auf Basis der Tatsache detektieren, dass diese normalerweise sehr hell und weiß sind. Da die Sklera ebenfalls weiß ist, kann dies zu Fehlern führen. Eine solche Filterung kann jedoch nach der Separierung von Iris und Sklera wie oben beschrieben für die Bereiche der Iris verwendet werden, die im Allgemeinen nicht weiß ist.When using methods for removing glossy areas, care is preferably taken that no methods are used that use filtering that can only be used on the color space to detect the glossy areas or, in other words, detect glossy areas only on the basis of the fact that they are used are usually very light and white. Since the sclera is also white, this can lead to errors. However, such filtering can be used after the separation of the iris and sclera as described above for the areas of the iris that are generally not white.

Eine weitere Möglichkeit ist es, neuronale Netzwerke zur Bildvervollständigung und/oder Bildkorrektur anzulernen, um so die Glanzstellen zu entfernen und die Textur zu rekonstruieren. Hierzu können Verfahren aus dem sogenannten „Deep Image Inpainting“, wie beispielsweise in Burlin, Charles, Yoann Le Calonnec, and Louis Duperier. „Deep image inpainting.“ (2017): 1-9 oder spezielle generative Netzwerke verwendet werden, sogenannte GANs („generative adversarial networks“), wie beispielsweise in Demir, Ugur, and Gozde Unal. „Patch-based image inpainting with generative adversarial networks.“ arXiv preprint arXiv:1803.07422 (2018) beschrieben.Another possibility is to train neural networks for image completion and / or image correction in order to remove the glossy areas and to reconstruct the texture. For this purpose, methods from so-called “deep image painting”, such as in Burlin, Charles, Yoann Le Calonnec, and Louis Duperier, can be used. “Deep image inpainting.” (2017): 1-9 or special generative networks, so-called GANs (“generative adversarial networks”), such as in Demir, Ugur, and Gozde Unal. "Patch-based image inpainting with generative adversarial networks." ArXiv preprint arXiv: 1803.07422 (2018).

Die ermittelten Glanzstellenbereiche werden bei der 3D-Rekonstruktion des Auges dann unterdrückt oder sehr schwach gewichtet, wenn beispielsweise ein herkömmliches 3D-Rekonstruktionsverfahren einander entsprechende Bereiche in der Vielzahl von Bildaufnahmen ermittelt.The determined areas of glossy areas are then suppressed or very weakly weighted in the 3D reconstruction of the eye if, for example, a conventional 3D reconstruction method determines corresponding areas in the multitude of image recordings.

Die Sklera kann dann mit einem derartigen 3D-Rekonstruktionsverfahren aus der Vielzahl von Bildaufnahmen rekonstruiert werden und die so rekonstruierte Sklera auf das bevorzugt texturfreie Augenmodell angewendet werden, d.h. sie wird ein Teil des Augenmodells, auf Basis dessen dann die 3D-Rekonstruktion erfolgt.The sclera can then be reconstructed from the multitude of image recordings with such a 3D reconstruction method and the sclera thus reconstructed can be applied to the preferably texture-free eye model, i.e. it becomes part of the eye model, on the basis of which the 3D reconstruction then takes place.

Auch für die Iris können Glanzstellen berücksichtigt werden, sodass eine Iris mit vollständiger Textur rekonstruiert werden kann. Bei einem dritten Aspekt wird eine derartig rekonstruierte Iris dann auf das Augenmodell angewendet, d.h. die Iris des Augenmodells wird mit der entsprechenden Textur versehen. Hierfür kann zunächst die Iris aus einer relativ frontalen Aufnahme, z.B. unter einem Winkel im Bereich von ±10° oder ±5° zu einer Blickrichtung des Auges (oder zusammengesetzt aus mehreren derartigen Bildaufnahmen), zum Einsatz kommen. Diese Bildaufnahmen können den oben erwähnten Bildaufnahmen zur Ermittlung der Brechkraft der Cornea entsprechen. Glanzstellen können dann aus anderen Bildaufnahmen ersetzt werden. Shiny areas can also be taken into account for the iris, so that an iris can be reconstructed with a complete texture. In a third aspect, an iris reconstructed in this way is then applied to the eye model, i.e. the iris of the eye model is provided with the corresponding texture. For this purpose, the iris from a relatively frontal image, e.g. at an angle in the range of ± 10 ° or ± 5 ° to a line of sight of the eye (or composed of several such images), can be used. These image recordings can correspond to the above-mentioned image recordings for determining the refractive power of the cornea. Glossy areas can then be replaced from other image recordings.

Auf diese Weise ist eine 3D-Rekonstruktion der Iris möglich, wobei durch das Augenmodell auch Verdeckungen durch den Limbus berücksichtigt werden können. Die Textur wird aber bei derartigen Ausführungsbeispielen ausschließlich aus den Bildaufnahmen ermittelt, Datenbanken sind hierzu nicht nötig.In this way, a 3D reconstruction of the iris is possible, with the eye model also being able to take into account obscurations by the limbus. In such exemplary embodiments, however, the texture is determined exclusively from the image recordings; databases are not necessary for this.

Bei der 3D-Rekonstruktion kann bei einem vierten Aspekt die Verdeckung des Limbus auf Basis der Detektion des Limbus in den Bildaufnahmen und der Aufnahmewinkel bestimmt werden. Dies kann auf Basis einfacher Geometrieüberlegungen wie bereits einleitend unter Bezugnahme auf die 3B dargestellt erfolgen, wobei zusätzlich die Brechkraft der Cornea berücksichtigt wird.In the 3D reconstruction, in a fourth aspect, the obscuration of the limbus can be determined on the basis of the detection of the limbus in the image recordings and the recording angle. This can be done on the basis of simple geometrical considerations as already introduced with reference to the 3B shown, with the refractive power of the cornea also being taken into account.

Hierbei ist zu beachten, dass jedes Auge sehr individuell ist, auch was die Lage von Limbus oder den Abstand von Limbus zur Iris angeht. Bei einem Winkel α von 40° und einer mittleren Höhe des Limbus zur Iris von 0,4 mm sind beispielsweise 0,7 mm der Iris durch den Limbus verdeckt, wenn das Auge entsprechend der gestrichelten Linie 34 betrachtet wird. Der Bereich d3 ist im senkrechten Bild hingegen sichtbar.It should be noted that each eye is very individual, also with regard to the position of the limbus or the distance from the limbus to the iris. At an angle α of 40 ° and a mean height of the limbus to the iris of 0.4 mm, for example, 0.7 mm of the iris is covered by the limbus if the eye is in accordance with the dashed line 34 is looked at. The area d3, however, is visible in the vertical image.

Dabei können insbesondere Bereiche, die bei näherungsweise frontalen Aufnahmen (entsprechend der gestrichelten Linie 33 der 3B) sichtbar sind, bei schräger Betrachtung (beispielsweise entsprechend der gestrichelten Linie 34) jedoch nicht, bei der Zuordnung einander entsprechender Bildbereiche nicht berücksichtigt werden. Hierdurch kann die 3D-Rekonstruktion verbessert werden.In particular, areas that are approximately frontal recordings (according to the dashed line 33 the 3B) are visible when viewed from an angle (for example according to the dashed line 34 ), however, are not taken into account when assigning corresponding image areas. This allows the 3D reconstruction to be improved.

Wie oben erläutert werden Bildaufnahmen aus verschiedenen Richtungen, d.h. unter verschiedenen Betrachtungswinkeln, erstellt. Unter Kenntnis dieser Betrachtungswinkel können dann Rekonstruktionen nach verschiedenen der oben diskutierten Aspekte erfolgen. Zur Bereitstellung von Bildaufnahmen aus verschiedenen Betrachtungswinkeln gibt es verschiedene Möglichkeiten:

Bei einer Ausführungsform wird eine Anordnung mehreren Kameras verwendet, die unter definierten Winkeln zueinander angeordnet sind.
Bei einer anderen Ausführungsform wird eine einzelne mobile Kamera, welche über zusätzliche Sensoren, insbesondere einen oder mehrere Beschleunigungssensoren oder eine inertiale Messeinheit (IMU) wie im Wikipedia-Artikel „inertiale Messeinheit“, Stand 27. Januar 2020 beschrieben, verfügt, für die Vielzahl von Bildaufnahmen verwendet. Aus den aufgenommenen Bildern sowie den Beschleunigungsdaten kann dann die jeweilige Position und Orientierung der Kamera und somit der Betrachtungswinkel ermittelt werden. Derartige Herangehensweisen werden auch als visuell-inertiale Odometrie bezeichnet und sind beispielsweise in S.-H. Jung und C. Taylor „Camera trajectory estimation using inertial sensor measurements and structure for motion results“, Proceedings of the IEEE Computer Society, Conference on Computer Vision and Pattern Recognition, Vol 2, 2001 , S. II.-732 bis II.-737 beschrieben. Bei anderen Ausführungsbeispielen können die Betrachtungswinkel durch eine erste 3D-Rekonstruktion des Gesichts, bevorzugt ohne den Augenbereich, ermittelt werden, zum Beispiel mit SLAM (Simultaneous Localization and Mapping), siehe den Artikel „Simultaneous Localization and Mapping‟ in der deutschsprachigen Wikipedia, Stand 27.1.2019 . Nachteilig gegenüber den vorher genannten Herangehensweisen ist dabei jedoch, dass zwar Winkel erhalten werden, aber kein absoluter Größenmaßstab.

As explained above, image recordings are created from different directions, ie from different viewing angles. With knowledge of these viewing angles, reconstructions can then take place according to various of the aspects discussed above. There are various options for providing image recordings from different viewing angles:

In one embodiment, an arrangement of several cameras is used, which are arranged at defined angles to one another.
In another embodiment, a single mobile camera, which has additional sensors, in particular one or more acceleration sensors or an inertial measuring unit (IMU) as in the Wikipedia article “inertial measuring unit”, is available 27 . January 2020, has, used for the large number of image recordings. The respective position and orientation of the camera and thus the viewing angle can then be determined from the recorded images and the acceleration data. Such Approaches are also known as visual-inertial odometry and are for example in S.-H. Jung and C. Taylor "Camera trajectory estimation using inertial sensor measurements and structure for motion results", Proceedings of the IEEE Computer Society, Conference on Computer Vision and Pattern Recognition, Vol 2, 2001 , Pp. II.-732 to II.-737. In other exemplary embodiments, the viewing angles can be determined by a first 3D reconstruction of the face, preferably without the eye area, for example with SLAM (Simultaneous Localization and Mapping), see the article "Simultaneous Localization and Mapping" in the German language Wikipedia, as of January 27, 2019 . However, it is disadvantageous compared to the previously mentioned approaches that, although angles are obtained, there is no absolute size scale.

Somit können bei manchen Ausführungsformen die Betrachtungswinkel durch die verwendete Vorrichtung zur Bildaufnahme feststehen, oder sie werden ermittelt.Thus, in some embodiments, the viewing angles can be fixed by the device used for image recording, or they are determined.

Entsprechende Vorrichtungen werden ebenfalls bereitgestellt. Eine erfindungsgemäße Vorrichtung umfasst dabei eine Recheneinrichtung, die eine Vielzahl von Bildaufnahmen des Augenbereichs aus verschiedenen Betrachtungswinkeln empfängt und programmiert ist, ein Verfahren gemäß einem oder mehreren der oben genannten Aspekte durchzuführen, beispielsweise mittels eines entsprechenden Computerprogramms, welches ebenfalls bereitgestellt ist. Die Recheneinrichtung kann dabei eine einzige physikalische Einheit sein, jedoch auch verteilt implementiert sein. Beispielsweise können Daten über ein Netzwerk übertragen werden, um Berechnungen an verschiedenen Orten durchzuführen. Die Vorrichtung kann weiter eine Kameraeinrichtung zur Erzeugung der Bildaufnahmen umfassen. Wie oben erläutert kann die Kameraeinrichtung mehrere fest zueinander angeordnete Kameras aufweisen, oder kann eine mobile Kamera, beispielsweise eine Kamera eines Smartphones oder Tablet-Computers, sein, welche in verschiedene Position bewegt wird, um Bildaufnahmen aus verschiedenen Richtungen durchzuführen.Appropriate devices are also provided. A device according to the invention comprises a computing device that receives a plurality of image recordings of the eye area from different viewing angles and is programmed to carry out a method according to one or more of the above-mentioned aspects, for example by means of a corresponding computer program, which is also provided. The computing device can be a single physical unit, but it can also be implemented in a distributed manner. For example, data can be transmitted over a network to perform calculations in different locations. The device can further comprise a camera device for generating the image recordings. As explained above, the camera device can have several cameras that are fixedly arranged relative to one another, or can be a mobile camera, for example a camera of a smartphone or tablet computer, which is moved into different positions in order to take images from different directions.

Die Erfindung wird nachfolgend unter Bezugnahme auf die beigefügten Zeichnungen anhand von Ausführungsbeispielen näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Auges,
2A und 2B schematische Darstellungen von Bildaufnahmen eines Auges aus verschiedenen Richtungen zur Veranschaulichung von Glanzstellen und einer scheinbaren Deformation der Iris,
3A eine Querschnittsansicht eines Auges,
3B einen Teil einer Querschnittsansicht eines Auges zur Veranschaulichung einer Abdeckung einer Iris durch einen Limbus,
4 ein Blockdiagramm einer Vorrichtung gemäß einem Ausführungsbeispiel,
5 eine Darstellung einer Kameraeinrichtung gemäß einem Ausführungsbeispiel, und
6 ein Flussdiagramm eines Verfahrens gemäß einem Ausführungsbeispiel.

The invention is explained in more detail below with reference to the accompanying drawings using exemplary embodiments. Show it:

1 a schematic representation of an eye,
2A and 2 B schematic representations of image recordings of an eye from different directions to illustrate glossy areas and an apparent deformation of the iris,
3A a cross-sectional view of an eye,
3B a part of a cross-sectional view of an eye to illustrate a cover of an iris by a limbus,
4th a block diagram of a device according to an embodiment,
5 a representation of a camera device according to an embodiment, and
6th a flowchart of a method according to an embodiment.

Im Folgenden werden Ausführungsbeispiele erläutert. Dabei wird zur Vermeidung von Wiederholungen auf die obigen Ausführungen Bezug genommen.Exemplary embodiments are explained below. To avoid repetition, reference is made to the above statements.

4 zeigt ein Blockdiagramm einer Vorrichtung zur 3D-Rekonstruktion eines Auges gemäß einem Ausführungsbeispiel. Die Vorrichtung der 4 umfasst eine Kameraeinrichtung 40 zum Erzeugen von mehreren Bildaufnahmen eines Augenbereichs einer Person und eine Recheneinrichtung 41 zum Bestimmen und Rendern einer 3D-Rekonstruktion eines Auges. Die Vorrichtung der 4 kann dabei Teil einer Vorrichtung sein, in der die Augenrekonstruktion benötigt wird, beispielsweise einer Zentriervorrichtung zur Bestimmung von Zentrierparametern, einer Vorrichtung zur Bildgebung zur Vorbereitung oder während der Durchführung einer chirurgischen Augenoperation oder dergleichen. 4th shows a block diagram of a device for 3D reconstruction of an eye according to an embodiment. The device of the 4th comprises a camera device 40 for generating several image recordings of a person's eye area and a computing device 41 for determining and rendering a 3D reconstruction of an eye. The device of the 4th can be part of a device in which the eye reconstruction is required, for example a centering device for determining centering parameters, a device for imaging in preparation for or during the performance of a surgical eye operation or the like.

Die Kameraeinrichtung 40 kann wie beschrieben mehrere einzelne feststehende Kameras umfassen oder auch eine oder mehrere Kameras umfassen, die entsprechend beweglich ist/sind. Bei einem Ausführungsbeispiel können Kameraeinrichtung 40 und Recheneinrichtung 41 in einem Smartphone oder Tablet-Computer angeordnet sein. Die Einrichtung 41 kann wie ebenfalls bereits beschrieben eine einzige Einheit oder mehrere miteinander kommunizierende Einheiten, beispielsweise über ein Netzwerk kommunizierende Einheiten, umfassen. So kann das Bestimmen der 3D-Rekonstruktion und das Rendern der 3D-Rekonstruktion auch in verschiedenen Einheiten stattfinden.The camera setup 40 can, as described, comprise several individual fixed cameras or also comprise one or more cameras that are correspondingly movable. In one embodiment, camera devices 40 and computing device 41 be arranged in a smartphone or tablet computer. The establishment 41 can, as also already described, comprise a single unit or a plurality of units communicating with one another, for example units communicating via a network. The determination of the 3D reconstruction and the rendering of the 3D reconstruction can thus also take place in different units.

Ein Beispiel für eine Kameraeinrichtung 50 mit einer Vielzahl fest zueinander positionierter Kameras ist in der 5 gezeigt. Bei der Kameraeinrichtung 50 der 5 ist eine halbkreisförmige Komponente 52 höhenverstellbar an einer Säule 51 angeordnet. In dem bogenförmigen Element 52 sind Kameras 53, 54 angeordnet, wobei eine Kamera 53 eine Augenpartie eines Kopfes im Wesentlichen frontal von vorne und Kameras 54 den Kopf aus verschiedenen Betrachtungswinkeln schräg oder seitlich aufnehmen. Die Kameraeinrichtung 50 ist in der WO 2018 / 220 203 A1 der Anmelderin näher beschrieben und dient dort als Kameraeinrichtung für die Bestimmung von Zentrierparametern. Erfindungsgemäß kann diese Kameraeinrichtung 50 auch zur Bereitstellung von Bildaufnahmen einer Augenpartie aus verschiedenen Betrachtungswinkeln zur Erstellung einer 3D-Rekonstruktion von Augen mit den hier diskutierten Verfahren dienen. Der Kopf der Person wird hierzu in das halbkreisförmige Element 52 angeordnet.An example of a camera setup 50 with a large number of cameras firmly positioned to one another is in the 5 shown. When setting up the camera 50 the 5 is a semicircular component 52 height adjustable on a column 51 arranged. In the arched element 52 are cameras 53 , 54 arranged, with a camera 53 an eye area of a head essentially frontal from the front and cameras 54 record the head at an angle or from the side. The camera setup 50 is in the WO 2018/220 203 A1 closer to the applicant and is used there as a camera device for determining centering parameters. According to the invention, this camera device 50 also serve to provide image recordings of an eye area from different viewing angles for creating a 3D reconstruction of eyes using the methods discussed here. The head of the person is for this purpose in the semicircular element 52 arranged.

Die 6 zeigt ein Verfahren gemäß einem Ausführungsbeispiel, welches in Form eines Computerprogramms auf der Recheneinrichtung 41 der 4 implementiert sein kann. Die Reihenfolge der Schritte in 6 ist nicht einschränkend, da verschiedene der dargestellten Schritte auch in anderer Reihenfolge durchgeführt werden können.the 6th shows a method according to an embodiment, which is in the form of a computer program on the computing device 41 the 4th can be implemented. The order of the steps in 6th is not restrictive, since various of the steps shown can also be carried out in a different order.

In Schritt 60 werden Bildaufnahmen einer Augenregion einer Person aus verschiedenen Betrachtungswinkeln bereitgestellt. Beispielsweise werden die Bildaufnahmen mit der Kameraeinrichtung 40 der 4 oder der Kameraeinrichtung 50 der 5 aufgenommen.In step 60 image recordings of a region of the eye of a person are provided from different viewing angles. For example, the image recordings are made with the camera device 40 the 4th or the camera setup 50 the 5 recorded.

In Schritt 61 umfasst das Verfahren ein Identifizieren von Irisbereichen in den in Schritt 60 bereitgestellten Bildaufnahmen, wie dies obenstehend erläutert wurde.In step 61 the method comprises identifying iris areas in the in step 60 provided image recordings, as explained above.

In Schritt 62 umfasst das Verfahren eine Extraktion der Iristextur aus der frontalsten Bildaufnahme. Dabei können vorher Glanzstellen in der Iris identifiziert werden und durch andere Bildaufnahmen mit Textur versehen werden (so dass die Iristextur aus mehreren Bildaufnahmen zusammengesetzt wird), und/oder es kann eine Bildaufnahme mit keinen oder möglichst wenigen Glanzstellen für die Extraktion der Iristextur aus mehreren relativ frontalen Bildaufnahmen (z.B. aus einem Winkelbereich von +/- 30° oder +/- 15° um eine Blickrichtung des jeweiligen Auges herum) ausgewählt werden, wie dies ebenfalls oben erläutert wurde.In step 62 the method comprises an extraction of the iris texture from the most frontal image recording. Shine areas in the iris can be identified beforehand and provided with texture by other image recordings (so that the iris texture is composed of several image recordings), and / or an image record with no or as few shiny areas as possible for the extraction of the iris texture from several relatively frontal image recordings (for example from an angular range of +/- 30 ° or +/- 15 ° around a viewing direction of the respective eye) can be selected, as was also explained above.

In Schritt 63 umfasst das Verfahren ein Ermitteln von Sklerabereichen. Dies kann zusammen mit dem Identifizieren von Irisbereichen in Schritt 61 erfolgen, wie dies bereits erläutert wurde. In Schritt 64 werden Glanzstellen in den Sklerabereichen identifiziert, und in Schritt 65 wird die Sklera auf Basis der Bildaufnahmen rekonstruiert, wobei Bereiche mit Glanzstellen außer Acht gelassen oder weniger stark gewichtet werden, wie dies ebenfalls beschrieben ist.In step 63 the method includes determining areas of sclera. This can be done along with identifying areas of the iris in step 61 take place as already explained. In step 64 glossy areas are identified in the scleral areas, and in step 65 the sclera is reconstructed on the basis of the image recordings, whereby areas with glossy areas are disregarded or less heavily weighted, as is also described.

In Schritt 66 wird ein Augenmodell bereitgestellt. Dieses kann wie oben beschrieben ein generisches Augenmodell sein oder ein Augenmodell, welches ganz oder teilweise auf Daten über die Person, beispielsweise Refraktionsdaten aus einem Brillenpass oder OCT-Aufnahmen, beruht. Auch kann ein oder mehrere Hornhautteile des z.B. emmetropen Augenmodells wie oben beschrieben basierend auf den Bildaufnahmen angepasst werden.In step 66 an eye model is provided. As described above, this can be a generic eye model or an eye model which is based entirely or partially on data about the person, for example refraction data from a glasses passport or OCT recordings. One or more corneal parts of the emmetropic eye model, for example, can also be adapted as described above based on the image recordings.

In Schritt 67 wird die in Schritt 62 extrahierte Iristextur auf das Augenmodell angewendet. Liegt zusätzliche Information über die Cornea vor (aus Brillenpass oder OCT), so kann dies bei der Zuordnung der Iristexturen aus verschiedenen Bildern mitberücksichtigt werden; dadurch werden Texturkombinationen (wie z.B. für das „Ausfüllen“ der Glanzstellen) hochwertiger, da die Merkmalszuordnung robuster istIn step 67 will the in step 62 extracted iris texture applied to the eye model. If additional information about the cornea is available (from glasses passport or OCT), this can be taken into account when assigning the iris textures from different images; as a result, texture combinations (such as for “filling in” the glossy areas) are of higher quality, since the attribute assignment is more robust

In Schritt 68 wird die in Schritt 65 rekonstruierte Sklera auf das Augenmodell angewendet.In step 68 will the in step 65 reconstructed sclera applied to the eye model.

Basierend auf der so erfolgten Rekonstruktion in Form des Augenmodells wird in Schritt 69 das Auge in einer Anwendung, wo die Bilddarstellung des Auges benötigt wird, gerendert, wobei die Brechkraft der Cornea wie beschrieben berücksichtigt wird. Auf diese Weise kann eine realistische Darstellung erreicht werden.Based on the reconstruction in the form of the eye model, step 69 the eye is rendered in an application where the imaging of the eye is required, taking into account the refractive power of the cornea as described. In this way a realistic representation can be achieved.

Manche Ausführungsformen werden durch die folgenden Klauseln definiert:

Klausel 1. Verfahren zur 3D-Rekonstruktion eines Auges (10), umfassend:
- Bereitstellen von Bildaufnahmen einer Augenregion einer Person aus verschiedenen Betrachtungswinkeln,
- Bereitstellen eines Augenmodells, und
- Bestimmen der 3D-Rekonstruktion auf Basis der Bildaufnahmen und des Augenmodells, dadurch gekennzeichnet, dass das Augenmodell eine Form einer Cornea (30) beinhaltet, und dass das Verfahren ein Rendern des Auges basierend auf dem Augenmodell unter Berücksichtigung der Brechkraft der Cornea (30) entsprechend dem Augenmodell umfasst.
Klausel 2. Verfahren nach Klausel 1, wobei das Augenmodell ein Augenmodell eines emmetropen Auges ist.
Klausel 3. Verfahren nach Klausel 1, wobei eine Brechkraft der Cornea (30) des Augenmodells auf Basis von Daten über das Auge der Person angepasst wird.
Klausel 4. Verfahren nach Klausel 1, wobei eine Brechkraft der Cornea (30) des Augenmodells auf Basis der Bildaufnahmen angepasst wird.
Klausel 5. Verfahren nach einem der Klauseln 1 bis 4, weiter umfassend Extrahieren einer Iristextur aus einer frontalsten Bildaufnahmen der Bildaufnahmen, und Anwenden der Iristextur auf eine Iris des Augenmodells.
Klausel 6. Verfahren nach Klausel 5, weiter umfassend Identifizieren von Glanzstellen in Irisbereichen (12) der Bildaufnahmen, und Beheben von Glanzstellen in der Iristextur auf Basis der Vielzahl von Bildaufnahmen.
Klausel 7. Verfahren nach einem der Klauseln 1 bis 6, weiterhin umfassend Identifizieren von Sklerabereichen (11) in den Bildaufnahmen, Rekonstruieren der Sklera auf Basis der identifizierten Sklerabereiche (11), und Anwenden der rekonstruierten Sklera auf das Augenmodell.
Klausel 8. Verfahren nach Klausel 7, weiter umfassend Identifizieren von Glanzstellen in den Sklerabereichen (11), und Unterdrücken der Glanzstellen bei der Rekonstruktion der Sklera.
Klausel 9. Verfahren nach einem der Klauseln 1 bis 8, wobei das Bereitstellen der Bildaufnahmen ein Aufnehmen der Bildaufnahmen mit einer Vielzahl von Kameras (53, 54), die an verschiedenen Positionen angeordnet sind, umfasst.
Klausel 10. Verfahren nach einem der Klauseln 1 bis 8, wobei das Bereitstellen der Bildaufnahmen ein Aufnehmen der Bildaufnahmen mit einer Kameraeinrichtung (40), die zu den verschiedenen Betrachtungswinkeln bewegt wird, umfasst.
Klausel 11. Verfahren nach Klausel 10, wobei das Verfahren ein Bestimmen der Betrachtungswinkel auf Basis von Sensordaten der Kameraeinrichtung (40) umfasst.
Klausel 12. Verfahren nach Klausel 10, wobei das Verfahren ein Bestimmen der Betrachtungswinkel basierend auf einer 3D-Rekonstruktion des Gesichtes der Person basierend auf den Bildaufnahmen umfasst.
Klausel 13. Verfahren nach einem der Klauseln 10 bis 12, wobei die Betrachtungswinkel in einem Bereich kleiner als 45° liegen.
Klausel 14. Verfahren nach einem der Klauseln 1 bis 13, wobei das Bestimmen der 3D-Rekonstruktion unter Berücksichtigung einer Verdeckung der Irisbereiche (12) durch einen Limbus in Abhängigkeit von dem Betrachtungswinkel erfolgt.
Klausel 15. Vorrichtung zur 3D-Rekonstruktion des Auges, umfassend Mittel zur Durchführung des Verfahrens nach einem der Klauseln 1 bis 14.
Klausel 16. Vorrichtung zur 3D-Rekonstruktion eines Auges (10), umfassend:
- Mittel zum Bereitstellen von Bildaufnahmen einer Augenregion einer Person aus verschiedenen Betrachtungswinkeln,
- Mittel zum Bereitstellen eines Augenmodells, und
- Mittel zum Bestimmen der 3D-Rekonstruktion auf Basis der Bildaufnahmen und des Augenmodells, dadurch gekennzeichnet, dass das Augenmodell eine Form einer Cornea (30) beinhaltet, und dass die Vorrichtung Mittel zum Rendern des Auges basierend auf dem Augenmodell unter Berücksichtigung der Brechkraft der Cornea (30) entsprechend dem Augenmodell umfasst.
Klausel 17. Vorrichtung nach Klausel 16, wobei das Augenmodell ein Augenmodell eines emmetropen Auges ist.
Klausel 18. Vorrichtung nach Klausel 16, wobei die Vorrichtung Mittel zum Anpassen einer Brechkraft der Hornhaut des Augenmodells auf Basis von Daten über das Auge der Person umfasst.
Klausel 19. Vorrichtung nach Klausel 16, wobei die Vorrichtung Mittel zum Anpassen einer Brechkraft der Hornhaut des Augenmodells auf Basis der Bildaufnahmen umfasst.
Klausel 20. Vorrichtung nach einem der Klauseln 16 bis 19, weiter umfassend Mittel zum Extrahieren einer Iristextur aus einer frontalsten Bildaufnahmen der Bildaufnahmen, und Anwenden der Iristextur auf eine Iris des Augenmodells.
Klausel 21. Vorrichtung nach Klausel 20, weiter umfassend Mittel zum Identifizieren von Glanzstellen in Irisbereichen der Bildaufnahmen, und Beheben von Glanzstellen in der Iristextur auf Basis der Vielzahl von Bildaufnahmen.
Klausel 22. Vorrichtung nach einem der Klauseln 16 bis 21, weiterhin umfassend Mittel zum Identifizieren von Sklerabereichen (11) in den Bildaufnahmen, Mittel zum Rekonstruieren der Sklera auf Basis der identifizierten Sklerabereiche, und Mittel zum Anwenden der rekonstruierten Sklera auf das Augenmodell.
Klausel 23. Vorrichtung nach Klausel 22, weiter umfassend Mittel zum Identifizieren von Glanzstellen in den Sklerabereichen (11), und Mittel zum Unterdrücken der Glanzstellen bei der Rekonstruktion der Sklera.
Klausel 24. Vorrichtung nach einem der Klauseln 16 bis 23, wobei die Mittel zum Bereitstellen der Bildaufnahmen Mittel zum Aufnehmen der Bildaufnahmen mit einer Vielzahl von Kameras (53, 54), die an verschiedenen Positionen angeordnet sind, umfassen.
Klausel 25. Vorrichtung nach einem der Klauseln 16 bis 23, wobei die Mittel zum Bereitstellen der Bildaufnahmen Mittel zum Aufnehmen der Bildaufnahmen mit einer Kameraeinrichtung (40), die zu verschiedenen Betrachtungswinkeln bewegt wird, umfassen.
Klausel 26. Vorrichtung nach Klausel 25, wobei die Vorrichtung Mittel zum Bestimmen der Betrachtungswinkel auf Basis von Sensordaten der Kameraeinrichtung (40) umfasst.
Klausel 27. Vorrichtung nach Klausel 25, wobei die Vorrichtung Mittel zum Bestimmen der Betrachtungswinkel basierend auf einer 3D-Rekonstruktion des Gesichtes der Person basierend auf den Bildaufnahmen umfasst.
Klausel 28. Vorrichtung nach einem der Klauseln 16 bis 27, wobei die Betrachtungswinkel in einem Bereich kleiner als 45° liegen.
Klausel 29. Vorrichtung nach einem der Klauseln 16 bis 28, wobei Mittel zum Bestimmen der 3D-Rekonstruktion Mittel zum Bestimmen der 3D-Rekonstruktion unter Berücksichtigung einer Verdeckung der Irisbereiche (12) durch einen Limbus in Abhängigkeit von dem Betrachtungswinkel umfassen.
Klausel 30. Computerprogramm mit einem Programmcode, das, wenn es auf einer Recheneinrichtung (41) ausgeführt wird, bewirkt, dass das Verfahren nach einem der Klauseln 1 bis 15 durchgeführt wird.
Klausel 31. Datenträger mit dem Computerprogramm nach Klausel 30.
Klausel 32. Datensignal, das das Computerprogramm nach Klausel 30 überträgt.

Some embodiments are defined by the following clauses:

clause 1 . Procedure for the 3D reconstruction of an eye ( 10 ), full:
- Providing image recordings of a person's eye region from different viewing angles,
- Providing an eye model, and
- Determination of the 3D reconstruction on the basis of the image recordings and the eye model, characterized in that the eye model has a shape of a cornea ( 30th ), and that the method includes a rendering of the eye based on the eye model, taking into account the refractive power of the cornea ( 30th ) according to the eye model.
clause 2 . Procedure by clause 1 wherein the eye model is an eye model of an emmetropic eye.
clause 3 . Procedure by clause 1 , whereby a refractive power of the cornea ( 30th ) of the eye model is adjusted based on data about the person's eye.
clause 4th . Procedure by clause 1 , whereby a refractive power of the cornea ( 30th ) of the eye model is adjusted on the basis of the image recordings.
clause 5 . Procedure according to one of the clauses 1 until 4th , further comprising extracting an iris texture from a most frontal image record of the image recordings, and applying the iris texture to an iris of the eye model.
clause 6th . Procedure by clause 5 , further comprehensive identification of glossy areas in iris areas ( 12th ) of the image recordings, and removal of glossy areas in the iris texture on the basis of the large number of image recordings.
clause 7th . Procedure according to one of the clauses 1 until 6th , further comprehensive identification of scleral areas ( 11 ) in the images, reconstruction of the sclera on the basis of the identified scleral areas ( 11 ), and applying the reconstructed sclera to the eye model.
clause 8th . Procedure by clause 7th , further comprehensive identification of glossy areas in the scleral areas ( 11 ), and suppression of the shiny areas in the reconstruction of the sclera.
clause 9 . Procedure according to one of the clauses 1 until 8th , whereby the provision of the image recordings involves taking the image recordings with a large number of cameras ( 53 , 54 ) arranged at different positions.
clause 10 . Procedure according to one of the clauses 1 until 8th whereby the provision of the image recordings involves taking the image recordings with a camera device ( 40 ), which is moved to the different viewing angles.
clause 11 . Procedure by clause 10 , wherein the method involves determining the viewing angles on the basis of sensor data from the camera device ( 40 ) includes.
clause 12th . Procedure by clause 10 wherein the method comprises determining the viewing angles based on a 3D reconstruction of the face of the person based on the image recordings.
clause 13th . Procedure according to one of the clauses 10 until 12th , the viewing angles are in a range smaller than 45 °.
clause 14th . Procedure according to one of the clauses 1 until 13th , whereby the determination of the 3D reconstruction taking into account the obscuration of the iris areas ( 12th ) occurs through a limbus depending on the viewing angle.
clause 15th . Device for 3D reconstruction of the eye, comprising means for performing the method according to one of the clauses 1 until 14th .
clause 16 . Device for the 3D reconstruction of an eye ( 10 ), full:
- Means for providing image recordings of a region of the eye of a person from different viewing angles,
- Means for providing an eye model, and
- Means for determining the 3D reconstruction on the basis of the image recordings and the eye model, characterized in that the eye model has a shape of a cornea ( 30th ) includes, and that the device includes means for rendering the eye based on the eye model taking into account the refractive power of the cornea ( 30th ) according to the eye model.
clause 17th . Device according to clause 16 wherein the eye model is an eye model of an emmetropic eye.
clause 18th . Device according to clause 16 wherein the device comprises means for adjusting a refractive power of the cornea of the eye model on the basis of data about the eye of the person.
clause 19th . Device according to clause 16 wherein the device comprises means for adapting a refractive power of the cornea of the eye model on the basis of the image recordings.
clause 20th . Device according to one of the clauses 16 until 19th , further comprising means for extracting an iris texture from a most frontal image record of the image recordings, and applying the iris texture to an iris of the eye model.
clause 21 . Device according to clause 20th , further comprising means for identifying shiny areas in iris areas of the image recordings, and eliminating shiny areas in the iris texture on the basis of the plurality of image recordings.
clause 22nd . Device according to one of the clauses 16 until 21 , further comprising means for identifying scleral areas ( 11 ) in the image recordings, means for reconstructing the sclera on the basis of the identified sclera areas, and means for applying the reconstructed sclera to the eye model.
clause 23 . Device according to clause 22nd , further comprising means for identifying shiny spots in the scleral areas ( 11 ), and means for suppressing the shiny areas in the reconstruction of the sclera.
clause 24 . Device according to one of the clauses 16 until 23 , wherein the means for providing the image recordings means for recording the image recordings with a plurality of cameras ( 53 , 54 ) arranged in different positions.
clause 25th . Device according to one of the clauses 16 until 23 , wherein the means for providing the image recordings means for recording the image recordings with a camera device ( 40 ) that is moved to different viewing angles.
clause 26th . Device according to clause 25th , wherein the device has means for determining the viewing angle on the basis of sensor data from the camera device ( 40 ) includes.
clause 27 . Device according to clause 25th wherein the device comprises means for determining the viewing angles based on a 3D reconstruction of the face of the person based on the image recordings.
clause 28 . Device according to one of the clauses 16 until 27 , the viewing angles are in a range smaller than 45 °.
clause 29 . Device according to one of the clauses 16 until 28 , wherein means for determining the 3D reconstruction means for determining the 3D reconstruction taking into account an occlusion of the iris areas ( 12th ) by a limbus depending on the viewing angle.
clause 30th . Computer program with a program code that, when it is run on a computing device ( 41 ) is executed, causes the procedure according to one of the clauses 1 until 15th is carried out.
clause 31 . Data carrier with the computer program according to clause 30th .
clause 32 . Data signal that the computer program according to clause 30th transmits.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 7835568 B2 [0002, 0018]
US 2015/0055085 A1 [0002]
WO 2018/220203 A1 [0002, 0006, 0052]
US 8958608 B2 [0018]
US 9649026 B2 [0018]
US 10105049 B2 [0018]
US 10217275 B2 [0018]
US 9245344 B2 [0035]

Zitierte Nicht-PatentliteraturNon-patent literature cited

Fedtke C., Manns F., Ho A. "The entrance pupil of the human eye: a three-dimensional model as a function of viewing angle", Optics Express, 2010 [0015]
Mathur A., Gehrmann J. & Atchison DA. "Pupil shape as viewed along the horizontal visual field" J Vis 2013 [0015]
T.M. Nejad et al., "Finite element modeling of cornea mechanics: a review," Arq. Bras. Oftalmol. vol.77 no.1 Sao Paulo Jan./Feb. 2014 [0024]
"Optical models for human myopic eyes", Vis. Res. Vol. 46, 2236-2250 (2006) [0025]
H.-L. Liou et al., "Anatomically accurate, finite model eye for optical modeling", Journal of the Optical Society of America A, Vol. 14 (8) 1684-1695 (1997) [0025]
"The Optical Design of the Human Eye: Critical Review," J. Optom. 2009 [0026]
DIN EN ISO 13666: 2019-12 [0030]
C.K. Leung et al., “Comparisons of anterior segment biometry between Chinese and Caucasians using anterior segment optical coherence tomography”, Br J Ophtalmol Vol. 94, 1184-1189 (2010) [0033]
S.-H. Jung and C. Taylor "Camera trajectory estimation using inertial sensor measurements and structure for motion results", Proceedings of the IEEE Computer Society, Conference on Computer Vision and Pattern Recognition, Vol 2, 2001 [0045]
"Simultaneous Localization and Mapping" in the German language Wikipedia, as of January 27, 2019 [0045]

Claims

A method for 3D reconstruction of an eye, comprising: providing image recordings of a person's eye region from different viewing angles, providing an eye model, and determining the 3D reconstruction on the basis of the image recordings and the eye model, characterized in that the eye model has a shape a cornea (30), and that the method comprises rendering the eye based on the eye model taking into account the refractive power of the cornea (30) corresponding to the eye model.

Procedure according to Claim 1 wherein the eye model is an eye model of an emmetropic eye.

Procedure according to Claim 1 wherein a refractive power of the cornea (30) of the eye model is adjusted on the basis of data about the person's eye.

Procedure according to Claim 1 , wherein a refractive power of the cornea (30) of the eye model is adjusted on the basis of the image recordings.

Method according to one of the Claims 1 until 4th , further comprising extracting an iris texture from a most frontal image record of the image recordings, and applying the iris texture to an iris of the eye model.

Procedure according to Claim 5 , further comprising identifying shiny areas in iris areas (12) of the image recordings, and eliminating shiny areas in the iris texture on the basis of the plurality of image recordings.

Method according to one of the Claims 1 until 6th , further comprising identifying sclera areas (11) in the image recordings, reconstructing the sclera on the basis of the identified sclera areas (11), and applying the reconstructed sclera to the eye model.

Procedure according to Claim 7 , further comprising identifying shiny spots in the sclera areas (11), and suppressing the shiny spots during the reconstruction of the sclera.

Method according to one of the Claims 1 until 8th wherein the provision of the image recordings comprises recording the image recordings with a plurality of cameras (53, 54) which are arranged at different positions.

Method according to one of the Claims 1 until 8th wherein the provision of the image recordings comprises recording the image recordings with a camera device (40) which is moved to the different viewing angles.

Procedure according to Claim 10 wherein the method comprises determining the viewing angles on the basis of sensor data from the camera device (40).

Procedure according to Claim 10 wherein the method comprises determining the viewing angles based on a 3D reconstruction of the face of the person based on the image recordings.

Method according to one of the Claims 1 until 12th , the viewing angles are in a range smaller than 45 °.

Method according to one of the Claims 1 until 13th , the determination of the 3D reconstruction taking into account the obscuration of the iris regions (12) by a limbus as a function of the viewing angle.

Device for 3D reconstruction of the eye, comprising means for performing the method according to one of the Claims 1 until 14th .