-
Die Erfindung betrifft ein Verfahren
zur Mikroskopie.
-
Ferner betrifft die Erfindung eine
Anordnung zur Mikroskopie, wobei die Anordnung mindesten ein Mikroskopobjektiv,
eine Detektoreinheit zum Aufnehmen von Bildern einer Probe, einem
Display zum Darstellen der von der Detektoreinheit aufgenommenen
Bilder der Probe, und einem Rechnersystem zum Steuern des Mikroskops
und der Datenaufnahme umfasst.
-
In der Mikroskopie bzw. in der Konfokalmikroskopie
ist der Benutzer bisher gezwungen selbst die Parameter festzulegen,
die zur 3-dimensionalen Erfassung einer Struktur erforderlich sind.
Dies ist für einen
unerfahrenen Benutzer oftmals sehr schwierig oder kaum möglich, da
das hierzu erforderliche Vorstellungsvermögen fehlt. Selbst eine erfahrener
Benutzer kann oft Strukturen innerhalb einer Probe anhand optischer
Sektioinen nicht finden, so dass es zu einen unvollständigen Erfassen
der gewünschten Struktur
kommt.
-
Der Erfindung liegt die Aufgabe zugrunde
ein Verfahren zu schaffen, das die durch weitgehende Automatisierung
die Benutzerfreundlichkeit und die Ergonomie eines Mikroskopsystems
erhöht
und die 3-dimensionale Erfassung von Objekten optimiert.
-
Die objektive Aufgabe wird durch
ein Verfahren gelöst,
das die Merkmale des Patentanspruchs 1 aufweist.
-
Der Erfindung liegt die Aufgabe zugrunde eine
Anordnung zu schaffen, die durch weitgehende Automatisierung die
Benutzerfreundlichkeit und die Ergonomie eines Mikroskopsystems
erhöht
und die 3-dimensionale Erfassung von Objekten optimiert.
-
Diese objektive Aufgabe wird durch
eine Anordnung gelöst,
die die Merkmale des Patentanspruchs 9 aufweist.
-
Es ist besonders vorteilhaft, dass
ein Mittel zum Bestimmen des interessierenden Bereiches einer Probe
vorgesehen ist. Ferner umfasst das Rechnersystem ein Mittel zum
automatischen Erfassen des gesamten markierten Probenbereiches im Raum.
Die gesamte 3-dimensionale Ausdehnung einer gewählten Struktur kann somit automatisch
erfolgen und der Benutzer braucht hierzu nicht unbedingt Kenntnisse über die
räumliche
Ausdehnung der Struktur und nur ein minimales räumliches Vorstellungsvermögen. Der
Benutzer kann die interessierende Struktur z.B. mit einem Fadenkreuz
markieren, wobei das Fadenkreuz dem Bild der Probe auf dem Display überlagert
ist. Eine andere vorteilhafte Lösung
ist, dass das Mittel zum Bestimmen des interessierenden Bereiches
ein Mauszeiger ist, mit dem der interessierende Bereich der Probe
auf dem Display umfahrbar ist.
-
Das Verfahren ist vorteilhaft, da
es ein automatisches Erfassen des gesamten markierten Probenbereiches
im Raum, also 3-dimensional, ermöglicht.
Das Extrahieren des interessierenden Bereiches einer Probe aus einem
Schnittbild erfolgt mittels Bildanalyse und daraus wird eine Liste
von Objektpositionen innerhalb des Schnnittbildes aufbaut. Anschließend wird
eine Liste von möglichen
weiteren Objektpositionen ausserhalb des Schnittbildes definiert.
Diese wird suzessive getestet indem die möglichen Objektpositionen vom
Mikroskop angefahren, aufgenommen und auf Objektzugehörigkeit
getestet werden. Hierzu erfolgt sequentiell die Selektion einer Teilliste
der möglichen
weiteren Objektpositionen, die vom Mikroskop parallel aufgenommen
werden können.
Zu dieser Liste erfolgt das Anfahren einer Mikroskopposition, die
die Aufnahme einer Szene ermöglicht,
in der alle möglichen
Objektpositionen der Teilliste sichtbar sind. Nach dem Durchführen einer Datenaufnahme
erfolgt der Abgleich der Teilliste der möglichen Objektpositionen mit
den aufgenommenen Daten und folglich die Elimination aller nicht
zum Objekt gehörenden
möglichen
Objektpositionen und das Speichern der zum Objekt gehörenden Objektpositionen
und Intensitätswerte.
-
Weitere vorteilhafte Ausgestaltungen
der Erfindung können
den Unteransprüchen
entnommen werden.
-
In der Zeichnung ist der Erfindungsgegenstand
schematisch dargestellt und wird anhand der Figuren nachfolgend
beschrieben. Dabei zeigen:
-
1 eine
schematische Darstellung eines Scanmikroskops;
-
2 eine
erste Variante der Auswahl einer gewünschten Struktur auf einem
Display;
-
3 eine
zweite Variante der Auswahl einer gewünschten Struktur auf einem
Display;
-
4 eine
schematische Darstellung 3-dimensionale Darstellung der gewünschten
Struktur in einem Probenvolumen;
-
5a eine
graphische Darstellung einer ersten Ebene, die die gewünschte Struktur
schneidet,
-
5b eine
graphische Darstellung einer zweiten Ebene, die die gewünschte Struktur
schneidet;
-
5c eine
graphische Darstellung einer dritten Ebene, die die gewünschte Struktur
schneidet; und
-
5d eine
graphische Darstellung einer vierten Ebene, die die gewünschte Struktur
schneidet.
-
In 1 ist
das Ausführungsbeispiel
eines konfokalen Scanmikroskops 100 schematisch gezeigt.
Dies soll jedoch nicht als Beschränkung der Erfindung aufgefasst
werden. Es ist dem Fachmann hinlänglich
klar, dass die Erfindung auch mit einem konventionellen Mikroskopsystem
realisiert werden kann. Der von mindestens einem Beleuchtungssystem 1 kommende
Beleuchtungslichtstrahl 3 wird von einem Strahlteiler oder
einem geeigneten Umlenkmittel 5 zu einem Scanmodul 7 geleitet.
Bevor der Beleuchtungslichtstrahl 3 auf das Umlenkmittel 5 trifft,
passiert dieser ein Beleuchtungspinhole 6. Das Scanmodul 7 umfasst
einen kardanisch aufgehängten
Scanspiegel 9, der den Beleuchtungslichtstrahl 3 durch
eine Scanoptik 12 und ein Mikroskopobjektiv 13 hindurch über bzw.
durch ein Probe 15 führt.
Der Beleuchtungslichtstrahl 3 wird bei nicht transparenten
Objekten 15 über
die Objektoberfläche
geführt. Bei
biologischen Proben 15 (Präparaten) oder transparenten
Objekten kann der Beleuchtungslichtstrahl 3 auch durch
das Probe 15 geführt
werden. Zu diesen Zwecken werden nichtleuchtende Präparate ggf. mit
einem geeigneten Farbstoff präpariert
(nicht dargestellt, da etablierter Stand der Technik). Die in dem Objekt
vorhandenen Farbstoffe werden durch den Beleuchtungslichtstrahl 3 angeregt
und senden Licht in einem ihnen eigenen charakteristischen Bereich des
Spektrums aus. Dieses von der Probe 15 ausgehende Licht
definiert einen Detektionslichtstrahl 17. Dieser gelangt
durch die Mikroskopobjektiv 13, die Scanoptik 12 und über das
Scanmodul 7 zum Umlenkmittel 5, passiert dieses
und gelangt über
ein Detektionspinhole 18 auf mindestens einer Detektoreinheit 19,
der als Photomultiplier ausgeführt
ist. Es ist dem Fachmann klar, dass auch andere Detektionskomponenten,
wie z.B. Dioden, Diodenarrays, Photomultiplierarrays, CCD Chips
oder CMOS Bildsensoren eingesetzt werden können. Der von der Probe 15 ausgehende
bzw. definierte Detektionslichtstrahl 17 ist in 1 als gestrichelte Linie
dargestellt. Im Detektor 19 werden elektrische, zur Leistung
des vom Objekt 15 ausgehenden Lichtes, proportionale Detektionssignale
erzeugt. Da, wie bereits oben erwähnt, von der Probe 15 Licht
nicht nur einer Wellenlänge
ausgesandt wird, ist es sinnvoll vor der mindestens einen Detektoreinheit 19 ein
Selektionsmittel 21 für
das von der Probe 15 ausgehende Spektrum einzufügen. Die
von der Detektoreinheit 19 erzeugten Daten werden an ein
Rechnersystem 23 weitergegeben. Dem Rechnersystem 23 ist
mindestens ein Peripheriegerät 27 zugeordnet.
Ein Peripheriegerät
ist als Display 32 ausgebildet, auf dem der Benutzer Hinweise
zur Einstellung des Scanmikroskops erhält, den aktuellen Setup und
auch die Bilddaten in graphischer Form entnehmen kann. Ferner ist
mit dem Rechnersystem 23 ein Eingabemittel zugeordnet, das
z.B. aus einer Tastatur 28, einer Einstellvorrichtung 29 für die Komponenten
des Mikroskopsystems und einer Maus 30 besteht.
-
In 2 ist
das Display 32 mit einem auf dem Display 32 wiedergegebenen
strukturierten 33 des Objekts 15 dargestellt.
Die strukturierte 33 der Probe 15 repräsentierte
eine Ebene in der Probe 15, auf die gerade das Mikroskopobjektiv 13 fokussiert
ist. Der Benutzer wählt
im kontinuierlichen Scanbetrieb z.B. diese eine Ebene, die ihm die gewünschte Struktur 34 zeigt.
Zum Auffinden der gewünschten
Struktur 34 helfen dem Benutzer ggf. Autofokus und Autogain
Einstellungen, die das Mikroskopsystem per se vorweist. Zum Zielen
auf die gewünschten
Struktur 34 ist im Display 32 ein Fadenkreuz 35 überlagert.
Somit kann der Benutzer aus der strukturierten 33 der
Probe 15 das erste Bild gewinnen, das die gewünschten
Struktur 34 enthält. Das
Rechnersystem umfasst ein Mittel 25 zum automatischen Erfassen
des gesamten markierten Probenbereiches. Das Mittel 25 zum
automatischen Erfassen des gesamten markierten Probenbereiches im
Raum in Form von Hardware und Software ausgestaltet sein. In einer
weiteren Ausführungsform
ist das Mittel 25 zum automatischen Erfassen des gesamten
markierten Probenbereiches im Raum in Form eines Softwaremoduls
realisiert.
-
In 3 ist
ein anderes Ausführungsbeispiel zum
Auswählen
einer gewünschten
Struktur 34 dargestellt. Der Benutzer wählt im kontinuierlichen Scanbetrieb
z.B. diese eine Ebene, die ihm die gewünschte Struktur 34 zeigt.
Zum Markieren der gewünschten
Struktur 34 kann der Benutzer um die gewünschten
Struktur 34 eine 36 zeichnen. Das Zeichnen oder
ziehen der geschlossenen Linie 36 kann z.B. mit der Maus
oder einem dafür
vorgesehenen Joystick erfolgen. Wird die Maus zum Zeichnen verwendet
so kann einem Mauszeiger 37 über einen Klick-Button auf
dem Display 32 eine Zeichenfunktion zugewiesen werden.
-
Wie bereits in der Beschreibung zu
den 2 und 3 dargelegt, wird die gewünschte Struktur 34 bzw.
der interessierende Bereich der Probe vom Benutzer ausgewählt. Das
Mikroskopsystem führt dann
ein automatisches Erfassen der gesamten markierten Probenbereiches
im Raum durch, d.h. dass die ausgewählte Struktur, und nur diese,
in allen drei Raumrichtungen x, y und z erfasst wird. In 4 ist die gewünschte und
vom Benutzer ausgewählte Struktur 34 in
einem umschließenden
Probenvolumen 40 dargestellt. Das Probenvolumen 40 und
somit auch die ausgewählte
Struktur 34 wird durch mehrere, gleich beabstandete Ebenen 421 , 422 , 423 und 424 geschnitten.
Die Ebenen 421 , 422 , 423 und 424 sind
dabei zur xy-Ebene 41 des Probenvolumens 40 parallel.
Der Benutzer wählt
eine Ebene innerhalb des Probenvolumens 40 aus. Die ausgewählte Ebene
entspricht der Ebene auf die da Mikroskopsystem fokussiert und die
auf dem Display 32 dargestellt interessierenden Bereiches
der Probe enthält.
Das Extrahieren des interessierenden Bereiches bzw. des ausgewählten Struktur
einer Probe erfolgt mittels Bildanalyse. Es wird eine Liste aufgebaut
die Objektpositionen enthält.
Die Objektpositionen sind durch die x-y Koordinaten im Bildframe
bestimmt. Die Lage der Ebenen bzw. deren Beabstandung ergibt sich
aus der optimalen z-Auflösung
des gerade verwendeten Mikroskopobjektivs 13. Durch eine
entsprechende Kodierung an den verwendbaren Objektiven kann das Rechnersystem 23 des
Mikroskopsystems automatisch die Berechnung der optimalen z-Auflösung des Mikroskopobjektivs 13 durchführen. Das
Anfahren Mikroskopposition, die die Aufnahme einer Szene ermöglicht wird
durch Mittel zum Anfahren 7, 38, 39 der Mikroskopposition
erreicht. Das Mittel zum Anfahren einer möglichen Mikroskopposition ist
durch eine Verstelleinrichtung 38 für das Mikroskopobjektiv 13 in z-Richtung
und einer Verstelleinrichtung 39 für den Mikroskoptisch in der
xy-Ebene ermöglicht.
Bei einem Scanmikroskop ist das Mittel zum Anfahren einer möglichen
Mikroskopposition ist durch eine Verstelleinrichtung 38 für das Mikroskopobjektiv 13 in z-Richtung
und das Scanmodul 7 realisiert, das die Probe 15 in
der xy-Ebene abscannt. Eine Kombination aus dem Scanmodul 7,
der Verstelleinrichtung 38 für das Mikroskopobjektiv 13 und
der Verstelleinrichtung 39 für den Mikroskoptisch ist ebenfalls
denkbar zum anfahren einer gewünschten
Mikroskopposition.
-
In den 5a bis 5d sind die einzelnen Ebenen 421 , 422 , 423 und 424 aus 4 in der Draufsicht dargestellt.
Die Ebenen 421 , 422 , 423 und 424 in
mehrere gleich große
Pixel 45 unterteilt. Die Pixel 45 haben eine endliche
Ausdehnung und stehen für
die Größe der aufeinander
folgenden Abtastbereiche. In den 5a bis 5d sind die Pixel 45 2-dimensional dargestellt.
Es ist jedoch selbstverständlich,
dass die Pixel auch als 3-dimensionale Voxel sein können. Der
Benutzer hat vielleicht auf die dritte Ebene 423 scharf
gestellt, so dass in dieser Ebene zunächst eine mögliche Objektposition 50 durch
eine geeignete Bildverarbeitung gefunden wird. Ausgehend von der
möglichen
Objektposition 50 werden weitere Objektpositionen 51 in
der nächsten
Nachbarschaft um die mögliche
Objektposition gesucht. Dabei beschränkt sich die Suche zunächst noch
auf die ausgewählte
Ebene 423 . Aus der Suche wird eine
Liste von möglichen
weiteren Objektpositionen erzeugt. Diese weiteren Objektpositionen 51 werden
nur dann mit dem Bezugszeichen 51 bezeichnet, wenn die weitere
Objektposition 51 innerhalb eines Pixels zumindest noch
ein Teil der gewählten
Struktur zu finden ist. Ausgehend von den weiteren Objektpositionen 51 verfährt man
in entsprechender Weise weiter und erzeugt zusätzliche Objektpositionen 52,
die ebenfalls zumindest noch einen der gewünschten Struktur enthalten.
Bezüglich
der Bezeichnung mit dem Bezugszeichen 52 gilt das gleiche
wie bei den mit 51 bezeichneten Objektpositionen. Ausgehend von
den Objektpositionen 52 werden Objektpositionen 53 gesucht.
Man fährt
so lange damit fort, bis man in der ausgewählten Ebene 423 keine
Pixel mehr finden kann, die zumindest ein Teil der gewählten Struktur
enthalten. Die Gesamtheit der Objektpositionen die einen Teil der
gewählten
Struktur 34 enthalten, werden in eine Teilliste von Objektpositionen
eingetragen, die vom Mikroskop parallel aufgenommen werden können. Dabei
wird beim Erstellen der Teilliste darauf geachtet, dass keine Doppelzählung der
Pixel mit einer gewünschten
Struktur 34 erfolgt. Schließlich kommt es zum Anfahren
einer Mikroskopposition, die die Aufnahme einer Szene ermöglicht,
in der alle möglichen
Objektpositionen der Teilliste sichtbar sind. Die Datenaufnahme
in der ausgewählten
Ebene 423 wird durchgeführt.
-
Wie bereits in 4 schematisch dargestellt, erstreckt
sich die gewünschte
Struktur 34 neben der bereits untersuchten Ebenen 423 aus auf die Ebenen 421 ,
und 422 . In der Ebene 424 findet das Verfahren keine Pixel,
in denen zumindest ein Teil der gewünschten Objektpositionen zu
finden ist. An Hand der in der Ebene 423 gefundenen
Objektpositionen 50, 51, 52, und 53 erfolgt
ein Erweitern der Liste von möglichen
Objektpositionen in den Ebenen 421 ,
und 422 . Ausgehend von der Objektposition
sucht das Verfahren bzw. Mikroskopsystem in der Ebene 424 nach weiteren möglichen Objektpositionen. Da
die Ebene 424 (5d) keine weiteren möglichen Objektpositionen enthält ist hier
lediglich die mögliche Objektposition 60 bezeichnet,
die der Objektposition 50 aus Ebene 423 gegenüberliegt.
Die Such nach möglichen Objektpositionen
kann in dieser Ebene abgebrochen werden, da keine weiteren Objektpositionen
gefunden werden, die die gewünschte
Struktur 34 enthalten.
-
Erstreckt man die Suche auch die über der Ebene 423 liegende Ebene 422 ,
so wählt
man ein Pixel mit der Objektposition 70, das der Objektposition 50 aus
der Ebene 423 entspricht. Da hier
ein Pixel gefunden wird, das zumindest einen Teil der gewünschten
Struktur 34 enthält,
wird für
dieses Pixel die Ziffer 70 eingetragen. Wie bereits oben
beschrieben erfolgt die Suche nach möglichen weiteren Objektpositionen,
in dem man ausgehend von der möglichen
Objektposition 70 die nächsten
Nachbarn untersucht. Dadurch erzielt man in der Ebene 422 weitere Objektpositionen 71, 72, 73,
und 74, die einen Teil der gewünschten Struktur 34 enthalten.
Dabei wird bei der Suchen nach den nächsten Nachbarn, die zumindest einen
Teil der gewünschten
Struktur enthalten darauf geachtet, dass es zu keinen Doppelzählungen kommt,
d.h. keine Objektpositionen in die Liste aufgenommen werden, die
bereits vorher in der Ebene als eine Objektposition bestimmt worden
sind.
-
Ausgehend von der Ebene 422 , wählt
man das Pixel mit der Objektposition 70 und erstrecht von hier
aus die Suche in der Ebene 421 .
Als Startpunkt einer möglichen
Objektposition 80 wählt
man diese Pixel. Ausgehend von der Objektposition 80 ermittelt man
die weiteren möglichen
Objektpositionen 81, 82 und 83.
-
Es ist bei der Suche nach den möglichen
Objektpositionen selbstverständlich,
dass das Verfahren oder das Mikroskopsystem bei eine gefundenen
Objektposition in einer Ebene auch die Objektpositionen untersucht,
die dieser Ebene unmittelbar benachbart sind.
-
Der in diesen Darstellungen implizit
vorhandene Test ob ein Pixel zu einer Objektstruktur gehört oder
nicht kann eine ganze Klasse von Funktionen aus dem Bereich der
Bildverarbeitung darstellen. In der einfachsten Ausprägung wird
eine Klassenbildung über
die aufgenommene Intensität
des Messpunktes erstellt. Sobald der aufgenommene Wert größer als
ein Schwellwert T ist wird der Pixel als zum Objekt gehörend betrachtet,
ansonsten verworfen. Diese einfachste Entscheidung ist für Anwendungen in
der Fluoreszenzmikroskopie schon hinreichend. In einer vorteilhaften
Ausprägung
der Erfindung wird dieser Schwellwert vom Benutzer definiert. In
einer noch vorteilhafteren Ausprägung
wird das Startbild auf Multimodalität geprüft und anhand der Werte ein oberer
und ein unterer Schwellwert definiert. Computergestützte Verfahren
die dies leisten sind zum Beispiel das Verfahren von Otso oder rekursiv
arbeitende Entropiemaximierung für
Grauwertbilder. In der Literatur (z.B. Duda, Hart, Patter Classification,
Wiley) über
Mustererkennung sind weitere Mechanismen bekannt die ähnliches
bewirken und werden als Stand der Technik benannt und als austauschbar
angesehen.
-
Eine noch vorteilhaftere Ausprägung adaptiert über die
Datenaufnahme die Wahl des Schwellwerts, wobei im wesentlichen die
oben beschriebenen Methoden über
benachbarte bereits aufgenommene Testpositionen ausgeführt werden
und im Vergleich zum initialen Wert bewertet werden.
-
Für
nicht Fluoreszenzmikroskopie ist es ggf. vorteilhaft eine Datenvorverarbeitung über die
Intensitäten
der Testpositionen auszuführen,
um mittels oben beschriebener Verfahren eine ideale Trennung zu
erzielen. Die Art der Vorverarbeitung hängt stark von der Bildmodalität und verwendeten
Kontrastierverfahren ab.
-
Die Erfindung wurde in Bezug auf
eine besondere Ausführungsform
beschrieben. Es ist jedoch selbstverständlich, dass Änderungen
und Abwandlungen durchgeführt
werden können,
ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen.
-
- 1
- Beleuchtungssystem
- 3
- Beleuchtungslichtstrahl
- 5
- Umlenkmittel
- 6
- Beleuchtungspinhole
- 7
- Scanmodul
- 9
- Scanspiegel
- 12
- Scanoptik
- 13
- Mikroskopobjektivs
- 15
- Probe
- 17
- Detektionslichtstrahl
- 18
- Detektionspinhole
- 19
- Detektoreinheit
- 20
- SP
Modul
- 21
- Selektionsmittel
- 23
- Rechnersystem
- 25
- Mittel
zum automatisch Erfassen
- 26
- Speicher
- 27
- Peripheriegerät
- 28
- Tastatur
- 29
- Einstellvorrichtung
- 30
- Maus
- 31
-
- 32
- Display
- 33
- strukturierte
Abbildung
- 34
- ausgewählte Struktur
- 35
- Fadenkreuz
- 36
- Linie
- 37
- Mauszeiger
- 38
- Verstelleinrichtung
für Mikroskopobjektiv
- 39
- Verstelleinrichtung
für Mikroskoptisch
- 40
- Probenvolumen
- 41
- xy-Ebene
- 421, 422, 423 und 424
- gleich
beabstandete Ebenen
- 50
- mögliche Objektposition
- 51
- weitere
Objektposition
- 52
- weitere
Objektposition
- 53
- weitere
Objektposition
- 60
- Objektpositionen
- 70
- Objektpositionen
- 71
- Objektpositionen
- 72
- Objektpositionen
- 73
- Objektpositionen
- 74
- Objektpositionen
- 80
- Objektpositionen
- 81
- Objektpositionen
- 82
- Objektpositionen
- 83
- Objektpositionen
- 100
- Mikroskopsystem