-
Technisches Feld
-
Diese Offenbarung betrifft Verfahren zum Einstellen eines optischen Fokus. Des Weiteren sind medizinische Geräte offenbart, z.B. Mikroskope, deren optischer Fokus mit entsprechenden Verfahren betrieben werden kann.
-
Hintergrund
-
Ein Autofokus, z.B. in einem Mikroskop, ist eine Funktion, die es ermöglicht, den Fokus einer Objektivlinse automatisch einzustellen, um klare und scharfe Bilder zu gewährleisten. Autofokussysteme können jedoch durch ein Phänomen beeinträchtigt werden, das als Drift bezeichnet wird und sich auf die allmähliche Verschiebung oder Bewegung der Fokusebene im Laufe einer Zeit bezieht. Drift kann sich negativ auf die Genauigkeit und Zuverlässigkeit der Autofokusfunktion auswirken.
-
Interne Erfahrungen haben gezeigt, dass Drift durch verschiedene Faktoren verursacht werden kann, z. B. mechanische Vibrationen, Temperaturschwankungen und thermische Ausdehnung/Kontraktion von Mikroskopkomponenten. Diese Faktoren können dazu führen, dass sich der Mikroskoptisch, die Objektivlinse oder andere Komponenten bewegen, was zu einer Verschiebung der Fokusebene führen kann. Auch Veränderungen der Probe können dazu beitragen, einen zunächst eingestellten Fokus wieder zu verlieren.
-
Die
DE 10 2016 110 988 A1 bezieht sich auf ein Verfahren zum digitalen Aufnehmen einer Probe durch ein Mikroskop, bei dem ein Sichtausschnitt (44) der Probe ausgewählt wird, ein Mikroskopobjektiv in einer Scanroute über diesen Sichtausschnitt bewegt wird und wobei zunächst eine den Sichtausschnitt bedeckende Abfolge von zueinander versetzt liegenden Abbildungen digital aufgenommen wird und diese dargestellt werden und dann die Scanroute mit einer Abfolge von Abbildungen außerhalb des gewählten Sichtausschnitts fortgesetzt wird.
-
Die
DE 10 2017 119 517 A1 bezieht sich auf ein Verfahren zur Optimierung eines Fokusabstands einer anpassbaren Linse in einem Bildverarbeitungssystem, wobei das Verfahren Folgendes ein Empfangen eines ersten Auslösesignals umfasst sowie ein Anpassen des Fokusabstands der variablen Linse um eine erste Anzahl von Schritten im Bereich eines ersten Zielabstands und Aufnehmen eines Bildes bei jedem Schritt; und ein Berechnen eines Schärfewerts für eine Region von Interesse (ROI) in jedem der Bilder.
-
Die
JP 2007 - 101 578 A bezieht sich auf eine Vorrichtung zur Aufrechterhaltung einer Fokussierung eines Mikroskops und eine Mikroskopvorrichtung, die mit einer Funktion zur Korrektur der Fokusdrift aufgrund einer Änderung der Raumtemperatur oder dergleichen während der Zeitrafferbeobachtung durch ein Mikroskop ausgestattet ist.
Die
JP 2015-082096 A betrifft eine Steuervorrichtung zur Steuerung eines Mikroskops mit einem Speichermittel zum Speichern einer Vielzahl von Bildern, die durch Aufnehmen der Probe unter Änderung des Abstands zwischen der Objektivlinse und der Probe in dem Mikroskop aufgenommen wurden.
-
Die
DE102008018864 A1 betrifft ein Mikroskop, welches dazu eingerichtet ist, eine Abweichung einer vorliegenden Fokuslage von einer vorbestimmten Fokuslage abzuleiten und in Abhängigkeit der abgeleiteten Abweichung mittels der Bewegungseinheit einen Abstand zwischen Probentisch und Abbildungsoptik so zu ändern, dass die vorbestimmte Fokuslage beibehalten wird.
-
Die
DE 103 61 327 A1 betrifft ein Verfahren zur Korrektur einer Drift bei einem optischen Gerät, dadurch gekennzeichnet, dass von einem Objekt zu einem ersten Zeitpunkt eine erstes Bild und zeitlich darauf folgend zu einem zweiten Zeitpunkt ein zweites Bild aufgenommen wird, das erste und das zweite Bild mit einem Raster in Blöcke unterteilt werden und ein Block des zweiten Bildes mit den Blöcken des ersten Bilds verglichen wird und aus dem Vergleich die Drift berechnet und korrigiert wird.
-
Die
US 2018 / 0 149 855 A1 betrifft ein Verfahren zur Abbildung einer Probe, mit einem Bereitstellen einer oder mehrerer Referenzmarkierungen in der Nähe der Probe; und einem Abbilden der Probe unter Verwendung eines ersten Abbildungssystems und eines zweiten Abbildungssystems; um ein Maß für die Drift der Referenzmarkierungen zu erhalten; und um die Drift zu korrigieren.
-
DE 10 2019 008 989 B3 betrifft ein Verfahren zur Bestimmung von Orten einzelner an eine Struktur in einer Probe gekoppelter Fluoreszenzfarbstoffmoleküle; dadurch gekennzeichnet, dass während eines Beleuchtens der Probe die Größe einer Störung bestimmt wird und dass jedem Element der Menge von einander zugeordneten Anzahlen von Fluoreszenzphotonen und Abtastpositionen ein Gewichtungsfaktor zugeordnet wird, dessen Wert sich aus der Größe der Störung während eines Detektierens der Fluoreszenzphotonen an der jeweiligen Abtastposition bestimmt, und dass bei der Bestimmung des Orts des Fluoreszenzfarbstoffmoleküls die Elemente der Menge von einander zugeordneten Anzahlen von Fluoreszenzphotonen und Abtastpositionen entsprechend ihrem Gewichtungsfaktor berücksichtigt werden.
-
Die
DE19959228 A1 betrifft ein Laser-Scanning-Mikroskop mit einem die Umgebungstemperatur des Mikroskops erfassenden, elektrische oder elektromagnetische Signale aussendenden Temperatursensor, wobei anhand der Signale des Temperatursensors eine Fokuskorrektur erfolgt.
-
Die
US 2016/0231553 A1 betrifft ein System mit einer Positionierungsvorrichtung, die so konfiguriert ist, dass sie eine Probe hält und eine Position einer Probe in Reaktion auf den Empfang eines Driftkompensationssignals einstellt; wobei eine Logik, die elektrisch mit einem Bildsensor und der Positionierungsvorrichtung gekoppelt ist, so konfiguriert ist, dass sie einen oder mehrere Driftkompensationswerte aus Bildern bestimmt, die von dem Bildsensor abgebildet werden, und so konfiguriert ist, dass sie ein oder mehrere Driftkompensationssignale an die Positionierungsvorrichtung sendet.
-
Die
US 2023/0007185 A1 betrifft ein Verfahren zum Korrigieren einer Fokusdrift eines Abbildungssystems, wobei bestimmt wird, dass eine Fokusdrift nicht aufgetreten ist, wenn eine Bildqualitätsmetrik innerhalb eines Schwellenwerts einer Referenzmetrik liegt; oder, dass eine Fokusdrift aufgetreten ist, wenn die Bildqualitätsmetrik größer als der Schwellenwert der Referenzmetrik ist.
-
Die
WO 2007/144197 A1 betrifft ein Mikroskop mit einem Objektiv, das eine in einem Probenvolumen liegende Fokusebene aufweist, und einer Autofokuseinrichtung, die einen Lichtmodulator zur Erzeugung eines leuchtenden, intensitätsmodulierten Modulationsobjektes aufweist, und eine Autofokus-Beleuchtungsoptik, die das leuchtende Modulationsobjekt in die Fokusebene des Objektivs oder diese schneidend abbildet, so dass im Probevolumen ein Bild des Modulationsobjektes entsteht.
-
Die
DE 102008018951 A1 betrifft ein Mikroskop mit einem Probentisch zum Tragen einer zu untersuchenden Probe, einem Aufnahmesensor, einer Abbildungsoptik zum Abbilden der Probe auf den Aufnahmesensor, einer Bewegungseinheit, mit der der Abstand zwischen Probentisch und Abbildungsoptik verändert werden kann, einer Steuereinheit zur Steuerung einer Bildaufnahme der Probe und einer Haltefokuseinheit zum Beibehalten einer vorbestimmten Fokuslage für zeitlich zueinander beabstandete Bildaufnahmen der Probe, wobei die Haltefokuseinrichtung zumindest ein Hardwareelement und ein Softwaremodul enthält.
-
Um Probleme durch Drift in Fokus-basierten Systemen zu lösen sind Verbesserungen wünschenswert.
-
Allgemeine Beschreibung
-
Eine Aufgabe der Ausführungsformen dieser Offenbarung ist die Verbesserung eines Autofokussystems.
-
Diese Aufgabe wird durch die hier offenbarten Ausführungsformen gelöst, die insbesondere durch den Gegenstand der unabhängigen Ansprüche definiert sind. Die abhängigen Ansprüche betreffen weitere Ausführungsformen. Verschiedene Aspekte und Ausführungsformen dieser Aspekte sind auch in der nachstehenden Zusammenfassung und Beschreibung offenbart, die zusätzliche Merkmale und Vorteile bieten.
-
Ein erster Aspekt dieser Offenbarung betrifft ein computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
umfassend die Schritte:
- - Erhalten eines ersten Schwellwertes für eine Drift eines optischen Fokus;
- - Erhalten eines ersten Driftwertes , wobei dieser auf Messungen mindestens eines Parameters zum Fokus an verschiedenen Zeitpunkten basiert;
- - Vergleichen des ersten Driftwertes mit dem ersten Schwellwert;
- - Ausgeben des ersten Driftwertes, wenn dieser den ersten Schwellwert nicht unzulässig überschreitet.
-
Drift ist in der Regel ein Fehler der spezifisch für ein Autofokussystem ist, welches in einer bestimmten Situation arbeitet. Eine Drift macht sich insbesondere bemerkbar, wenn eine Probe über längere Zeiträume beobachtet wird, z.B. wenn eine Bildreihe alle 5 Minuten erstellt werden soll, um eine Entwicklung einer Probe zu beobachten. Eine anfänglich scharf eingestellte Perspektive verliert über die Zeit an Schärfe. Diese Drift wird typischerweise mit einem optischen Fokus korrigiert, indem dieses den Fokus entsprechend nachgeführt wird.
-
Ein optischer Fokus kann von verschiedenen Vorrichtungen umfasst sein. Ein optischer Fokus kann ein Fokussystem sein, welches mit elektromagnetischen Strahlen, z.B. Lichtstrahlen, UV-Strahlen, arbeitet. Ein optischer Fokus kann von einem medizinischen und/oder einem diagnostischen Gerät, z.B. einem Mikroskop, umfasst sein. Ein optischer Fokus kann auch von einem Endoskopiesystem oder einem Ophthalmoskopiesystem umfasst sein. Auch Lasersysteme, z.B. Laserchirurgiesysteme, können einen optischen Fokus aufweisen. Ein optischer Fokus kann ebenso von einer Fotokamera oder einem Videokamerasystem umfasst sein.
-
Ein Schwellwert, insbesondere ein erster Schwellwert, kann empfangen oder, z.B. aus einer Cloud, abgeholt werden, insbesondere wenn das Verfahren nicht durch einen Computer des optischen Fokus durchgeführt wird (Dies wird später noch näher erläutert). Ein Schwellwert für einen Autofokusbereich bezieht sich auf einen vordefinierten Wert oder Bereich, der bestimmt, wie weit das Autofokussystem einen neuen Fokuswert im Verhältnis zu einem alten Fokuswert verändert. Ein Schwellwert kann absolut und/oder relativ angegeben sein. Er kann bei der Festlegung eines Kriteriums zur Bestimmung helfen, ob ein Bild auf der Grundlage bestimmter Messungen oder Parameter scharf oder unscharf ist. Ein Schwellwert kann ein absoluter Schwellwert sein, z.B. ein Maximalwert, der nie überschritten werden darf. In diesem Fall ist jede Überschreitung des Schwellwertes eine unzulässige Überschreitung. Ein Schwellwert kann auch ein komplexer Schwellwert sein, z.B. ein Maximalwert und/oder ein Durchschnittswert, der zeitweise und/oder um einen bestimmten Betrag überschritten werden darf. In diesem Fall bestimmen die zusätzlichen Parameter (Dauer der Überschreitung, Betrag der Überschreitung), ob ein Driftwert den Schwellwert unzulässig überschreitet. Ein Schwellwert dient dazu, zu überprüfen ob, ein identifizierter neuer Fokus eingestellt werden soll.
-
Ein Schwellwert kann beispielsweise einer Plausibilitätskontrolle eines neu identifizierten Fokus dienen.
-
Ein Driftwert, insbesondere ein erster Driftwert, kann, ähnlich wie ein Schwellwert, (von einem Fokussystem) empfangen oder abgeholt werden. Ein Driftwert repräsentiert einen Autofokus, der eingestellt werden muss, um ein Bild (wieder) scharf wiederzugeben. Ähnlich wie ein Schwellwert kann ein Driftwert absolut oder relativ, also im Verhältnis zu einem anderen Fokus- und/oder Driftwert, angegeben werden. Ein erster Driftwert kann aus einem einzelnen Wert bestehen. Alternativ kann ein Driftwert aus mehreren Werten bestehen, die insbesondere unmittelbar nacheinander aufgenommen wurden.
-
Ein gemessener Parameter zum Fokus kann z.B. eine Brennweite, ein Abstand einer Probe zum Objektiv und/oder eine eingestellte Objektivblende sein. Zusätzlich oder alternativ kann ein Parameter ein reflexionsbasierter Parameter sein, z.B. eine Position, eine Abweichung oder eine Wellenlänge eines reflektierten Lichtstrahls.
-
Ein Vergleichen des ersten Driftwertes mit dem ersten Schwellwert kann insbesondere je nach Art des Schwellwertes bzw. des Driftwertes erfolgen. Ein Vergleichen kann beispielsweise durch eine Differenzbildung erfolgen. Zusätzlich oder alternativ kann ein Vergleichen auch durch eine Korrelation beider Werte erfolgen. Sollten Schwellwert und Driftwert in unterschiedlichen Dimensionen angegeben sein, dann kann zumindest einer der beiden Werte entsprechend transformiert werden, um ein Vergleichen des Driftwertes mit dem Schwellwert vornehmen zu können.
-
Eine Kontrolle, ob ein erster Driftwert eingestellt werden soll und somit ein vorher eingestellter Driftwert ersetzt werden soll, basiert auf dem Vergleich des ersten Driftwertes mit dem ersten Schwellwert. Wenn der erste Driftwert kleiner oder gleich dem ersten Schwellwert ist, dann kann der erste Driftwert vom Autofokussystem umgesetzt werden. Dabei ist die Festlegung, dass der erste Driftwert „kleiner-gleich“ dem Schwellwert sein soll eine Ausführungsform-spezifische Ausgestaltung. Es kann ebenso gefordert werden, dass der erste Driftwert kleiner als der erste Schwellwert ist und bei Gleichheit von erstem Driftwert und ersten Schwellwert keine Ausgabe des ersten Driftwertes erfolgt. In beiden Fällen stellt der Schwellwert einen maximalen Schwellwert dar. Alternativ kann bestimmt werden, dass der Driftwert den ersten Schwellwert um einen bestimmten Betrag überschreiten darf. In diesem Fall stellt der Schwellwert eher einen durchschnittlichen Driftwert dar.
-
Eine Ausgabe des ersten Driftwertes kann dabei so erfolgen, dass der optische Fokus den ersten Driftwert umsetzen kann. Beispielsweise kann der erste Driftwert zum System, welches den optischen Fokus betreibt (z.B. ein Mikroskop) gesendet werden. Zusätzlich oder alternativ kann der erste Driftwert auch so ausgegeben werden, dass das System, welche den optischen Fokus betreibt, den ersten Driftwert holen kann. Beispielsweise kann der erste Driftwert in einen geteilten Speicherplatz abgelegt werden, z.B. eine Cloud, auf den das System, welche den optischen Fokus betreibt, zugreifen kann.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
wobei der erste Schwellwert auf Basis wenigstens eines oder mehrerer der folgenden Parameter vorgegeben wird:
- - einer Information des Herstellers der Vorrichtung, welche den Fokus umfasst;
- - einer Information aus der Umgebung des Fokus;
- - einer Proben-spezifischen Information.
-
Eine solche Information kann z.B. von einem Hersteller eines Mikroskops bereitgestellt werden. Zusätzlich oder alternativ, kann eine solche Information eine Temperaturinformation sein. Eine Temperaturinformation kann insbesondere von einem Temperatursensor erhalten werden, welche von dem Fokussystem, welches eingestellt werden soll, umfasst ist. Zusätzlich oder alternativ kann eine solche Temperatur von einem Temperatursensor erhalten werden, der in der Umgebung, z.B. in einem Raum, betrieben wird, in dem das Fokussystem arbeitet. Eine Information zur Festlegung eines Schwellwertes kann auch eine Belichtungszeit der Probe sein. Insbesondere, wenn die Probe negativ von Belichtungen beeinflusst wird, kann sich dadurch, z.B. im Rahmen einer maximalen Belichtungszeit oder Belichtungsrate, ein Schwellwert ergeben. Zusätzlich oder alternativ kann eine Eigenschaft einer zu analysierenden Probe eine Information darstellen, auf Basis derer sich ein Schwellwert für eine Drift ergeben kann, dies kann z.B. eine Viskosität sein. Dadurch ist eine spezifische Schwellwertermittlung möglich. Wenn Gerätespezifische und/oder Proben-spezifische Werte aus einer Datenbank bereitgestellt werden, ist auf effiziente Weise ein Feststellen situationsspezifischer Schwellwerte möglich.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus, wobei der erste Driftwert auf zeitlich nacheinander durchgeführten, Bild-basierten Messungen des Fokus basiert.
-
Eine Bild-basierte Messung kann insbesondere auf Bildern basieren, die mit dem optischen Fokus aufgenommen wurden. Zusätzlich oder alternativ kann eine Bild-basierte Messung auf Bildern basieren, die durch ein separates, bildgebendes System aufgenommen werden. Dies ist insbesondere deswegen möglich, da eine Drift, wie bereits oben beschrieben, auf Basis von Veränderungen des Fokussystems und/oder der Probe basiert. Wenn diese Veränderungen bekannt sind bzw. gemessen werden, kann eine Drift darauf basierend ermittelt werden.
-
Eine Bild-basierte Driftmessung, welche auf die Hardware des optischen Fokussystems zurückgreift, kann demzufolge allein elektronisch bzw. durch Software erfolgen. Eine Bild-basierte Driftmessung kann zudem eine 2- oder 3-dimensionale Driftmessung sein. Eine Bild-basierte Messung kann auch eine passive Messung sein, bei der ein Sensor allein Umgebungsinformation misst, die nicht auf einem vom Sensor erzeugten Signal basiert.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
wobei der erste Driftwert auf Laser-basierten Messungen des Fokus basiert.
-
Eine Laser-basierte Driftmessung nutzt Laserstrahlen, um eine Bewegung oder Positionsänderung mit hoher Genauigkeit zu messen. Bei Laserinterferometrie wird ein Laserstrahl in zwei getrennte Pfade aufgeteilt, von denen einer als Referenz dient und der andere mit dem zu messenden Objekt, z.B. einer Probe, interagiert. Das resultierende Interferenzmuster wird analysiert, um die Drift des Objekts zu bestimmen.
-
Bei einer Driftmessung, die auf einem Laser-Tracking-System basiert, werden Laserstrahlen und optische Sensoren verwendet, um eine Position und/oder Bewegung an einer Probe im dreidimensionalen Raum zu messen. Dabei kann ein Laserstrahl entweder auf eine Probe gerichtet sein oder auf ein den optischen Fokus umfassendes System. Ein optischer Sensor erfasst die Reflexion des ausgesendeten Laserstrahls und analysiert diese hinsichtlich einer, um so die Drift des Objekts zu bestimmen.
-
Eine Laser-basierter Driftmessung ist ein Beispiel für eine Reflexionsmessung. Zudem ist eine Laser-basierte Driftmessung ein Beispiel für eine 1-dimensionale Driftmessung, sofern diese nur einen einzigen Laserstrahl umfasst. Im Gegensatz zur passiven (Bild-basierten) Driftmessung, stellt eine reflexionsbasierte Driftmessung eine aktive Driftmessung dar. Anstelle eines Lasers können auch andere Lichtquellen verwendet werden, z.B. eine LED.
-
Da eine Laser-basierte Driftmessung in der Regel mit einer hohen Wiederholrate arbeitet kann diese insbesondere für eine Fokushaltevorrichtung eingesetzt werden, bei über den reflektierten Laserstrahl eine Fokusstellung geregelt wird. Die zuvor beschriebene Software-basierte Driftmessung kann demgegenüber als Fokusfindevorrichtung eingesetzt werden, insbesondere weil über die abgetasteten zwei oder drei Dimensionen mehr Informationen zu Verfügung stehen, mit denen ein korrekter Fokus aufgefunden werden kann.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
wobei die Messungen des Fokus an unterschiedlichen Positionen aufgenommen werden.
-
Eine Driftmessung kann an verschiedenen Orten einer Probe vorgenommen werden. Dazu können Messungen gleichzeitig an verschiedenen Orten erfolgen und/oder zeitlich nacheinander, insbesondere so, dass immer wieder die gleichen Orte vermessen werden. Dann kann ein eigener Driftwert für jeden dieser Orte bestimmt werden und/oder ein einziger Driftwert, der für mehrere Orte gilt. Wenn Bilder an verschiedenen Positionen einer Probe aufgenommen werden sollen, kann es vorkommen, dass sich an einer dieser Positionen keine (mehr) Probe befindet. Bei einer Driftkorrektur versucht der Autofokus dann auf eine leere Umgebung zu fokussieren. Dies kann dazu führen, dass zumindest die nachfolgenden Bilder an dieser Position einen falschen Fokus aufweisen. Wenn auf Basis des an dieser Position ermittelten Fokus auch Foki anderer Positionen ermittelt werden, dann sind auch diese Foki falsch.
-
Dieses Problem kann alternativ auch dann auftreten, wenn der Autofokus aus einem anderen Grund auf einen falschen Wert fokussiert, z.B. aufgrund einer Verunreinigung oder einer Beschädigung der Probe oder einer Lagerung der Probe (z.B. einem Sprung in einer Petrischale). Ein Verfahren nach dem ersten Aspekt kann insbesondere unplausible Foki aussondern, die sich aus einem oder mehreren dieser Gründe ergeben.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
umfassend den Schritt:
- - Verwerfen des ersten Driftwertes , wenn dieser gleich dem ersten Schwellwert ist oder diesen überschreitet.
-
Ein erhaltener Driftwert kann aus verschiedenen Gründen den Schwellwert überschreiten. Zum einen kann ein Driftwert unplausibel sein, weil er sich sicher oder mit hoher Wahrscheinlichkeit aus einer fehlerhaften Situation heraus ergeben hat. Dann kann der Driftwert vollständig, also für immer, verworfen werden.
-
Ein Driftwert kann jedoch auch einen Schwellwert überschreiten, weil ein Schwellwert zu klein vorgegeben war und Änderungen, z.B. in der Probe oder im Mikroskop, zu größeren Driftwerten als dem Schwellwert führen können. Dies kann insbesondere passieren, wenn eine schnelle Fokussierung gewünscht ist, z.B. um eine Phototoxizität einer Probe zu vermeiden. (Unter Phototoxizität versteht man eine durch elektromagnetische Strahlung hervorgerufene Schädigung einer Probe, beispielsweise durch Einwirkung von Infrarot-, sichtbarer oder UV-Strahlung.). Ein dadurch verringerter Fokussuchbereich, in dem eine Drift festgestellt wird und der mit einem verringerten Schwellwert einhergehen kann, kann dazu führen, dass eine erfasste Drift, z.B. am Rand des Fokussuchbereiches, obwohl realistisch als unrealistisch verworfen wird. Insbesondere in einem solche Fall kann der Driftwert zwar zunächst nicht ausgegeben werden, weil er größer als der Schwellwert ist. Jedoch kann eine weitere Überprüfung ergeben, z.B. mit einem anderen optischen Fokussystem (Softwarefokus, Hardwarefokus), dass der Driftwert doch realistisch ist. Deswegen kann ein Driftwert auch nur vorläufig verworfen werden und insbesondere für eine spätere Verwendung gespeichert werden.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus, umfassend die Schritte:
- - Erhalten eines zweiten Driftwertes;
- - Vergleichen des zweiten Driftwertes mit dem ersten Schwellwert ;
- - Ausgeben des zweiten Driftwertes, wenn dieser den ersten Schwellwert nicht überschreitet.
-
Ein zweiter Driftwert kann insbesondere nach dem ersten Driftwert erfasst werden, insbesondere kann ein zweite Driftwert an der gleichen Position wie der erste Driftwert erfasst werden. Zusätzlich oder alternativ kann ein zweiter Driftwert nebenläufig, z.B. mit einem anderen Fokussystem (z.B. einem Hardware-basierten Fokus, wenn der einzustellende Fokus ein Softwarebasierter Fokus ist), erfasst werden. Der zweite Driftwert kann an der gleichen Position erfasst werden, insbesondere um einen integrierten Driftwert mit einer größeren Sicherheit zu erhalten. Zusätzlich oder alternativ kann der zweite Driftwert an einer anderen Position erfasst werden.
-
Ein Vergleich eines zweiten Driftwertes mit dem ersten Schwellwert kann eine einfach zu implementierende und schnelle Plausibilitätsprüfung ermöglichen. Der zweite Driftwert kann dann entsprechend dem ersten Driftwert ausgegeben werden oder, vollständig oder vorläufig, verworfen werden. Alternativ kann ein zweite Driftwert für eine weitere Verwendung gespeichert werden.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
umfassend die Schritte:
- - Erhalten eines zweiten Schwellwertes;
- - Erhalten eines zweiten Driftwertes;
- - Vergleichen des zweiten Driftwertes mit dem zweiten Schwellwert;
- - Ausgeben des zweiten Driftwertes, wenn dieser den zweiten Schwellwert nicht überschreitet.
-
Ein Vergleich eines zweiten Driftwertes mit einem zweiten Schwellwert kann eine dynamische Plausibilitätsprüfung ermöglichen. Der zweite Schwellwert kann auf Basis der bereits oben genannten Parameter vorgegeben werden und insbesondere den ersten Schwellwert, zumindest zweitweise, ersetzen. Ein zweiter Schwellwert kann auch über vorbestimmten Zeitabschnitt und/oder abhängig verschiedener Positionen spezifisch vorgegeben werden.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
wobei der zweite Schwellwert auf dem ersten Driftwert basiert, insbesondere, wenn der erste Driftwert kleiner als der erste Schwellwert ist.
-
Es kann vorkommen, dass ein zunächst ausgewählter erster Schwellwert zu groß ist und deswegen auch unrealistische, fehlerhafte Driftwerte als realistische Driftwerte validiert. Um dies zu vermeiden kann der zweite Schwellwert auf Basis des ersten Driftwertes vorgegeben werden. Dies kann insbesondere so erfolgen, dass der zweite Schwellwert um einen vorgegebenen absoluten oder relativen Wert überschreitet. Zum Beispiel kann der zweite Schwellwert als ein Wert gewählt werden, der den ersten Driftwert um 5%, 10%, 20%, 50%, 100% oder 1000% überschreitet. So kann immer ein Schwellwert gewählt werden, der sich an die aktuelle Situation anpasst.
-
Insbesondere kann ein zweiter Schwellwert abhängig von einem ersten Driftwert vorgegeben werden, wenn der erste Driftwert sicher validiert wurde. Eine sichere Validierung kann z.B. dadurch erfolgen, dass der erste Driftwert mehrfach gemessen wird und dann daraus ein Mittelwert gebildet wird. Eine mehrfache Messung des ersten Driftwertes kann nacheinander, parallel, mit dem gleichen optischen Fokus und/oder mit einem anderen optischen Fokus gemessen werden. Dies kann insbesondere nur an bestimmten Zeitpunkten erfolgen, um Ressourcen zu sparen und Phototoxizität zu reduzieren. An diesen Zeitpunkten kann dann auch der zweite Schwellwert aktualisiert werden.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
wobei der zweite Schwellwert auf einer Laser-basierten Messung des Fokus basiert; und die Ermittlung des zweiten Driftwertes auf einer Bild-basierten Messung des Fokus basiert, oder umgekehrt.
-
Der zweite Schwellwert kann insbesondere von einer Laser-basierten Messung bereitgestellt werden, welche mit einer höheren Wiederholfrequenz abläuft, als die Bild-basierte Messung des zweiten Driftwertes. Dann kann für den Threshold immer ein aktueller Wert bereitgestellt werden, insbesondere wenn die Wiederholfrequenz der Bild-basierten Fokusbestimmung zwecks Minimierung der Phototoxizität niedrig ist. Anstatt einer Laser-basierten Messung kann auch eine andere Art Fokusmessung für eine Messung eines zweiten Schwellwertes genutzt werden. Anstatt einer Bild-basierten Messung kann auch eine andere Art Fokusmessung für die Messung des zweiten Driftwertes genutzt werden.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
wobei die Laser-basierte Messung des Fokus mit einer höheren Wiederholfrequenz ausgeführt wird als die Bild-basierte Messung des Fokus.
-
Eine Wiederholfrequenz einer Schwellwertbestimmung, die keine Phototoxizität verursacht kann insbesondere bei <10kHz liegen. Dies gilt insbesondere für eine Laser-basierte, oder eine LED-basierte Schwellwertbestimmung. Eine Bild-basierte Messung, insbesondere eine Phototoxizität verursachende Bild-basierte Messung, kann <1s, <10s, <100s, <1min, <5min oder <10min wiederholt werden.
-
Eine Ausführungsform des ersten Aspekts betrifft ein Computer-basiertes Verfahren zum Einstellen eines optischen Fokus,
wobei der erste Schwellwert und/oder der zweite Schwellwert durch ein maschinelles Lernen und auf Basis von Informationen in einer Datenbank bestimmt wird.
-
Auf der Grundlage eines Algorithmus des maschinellen Lernens, z. B. eines neuronalen Netzes, kann eine Bestimmung eines Schwellwertes in Abhängigkeit verschiedener Parameter (z.B. Typ des Mikroskops, Umgebungstemperatur, Art der Probe) automatisiert erfolgen. Zur Bestimmung eines Schwellwertes kann ein vollständig verbundenes ein- oder mehrschichtiges neuronales Regressionsnetz verwendet werden. Bei dem neuronalen Regressionsnetz kann es sich um ein neuronales Netz mit Vorwärtskopplung handeln, z. B. um ein mehrschichtiges Perzeptron. Die Parameter, mit welches das Netz trainiert bzw. betrieben wird, können aus einer Datenbank entnommen werden.
-
Ein zweiter Aspekt dieser Offenbarung betrifft ein Computer-basiertes Verfahren zum Einstellen eines Suchbereiches für einen optischen Fokus, umfassend die Schritte:
- - Erhalten eines ersten Suchbereiches für Messungen zu einem Fokus;
- - Erhalten eines ersten Driftwertes und/oder eines ersten Fokuswertes;
- - Ermitteln eines zweiten Suchbereiches auf Basis wenigstens einer der folgenden Informationen:
- -- des ersten Driftwertes;
- -- des ersten Fokuswertes.
-
Ein Fokussuchbereich ist jener Bereich, in dem ein Fokus analysiert wird, um einen aktuellen Fokus und somit auch um eine aktuell vorherrschende Drift zu bestimmen. Ein erster Suchbereich kann dabei insbesondere auf Basis eines Schwellwertes vorgegebenen werden.
-
Durch ein Ermitteln eines zweiten Suchbereichs auf Basis des ersten Driftwertes und/oder auf Basis eines ersten Fokuswertes, kann ein Suchbereich für einen automatisch operierenden optischen Fokus automatisch angepasst werden. Insbesondere kann ein zweiter Suchbereich um einen absoluten oder relativen Wert größer gewählt werden als der erste Driftwert und/oder der erste Fokuswert. Ein zweiter Suchbereich kann auch durch eine kontinuierliche oder quasi-kontinuierliche Abfolge von Suchbereichen ersetzt werden, die sich an einen erhaltenen, insbesondere einen aktuellen Driftwert bzw. Fokuswert orientieren. Dadurch kann der Suchbereich immer so nachgeführt werden, dass er dem aktuellen Driftverhalten entspricht und insbesondere nicht unnötig Zeit darauf verschwendet, auf einem Bereich zu fokussieren, der keine oder nur uninteressante Strukturen enthält.
-
Um zu vermeiden, dass bei einem zu gering eingestellten zweiten Suchbereich ein neuer Driftwert nicht erfasst wird, kann ein zweiter Suchbereich auch wieder vergrößert werden. Dies kann z.B. nach fest vorgegebenen Zeiten erfolgen. Zusätzlich oder alternativ kann eine Vergrößerung eines Fokussuchbereiches erfolgen, wenn ein neuer Driftwert am Rand eines aktuell eingestellten Fokussuchbereiches liegt. Insbesondere kann ein zweiter Suchbereich vergrößert werden, wenn ein neuer Driftwert einen vorgegebenen absoluten oder relativen Abstand zu einem Rand eines Fokusbereiches unterschreitet. Zusätzlich oder alternativ kann ein Fokussuchbereich vergrößert werden, wenn ein Schwellwert für eine erfasste Drift einmal oder mehrmals überschritten wird.
-
Eine Ausführungsform des zweite Aspekts betrifft ein computer-basiertes Verfahren zum Einstellen eines Suchbereiches für einen optischen Fokus, umfassend die Schritte:
- - Ermitteln eines Schwellwertes für eine Drift eines optischen Fokus, wobei der Schwellwert auf dem zweiten Suchbereiches basiert ;
- - Erhalten eines Driftwertes, wobei dieser auf Messungen zum Fokus an verschiedenen Zeitpunkten basiert;
- - Vergleichen des Driftwertes mit dem Schwellwert;
- - Ausgeben des Driftwertes, wenn dieser den Schwellwert nicht überschreitet.
-
Ein dritter Aspekt dieser Offenbarung betrifft ein medizinisches Gerät, insbesondere ein Mikroskop, mit Autofokus,
dazu eingerichtet:
- - ein Verfahren nach einem der vorherigen Ausführungsformen auszuführen; oder
- - mit einer Vorrichtung zu kommunizieren, insbesondere über ein Application User Interface, welche ein Verfahren nach einem der vorherigen Ausführungsformen ausführt.
-
Ein medizinisches Gerät kann auch ein Laborgerät und/oder ein diagnostisches Gerät sein. Ein Application User Interface kann insbesondere dazu eingerichtet sein, dass das medizinische Gerät mit einem zentralen Server, z.B. in einer Cloud, Informationen austauscht. Insbesondere kann ein Verfahren nach dem ersten oder zweiten Aspekt in der Cloud betrieben werden und insbesondere mit einer Mehrzahl von medizinischen Geräten zusammenarbeiten, um deren optische Fokusse einzustellen.
-
Kurze Beschreibung der Figuren
-
Weitere Vorteile und Merkmale ergeben sich aus den folgenden Ausführungsformen, die sich zum Teil auf die Figuren beziehen. Die Figuren zeigen die Ausführungsformen nicht immer maßstabsgetreu. Die Abmessungen der verschiedenen Merkmale können insbesondere zur Klarheit der Beschreibung entsprechend vergrößert oder verkleinert sein. Hierzu sind die Figuren zumindest teilweise schematisiert.
- 1 zeigt eine Validierung eines neuen Driftwertes nach einer Ausführungsform dieser Offenbarung.
- 2 zeigt die Anpassung eines Fokussuchbereichs nach einer Ausführungsform dieser Offenbarung.
- 3 zeigt ein Blockdiagram für ein Verfahren nach einer Ausführungsform dieser Offenbarung.
- 4 zeigt eine schematische Darstellung eines Systems zur Durchführung eines Verfahrens dieser Offenbarung.
-
In der folgenden Beschreibung wird auf die beigefügten Figuren verwiesen, die Teil der Offenbarung sind und bestimmte Aspekte und Ausführungsformen veranschaulichen, unter denen die vorliegende Offenbarung verstanden werden kann. Gleiche Bezugszeichen beziehen sich auf gleiche oder zumindest funktionell oder strukturell ähnliche Merkmale.
-
Im Allgemeinen gilt eine Offenbarung eines beschriebenen Verfahrens auch für eine entsprechende Vorrichtung zur Durchführung des Verfahrens oder ein entsprechendes System, das ein oder mehrere Vorrichtungen umfasst, und umgekehrt. Wird beispielsweise ein bestimmter Verfahrensschritt beschrieben, so kann eine entsprechende Vorrichtung ein Merkmal zur Durchführung des beschriebenen Verfahrensschrittes enthalten, auch wenn dieses Merkmal in der Abbildung nicht ausdrücklich beschrieben oder dargestellt ist. Wird dagegen beispielsweise ein bestimmtes Gerät auf der Grundlage von Funktionseinheiten beschrieben, kann ein entsprechendes Verfahren einen oder mehrere Schritte zur Durchführung der beschriebenen Funktionalität enthalten, auch wenn diese Schritte in den Abbildungen nicht explizit beschrieben oder dargestellt sind. In ähnlicher Weise kann ein System entsprechende Vorrichtungsmerkmale oder Merkmale zur Durchführung eines bestimmten Verfahrensschritts umfassen. Die Merkmale der verschiedenen oben oder unten beschriebenen beispielhaften Aspekte und Ausführungsformen können kombiniert werden, sofern nicht ausdrücklich etwas anderes angegeben ist.
-
Detaillierte Beschreibung
-
1 zeigt anhand von zwei Szenarien eine Validierung eines neuen Driftwertes nach einer Ausführungsform dieser Offenbarung. Die Szenarien zeigen abstrakt Einstellungen eines optischen Fokus eines Mikroskops.
-
Im ersten Szenario 100a ist eine Validierung eines neu erfassten Driftwertes dargestellt. Zu einem Zeitpunkt t=0 befindet sich eine Probe 102a auf einer ersten Fokusebene. Zudem ist ein Schwellwert 104 relativ zur Fokusebene 102a dargestellt. Der Schwellwert 104 gibt an, wie stark eine erwartete maximale Drift der Probe ist. Eine aktuell ermittelte Drift 106 ist ebenfalls relativ zur Probe 102 dargestellt. Eine solche Drift kann insbesondere mit einem nicht-Bild-basierten Fokussystem, z.B. einem Laser-basierten Fokus erfolgen, um eine Phototoxizität einer analysierten Probe zu verringern/vermeiden. Ein Vergleich des Schwellwertes 104 mit dem erfassten Driftwert 106 ergibt, dass der Driftwert 106 kleiner als die erwartete maximale Drift 104 ist. In diesem Fall kann der Driftwert validiert werden, denn es liegt ein plausibler Driftwert vor. Ein Parameter entsprechend dem Driftwert 108 wird daraufhin an den Autofokus des Mikroskops ausgegeben.
-
Zum Zeitpunkt t=1 ist der validierte Driftwert 106 von dem optischen Fokussystem des Mikroskops in einer neuen Fokusebene 102c umgesetzt. Die ehemalige Fokusebene der Probe ist durch das Rechteck 102b mit gestrichelter Umrandung dargestellt. Die Änderung des Fokus im Umfang der Drift 106 ist durch die Pfeile 108 dargestellt. Auch auf die neu fokussierte Probe 102c wird wieder der gleiche Schwellwert 104 angewendet, um weitere Driftbewegungen zu validieren. Im ersten Szenario 100a liegt die Drift also innerhalb der erwarteten Drift. Die Probe wird daher durch Anwendung der validierten Drift auf die neue Fokusebene verschoben. Auch der Schwellenwert 104 der erwarteten Drift wird entsprechend verschoben.
-
Im zweiten Szenario 100b wird ein neu erfasster Driftwert nicht validiert. Zu einem Zeitpunkt t=0 befindet sich die Probe 102 wiederum auf einer ersten Fokusebene. Zudem ist ein Schwellwert 104 relativ zur Probe 102 dargestellt, wie schon in Szenario 100a. Eine aktuell ermittelte Drift 110 ist wiederum relativ zur Probe 102 bzw. zu deren Fokusebene dargestellt. Ein Vergleich des Schwellwertes 104 mit dem erfassten Driftwert 110 ergibt, dass der Driftwert 110 größer ist als die erwartete maximale Drift 104. In diesem Fall kann der Driftwert nicht validiert werden. Es liegt ein Driftwert vor, der nicht plausibel ist. Der Driftwert 106 wird daraufhin nicht an den Autofokus des Mikroskops ausgegeben. Zum Zeitpunkt t=1 befindet sich die Fokusebene des optischen Fokus des Mikroskops nach wie vor am gleichen Ort. Wenn ein weiterer Driftwert bereitsteht, wird dieser wieder mit dem Schwellwert 104 verglichen. Im Szenario 100b ist die gemessene Drift 106 größer als die erwartete Drift 104. Die Drift wird daher nicht angewendet und die Probe bleibt in ihrer Position.
-
2 zeigt die Anpassung 200 eines Fokussuchbereichs nach einer Ausführungsform dieser Offenbarung. Zum Zeitpunkt t=0 ist eine Probe in einer ersten Fokusebene 202a dargestellt. Neue Driftwerte werden in einem ersten Fokussuchbereich 204a gesucht, der eine erste Breite 206a aufweist.
-
Zum Zeitpunkt t=1 wird in dem ersten Fokussuchbereich 204a ein neuer Driftwert 208a erfasst und dafür eine neue Fokusebene 202b für die Probe eingestellt. Entsprechend des neuen Driftwertes 208a wird auch ein neuer Wert für den Fokussuchbereich ausgegeben.
-
Zum Zeitpunkt t=2 wird der neue Fokussuchbereich 204b vom Mikroskop verwendet. Der neue Fokussuchbereich 204b weist eine Breite 206b auf, die kleiner als die Breite 206a des ursprünglich eingestellten Fokussuchbereichs ist. Die Breite 206b des neuen Fokussuchbereichs 204b wurde auf Basis des Driftwertes 208a festgelegt und beträgt 700% des Driftwertes 208a. Dadurch wird eine schnellere Driftwertermittlung möglich als mit dem Fokussuchbereich 204a. Darüber hinaus ist der neue Fokussuchbereich 204b immer noch so groß, dass auch größere Driften erfasst werden können. Zusätzlich befindet sich der neue Fokussuchbereich 204b mit seinem Mittelpunkt auf der Höhe 210, auf der die zweite Fokusebene 202b aufgrund der erfassten Drift 208a ausgerichtet wurde.
-
Im neuen Fokussuchbereich 204b wird eine weitere Drift 208b erkannt und entsprechend eine dritte Fokusebene 202c für die Probe eingestellt.
-
In einer Fortbildung dieser Ausführungsform kann auch ein Schwellwert, der wie in 1, zu Überprüfung einer erfassten Drift eingestellt ist, auf Basis eines erfassten Driftwertes vorgegeben werden. Insbesondere dann, wenn die Drift mit hoher Messgenauigkeit erfasst wurde. Alternativ kann auf Basis eines vorgegebenen Schwellwertes auch der Fokussuchbereich vorgegeben werden.
-
3 zeigt ein Blockdiagram für ein Verfahren 300 gemäß verschiedenen Ausführungsformen dieser Offenbarung.
-
Zunächst wird in einem ersten Schritt 310 ein erster Schwellwert bestimmt. Der erste Schwellwert kann z.B. auf Basis einer Umgebungstemperatur und/oder auf Basis einer Driftangabe eines Herstellers eines optischen Fokus bestimmt werden. Die Bestimmung des Schwellwertes kann dabei insbesondere automatisiert, durch einen auf maschinellem Lernen basierenden Algorithmus erfolgen. Dies kann z.B. ein neuronales Netz sein, welches fortlaufend mit Informationen aus Theorie und/oder Praxis versorgt wird, um Driftwerte in bestimmten Situationen vorhersagen zu können. Ein solcher lernender Algorithmus kann auf einem zentralen Server betrieben werden und Informationen über verschiedene optische Foki erhalten, die dezentral, z.B. in einer Klinik oder einem Labor, in optischen Geräten betrieben werden. Dabei können Eingangs- und Umgebungsinformationen und tatsächlich gemessene Driftwerte zusammen bereitgestellt werden, so dass der Algorithmus die Zusammenhänge zur Driftbildung lernen und extrapolieren kann. Dann kann darauf basierend ein Schwellwert, z.B. ein Maximalwert, für eine Drift bestimmt werden.
-
In einem zweiten Schritt 320 wird ein erster Driftwert bestimmt. Dies kann durch eine Hardware- und/oder Software-basierte Fokusmessung erfolgen. Dabei kann der aktuell eingestellte Fokus mit einem neu einzustellenden Fokus verglichen werden. Wenn diese nicht gleich sind oder wenn das aktuelle Bild unscharf ist, dann liegt eine Drift vor. Die Driftmessung kann im Gerät angeordnet sein, in welchem der einzustellende optische Fokus betrieben wird, z.B. in einem Mikroskop. Zusätzlich oder alternativ kann die Driftmessung durch ein externes Gerät, z.B. eine Kamera oder ein Laserinterferometer, bestimmt werden, welches in der Nähe des optischen Fokus betrieben wird.
-
In einem nächsten Schritt 330 wird der gemessene erste Driftwert mit dem ersten Schwellwert verglichen. Dies kann in einfacher Weise durch eine Differenzbildung von Driftwert und Schwellwert erfolgen. Wenn der Schwellwert als statistische Größe vorliegt, z.B. als Verteilung, kann auch eine Korrelation, z.B. auf Basis einer Faltung, vorgenommen werden. Je nach Art des Schwellwertes (maximaler Driftwert, durchschnittlicher Driftwert) kann für einen validen Driftwert gefordert werden, dass dieser kleiner ist oder dass dieser den Schwellwert um einen bestimmten Wert nicht überschreitet.
-
In einem vierten Schritt 340 Ausgeben des ersten Driftwertes, wenn dieser den ersten Schwellwert nicht zulässig überschreitet. Eine zulässige Überschreitung kann insbesondere erfolgen, wenn der Driftwert aus mehreren zeitlich nacheinander aufgenommenen Werten erfolgt, und nur einer dieser Werte den Schwellwert überschreitet. Eine zulässige Überschreitung kann auch erfolgen, wenn der Schwellwert ein statistischer Wert ist, der insbesondere nur um einen vorbestimmten Betrag überschritten werden darf. Z.B. kann der Schwellwert ein Driftdurchschnittswert sein und ein gemessener Driftwert wird auch dann noch als plausibel angenommen, wenn dieser den Driftdurchschnittswert 10%, 50%, oder 100% überschreitet.
-
In einem weiteren Schritt 350, wird ein zunächst eingestellter Fokussuchbereich für die Driftanpassung geändert. Dieser Schritt kann vor dem Schritt 340, parallel zum Schritt 340 oder nach dem Schritt 340 erfolgen. Ein Fokussuchbereich kann dabei ähnlich wie ein Schwellwert von verschiedenen Parametern abhängen. Ein Fokussuchbereich kann z.B. auf Basis einer Umgebungstemperatur und/oder auf Basis einer Angabe eines Herstellers eines optischen Fokus bestimmt werden. Die Bestimmung eines Fokussuchbereiches kann insbesondere automatisiert, durch einen auf maschinellem Lernen basierenden Algorithmus erfolgen. Dies kann grundsätzlich genauso erfolgen, wie eine Bestimmung eines Schwellwertes.
-
Der neue Fokussuchbereich wird dabei in Abhängigkeit von dem aktuell identifizierten Driftwert vorgegeben. Ein Fokussuchbereich kann insbesondere 10%, 50%, 100% oder 500% größer sein als eine Drift. Insbesondere kann ein Fokussuchbereich nur auf Basis eines validierten Driftwertes vorgegeben werden, also eines Driftwertes, der mit einem Schwellwert positiv verglichen wurde. Der neue Fokussuchbereich kann auch alternativ auf Basis eines Schwellwertes vorgegeben werden. Durch einen Fokussuchbereich, der basierend auf einem aktuellen Driftwert und/oder auf einem aktuellen Schwellwert vorgegeben ist, kann ein neuer Fokus schneller bestimmt werden und eine Phototoxizität der Probe verringert bzw. in erträglichen Grenzen gehalten werden.
-
Einige Ausführungsformen beziehen sich auf ein Mikroskop, das ein System umfasst, wie es in Verbindung mit einer oder mehreren der 1 bis 3 beschrieben ist. Alternativ kann ein Mikroskop Teil eines Systems sein oder mit einem System verbunden sein, wie es in Verbindung mit einer oder mehreren der 1 bis 3 beschrieben ist.
-
4 zeigt eine schematische Darstellung eines Systems 400, das zur Durchführung eines hier beschriebenen Verfahrens konfiguriert ist. Das System 400 umfasst ein Mikroskop 410 und ein Computersystem 420. Das Mikroskop 410 ist so konfiguriert, dass es Bilder aufnimmt und mit dem Computersystem 420 verbunden ist. Das Computersystem 420 ist so konfiguriert, dass es zumindest einen Teil eines hierin beschriebenen Verfahrens ausführt. Das Computersystem 420 kann so konfiguriert sein, dass es einen maschinellen Lernalgorithmus ausführt. Das Computersystem 420 und das Mikroskop 410 können getrennte Einheiten sein, können aber auch in ein gemeinsames Gehäuse integriert sein. Das Computersystem 420 kann Teil eines zentralen Verarbeitungssystems des Mikroskops 410 sein und/oder das Computersystem 420 kann Teil einer Unterkomponente des Mikroskops 410 sein, wie z. B. ein Sensor, ein Aktor, eine Kamera oder eine Beleuchtungseinheit usw. des Mikroskops 410.
-
Bei dem Computersystem 420 kann es sich um ein lokales Computergerät (z. B. Personalcomputer, Laptop, Tablet-Computer oder Mobiltelefon) mit einem oder mehreren Prozessoren und einem oder mehreren Speichergeräten handeln oder um ein verteiltes Computersystem (z. B. ein Cloud-Computersystem mit einem oder mehreren Prozessoren und einem oder mehreren Speichergeräten, die an verschiedenen Orten verteilt sind, z. B. an einem lokalen Client und/oder einer oder mehreren entfernten Serverfarmen und/oder Datenzentren). Das Computersystem 420 kann jede beliebige Schaltung oder Kombination von Schaltungen umfassen. In einer Ausführungsform kann das Computersystem 420 einen oder mehrere Prozessoren umfassen, die von beliebigem Typ sein können. Der hier verwendete Begriff „Prozessor“ kann jede Art von Rechenschaltung bezeichnen, wie z. B. einen Mikroprozessor, einen Mikrocontroller, einen CISC-Mikroprozessor (Complex Instruction Set Computing), einen RISC-Mikroprozessor (Reduced Instruction Set Computing), einen VLIW-Mikroprozessor (Very Long Instruction Word), einen Grafikprozessor, einen digitalen Signalprozessor (DSP), einen Mehrkernprozessor, ein FPGA (Field Programmable Gate Array), z. B. eines Mikroskops oder einer Mikroskopkomponente (z. B. Kamera) oder eine andere Art von Mikroskop. z. B. Kamera) oder jede andere Art von Prozessor oder Verarbeitungsschaltung. Andere Arten von Schaltkreisen, die im Computersystem 420 enthalten sein können, können ein kundenspezifischer Schaltkreis, ein anwendungsspezifischer integrierter Schaltkreis (ASIC) oder ähnliches sein, wie z. B. ein oder mehrere Schaltkreise (z. B. ein Kommunikationsschaltkreis) zur Verwendung in drahtlosen Geräten wie Mobiltelefonen, Tablet-Computern, Laptop-Computern, Zwei-Wege-Funkgeräten und ähnlichen elektronischen Systemen. Das Computersystem 420 kann eine oder mehrere Speichervorrichtungen enthalten, die ein oder mehrere für die jeweilige Anwendung geeignete Speicherelemente umfassen können, wie z. B. einen Hauptspeicher in Form eines Direktzugriffsspeichers (RAM), eine oder mehrere Festplatten und/oder ein oder mehrere Laufwerke, die Wechseldatenträger wie Compact Disks (CD), Flash-Speicherkarten, digitale Videodisks (DVD) und dergleichen verarbeiten. Das Computersystem 420 kann auch eine Anzeigevorrichtung, einen oder mehrere Lautsprecher und eine Tastatur und/oder ein Steuergerät enthalten, das eine Maus, einen Trackball, einen Touchscreen, eine Spracherkennungsvorrichtung oder eine andere Vorrichtung umfassen kann, die es einem Systembenutzer ermöglicht, Informationen in das Computersystem 420 einzugeben und von diesem zu empfangen.
-
Einige oder alle Verfahrensschritte können von einem Hardware-Gerät (oder unter Verwendung eines solchen) ausgeführt werden, wie z. B. einem Prozessor, einem Mikroprozessor, einem programmierbaren Computer oder einer elektronischen Schaltung. In einigen Ausführungsformen können ein oder mehrere der wichtigsten Verfahrensschritte von einem solchen Gerät ausgeführt werden.
-
Abhängig von bestimmten Implementierungsanforderungen können Ausführungsformen der Erfindung in Hardware oder in Software implementiert werden. Die Implementierung kann unter Verwendung eines nichttransitorischen Speichermediums wie eines digitalen Speichermediums, beispielsweise einer Diskette, einer DVD, einer Blu-Ray, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers erfolgen, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem zusammenwirken (oder zusammenwirken können), so dass das jeweilige Verfahren ausgeführt wird. Daher kann das digitale Speichermedium computerlesbar sein. Einige Ausführungsformen der Erfindung umfassen einen Datenträger mit elektronisch lesbaren Steuersignalen, die in der Lage sind, mit einem programmierbaren Computersystem zusammenzuarbeiten, so dass eines der hier beschriebenen Verfahren durchgeführt wird.
-
Im Allgemeinen können Ausführungsformen der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert werden, wobei der Programmcode zur Durchführung eines der Verfahren dient, wenn das Computerprogrammprodukt auf einem Computer läuft. Der Programmcode kann zum Beispiel auf einem maschinenlesbaren Träger gespeichert sein.
-
Andere Ausführungsformen umfassen das Computerprogramm zur Durchführung eines der hier beschriebenen Verfahren, das auf einem maschinenlesbaren Träger gespeichert ist.
-
Mit anderen Worten, eine Ausführungsform der vorliegenden Erfindung ist daher ein Computerprogramm mit einem Programmcode zur Durchführung eines der hierin beschriebenen Verfahren, wenn das Computerprogramm auf einem Computer läuft.
-
Eine weitere Ausführungsform der vorliegenden Erfindung ist daher ein Speichermedium (oder ein Datenträger oder ein computerlesbares Medium), auf dem das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren gespeichert ist, wenn es von einem Prozessor ausgeführt wird. Der Datenträger, das digitale Speichermedium oder das aufgezeichnete Medium sind typischerweise greifbar und/oder nichtübertragbar. Eine weitere Ausführungsform der vorliegenden Erfindung ist ein Gerät, wie hierin beschrieben, mit einem Prozessor und dem Speichermedium.
-
Eine weitere Ausführungsform der Erfindung ist daher ein Datenstrom oder eine Folge von Signalen, die das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren darstellen. Der Datenstrom bzw. die Signalfolge kann beispielsweise so ausgestaltet sein, dass er bzw. sie über eine Datenkommunikationsverbindung, z.B. über das Internet, übertragen werden kann.
-
Eine weitere Ausführungsform umfasst ein Verarbeitungsmittel, z. B. einen Computer oder ein programmierbares Logikgerät, das so konfiguriert oder angepasst ist, dass es eines der hierin beschriebenen Verfahren durchführen kann.
-
Eine weitere Ausführungsform umfasst einen Computer, auf dem das Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren installiert ist.
-
Eine weitere Ausführungsform der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das so konfiguriert ist, dass sie bzw. es ein Computerprogramm zur Durchführung eines der hierin beschriebenen Verfahren an einen Empfänger überträgt (z. B. auf elektronischem oder optischem Weg). Der Empfänger kann zum Beispiel ein Computer, ein mobiles Gerät, ein Speichergerät oder ähnliches sein. Die Vorrichtung oder das System kann zum Beispiel einen Dateiserver zur Übertragung des Computerprogramms an den Empfänger umfassen.
-
In einigen Ausführungsformen kann eine programmierbare Logikvorrichtung (z. B. ein feldprogrammierbares Gate-Array) verwendet werden, um einige oder alle Funktionen der hier beschriebenen Verfahren auszuführen. In einigen Ausführungsformen kann ein feldprogrammierbares Gate-Array mit einem Mikroprozessor zusammenarbeiten, um eines der hier beschriebenen Verfahren durchzuführen. Im Allgemeinen werden die Verfahren vorzugsweise von einem beliebigen Hardware-Gerät durchgeführt.
-
Der hier verwendete Begriff „und/oder“ schließt alle Kombinationen von einem oder mehreren der aufgeführten Aspekte ein und kann mit „/“ abgekürzt werden.
-
Obwohl einige Aspekte im Zusammenhang mit einem Gerät beschrieben wurden, ist es klar, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, wobei ein Block oder eine Vorrichtung einem Verfahrensschritt oder einem Merkmal eines Verfahrensschritts entspricht. Analog dazu stellen Aspekte, die im Zusammenhang mit einem Verfahrensschritt beschrieben werden, auch eine Beschreibung eines entsprechenden Blocks oder Elements oder Merkmals eines entsprechenden Geräts dar.
-
Ausführungsformen können auf der Verwendung eines maschinellen Lernmodells oder eines maschinellen Lernalgorithmus beruhen. Maschinelles Lernen kann sich auf Algorithmen und statistische Modelle beziehen, die Computersysteme verwenden können, um eine bestimmte Aufgabe ohne explizite Anweisungen auszuführen und sich stattdessen auf Modelle und Schlussfolgerungen zu stützen. Beim maschinellen Lernen kann beispielsweise anstelle einer regelbasierten Umwandlung von Daten eine Umwandlung von Daten verwendet werden, die aus einer Analyse von historischen und/oder Trainingsdaten abgeleitet wird. So kann beispielsweise der Inhalt von Bildern mit Hilfe eines maschinellen Lernmodells oder eines maschinellen Lernalgorithmus analysiert werden. Damit das maschinelle Lernmodell den Inhalt eines Bildes (oder eines anderen Parameters) analysieren kann, kann das maschinelle Lernmodell mit Trainingsbildern als Eingabe und Trainingsinhaltsinformationen als Ausgabe trainiert werden. Durch das Trainieren des maschinellen Lernmodells mit einer großen Anzahl von Trainingsbildern und/oder Trainingssequenzen (z. B. Wörter oder Sätze) und zugehörigen Trainingsinhaltsinformationen (z. B. Beschriftungen oder Anmerkungen) „lernt“ das maschinelle Lernmodell, den Inhalt der Bilder zu erkennen, so dass der Inhalt von Bildern, die nicht in den Trainingsdaten enthalten sind, mithilfe des maschinellen Lernmodells erkannt werden kann. Das gleiche Prinzip kann auch für andere Arten von Sensordaten verwendet werden: Durch das Trainieren eines maschinellen Lernmodells mit Trainings-Sensordaten und einer gewünschten Ausgabe „lernt“ das maschinelle Lernmodell eine Transformation zwischen den Sensordaten und der Ausgabe, die verwendet werden kann, um eine Ausgabe auf der Grundlage von Nicht-Trainings-Sensordaten zu liefern, die dem maschinellen Lernmodell bereitgestellt werden. Die bereitgestellten Daten (z. B. Sensordaten, Metadaten und/oder Bilddaten) können vorverarbeitet werden, um einen Merkmalsvektor zu erhalten, der als Eingabe für das maschinelle Lernmodell verwendet wird.
-
Modelle des maschinellen Lernens können mit Hilfe von Trainingsdaten trainiert werden. In den oben genannten Beispielen wird eine Trainingsmethode verwendet, die als „überwachtes Lernen“ bezeichnet wird. Beim überwachten Lernen wird das maschinelle Lernmodell anhand einer Vielzahl von Trainingsproben trainiert, wobei jede Probe eine Vielzahl von Eingabedatenwerten und eine Vielzahl von gewünschten Ausgabewerten umfassen kann, d. h. jede Trainingsprobe ist mit einem gewünschten Ausgabewert verbunden. Durch die Angabe sowohl von Trainingsmustern als auch von gewünschten Ausgabewerten „lernt“ das maschinelle Lernmodell, welchen Ausgabewert es auf der Grundlage eines Eingangsmusters liefern soll, das den während des Trainings gelieferten Mustern ähnlich ist. Neben dem überwachten Lernen kann auch das halbüberwachte Lernen verwendet werden. Beim halb-überwachten Lernen fehlt bei einigen der Trainingsmuster ein entsprechender gewünschter Ausgabewert. Überwachtes Lernen kann auf einem überwachten Lernalgorithmus beruhen (z. B. einem Klassifizierungsalgorithmus, einem Regressionsalgorithmus oder einem Ähnlichkeitslernalgorithmus). Klassifizierungsalgorithmen können verwendet werden, wenn die Ausgabewerte auf eine begrenzte Menge von Werten (kategorische Variablen) beschränkt sind, d. h. die Eingabe wird einem der begrenzten Menge von Werten zugeordnet. Regressionsalgorithmen können verwendet werden, wenn die Ausgaben einen beliebigen numerischen Wert (innerhalb eines Bereichs) haben können. Ähnlichkeitslernalgorithmen können sowohl Klassifizierungs- als auch Regressionsalgorithmen ähneln, basieren aber auf dem Lernen aus Beispielen unter Verwendung einer Ähnlichkeitsfunktion, die misst, wie ähnlich oder verwandt zwei Objekte sind. Neben dem überwachten oder halbüberwachten Lernen kann auch das unüberwachte Lernen zum Trainieren des maschinellen Lernmodells verwendet werden. Beim unüberwachten Lernen können (nur) Eingabedaten geliefert werden, und ein unüberwachter Lernalgorithmus kann verwendet werden, um eine Struktur in den Eingabedaten zu finden (z. B. durch Gruppierung oder Clustering der Eingabedaten, Auffinden von Gemeinsamkeiten in den Daten). Clustering ist die Zuordnung von Eingabedaten, die eine Vielzahl von Eingabewerten umfassen, zu Teilmengen (Clustern), so dass Eingabewerte innerhalb desselben Clusters nach einem oder mehreren (vordefinierten) Ähnlichkeitskriterien ähnlich sind, während sie sich von Eingabewerten unterscheiden, die in anderen Clustern enthalten sind.
-
Verstärkungslernen ist eine dritte Gruppe von Algorithmen des maschinellen Lernens. Mit anderen Worten, das Verstärkungslernen kann zum Trainieren des maschinellen Lernmodells verwendet werden. Beim Verstärkungslernen werden ein oder mehrere Software-Akteure (so genannte „Software-Agenten“) darauf trainiert, Aktionen in einer Umgebung auszuführen. Auf der Grundlage der durchgeführten Aktionen wird eine Belohnung berechnet. Beim Verstärkungslernen werden ein oder mehrere Software-Agenten darauf trainiert, die Aktionen so zu wählen, dass die kumulative Belohnung erhöht wird, was dazu führt, dass die Software-Agenten die ihnen gestellte Aufgabe immer besser bewältigen (was sich in steigenden Belohnungen niederschlägt).
-
Darüber hinaus können einige Techniken auf einige der Algorithmen des maschinellen Lernens angewendet werden. So kann zum Beispiel Merkmalslernen eingesetzt werden. Mit anderen Worten, das maschinelle Lernmodell kann zumindest teilweise mit Hilfe des Merkmalslernens trainiert werden und/oder der maschinelle Lernalgorithmus kann eine Merkmalslernkomponente enthalten. Die Algorithmen des Merkmalslernens, die auch als Algorithmen des Repräsentationslernens bezeichnet werden können, können die Informationen in ihren Eingaben bewahren, sie aber auch so umwandeln, dass sie nützlich werden, oft als Vorverarbeitungsschritt vor der Durchführung von Klassifizierungen oder Vorhersagen. Das Lernen von Merkmalen kann z. B. auf der Hauptkomponentenanalyse oder der Clusteranalyse basieren.
-
In einigen Beispielen kann die Erkennung von Anomalien (d. h. von Ausreißern) verwendet werden, die darauf abzielt, Eingabewerte zu identifizieren, die Verdacht erregen, weil sie sich erheblich von der Mehrheit der Eingabe- oder Trainingsdaten unterscheiden. Mit anderen Worten, das maschinelle Lernmodell kann zumindest teilweise mit Hilfe der Anomalieerkennung trainiert werden und/oder der maschinelle Lernalgorithmus kann eine Anomalieerkennungskomponente enthalten.
-
In einigen Beispielen kann der Algorithmus für maschinelles Lernen einen Entscheidungsbaum als Vorhersagemodell verwenden. Mit anderen Worten, das maschinelle Lernmodell kann auf einem Entscheidungsbaum basieren. In einem Entscheidungsbaum können Beobachtungen über ein Element (z. B. eine Reihe von Eingabewerten) durch die Zweige des Entscheidungsbaums dargestellt werden, und ein dem Element entsprechender Ausgabewert kann durch die Blätter des Entscheidungsbaums dargestellt werden. Entscheidungsbäume können sowohl diskrete Werte als auch kontinuierliche Werte als Ausgabewerte unterstützen. Werden diskrete Werte verwendet, kann der Entscheidungsbaum als Klassifikationsbaum bezeichnet werden, werden kontinuierliche Werte verwendet, kann der Entscheidungsbaum als Regressionsbaum bezeichnet werden.
-
Assoziationsregeln sind eine weitere Technik, die in Algorithmen des maschinellen Lernens verwendet werden kann. Mit anderen Worten, das maschinelle Lernmodell kann auf einer oder mehreren Assoziationsregeln beruhen. Assoziationsregeln werden durch die Identifizierung von Beziehungen zwischen Variablen in großen Datenmengen erstellt. Der Algorithmus für maschinelles Lernen kann eine oder mehrere relationale Regeln identifizieren und/oder verwenden, die das aus den Daten abgeleitete Wissen darstellen. Die Regeln können z. B. zum Speichern, Manipulieren oder Anwenden des Wissens verwendet werden.
-
Algorithmen des maschinellen Lernens basieren in der Regel auf einem Modell des maschinellen Lernens. Mit anderen Worten, der Begriff „Machine-Learning-Algorithmus“ kann eine Reihe von Anweisungen bezeichnen, die zur Erstellung, zum Training oder zur Verwendung eines Machine-Learning-Modells verwendet werden können. Der Begriff „Modell des maschinellen Lernens“ kann eine Datenstruktur und/oder einen Satz von Regeln bezeichnen, die das gelernte Wissen darstellen (z. B. auf der Grundlage des vom Algorithmus des maschinellen Lernens durchgeführten Trainings). In einigen Ausführungsformen kann die Verwendung eines maschinellen Lernalgorithmus die Verwendung eines zugrunde liegenden maschinellen Lernmodells (oder mehrerer zugrunde liegender maschineller Lernmodelle) implizieren. Die Verwendung eines maschinellen Lernmodells kann bedeuten, dass das maschinelle Lernmodell und/oder die Datenstruktur/der Regelsatz, die/der das maschinelle Lernmodell darstellt, durch einen maschinellen Lernalgorithmus trainiert wurde.
-
Bei dem maschinellen Lernmodell kann es sich beispielsweise um ein künstliches neuronales Netz (ANN) handeln. ANNs sind Systeme, die sich an biologischen neuronalen Netzen orientieren, wie sie beispielsweise in der Netzhaut oder im Gehirn zu finden sind. ANNs bestehen aus einer Vielzahl miteinander verbundener Knoten und einer Vielzahl von Verbindungen, sogenannten Kanten, zwischen den Knoten. In der Regel gibt es drei Arten von Knoten: Eingabeknoten, die Eingabewerte empfangen, versteckte Knoten, die (nur) mit anderen Knoten verbunden sind, und Ausgabeknoten, die Ausgabewerte liefern. Jeder Knoten kann ein künstliches Neuron darstellen. Jede Kante kann Informationen von einem Knoten zu einem anderen übertragen. Die Ausgabe eines Knotens kann als (nicht lineare) Funktion seiner Eingaben (z. B. der Summe seiner Eingaben) definiert werden. Die Eingänge eines Knotens können in der Funktion auf der Grundlage eines „Gewichts“ der Kante oder des Knotens, der den Eingang liefert, verwendet werden. Die Gewichtung von Knoten und/oder Kanten kann während des Lernprozesses angepasst werden. Mit anderen Worten, das Training eines künstlichen neuronalen Netzes kann die Anpassung der Gewichte der Knoten und/oder Kanten des künstlichen neuronalen Netzes umfassen, d.h. um eine gewünschte Ausgabe für eine gegebene Eingabe zu erreichen.
-
Alternativ kann das maschinelle Lernmodell eine Support-Vektor-Maschine, ein Random-Forest-Modell oder ein Gradient-Boosting-Modell sein. Support-Vektor-Maschinen (d. h. Support-Vektor-Netze) sind überwachte Lernmodelle mit zugehörigen Lernalgorithmen, die zur Analyse von Daten (z. B. bei Klassifizierungs- oder Regressionsanalysen) verwendet werden können. Support-Vektor-Maschinen können trainiert werden, indem eine Eingabe mit einer Vielzahl von Trainingseingabewerten versehen wird, die zu einer von zwei Kategorien gehören. Die Support-Vektor-Maschine kann so trainiert werden, dass sie einen neuen Eingabewert einer der beiden Kategorien zuordnet. Alternativ kann das maschinelle Lernmodell auch ein Bayes'sches Netz sein, das ein probabilistisches, gerichtetes, azyklisches grafisches Modell ist. Ein Bayes'sches Netzwerk kann eine Reihe von Zufallsvariablen und ihre bedingten Abhängigkeiten durch einen gerichteten azyklischen Graphen darstellen. Alternativ kann das maschinelle Lernmodell auf einem genetischen Algorithmus basieren, einem Suchalgorithmus und einer heuristischen Technik, die den Prozess der natürlichen Selektion nachahmt.
-
Liste der Bezugszeichen
-
- 100a
- erstes Szenario zur Validierung
- 100b
- zweites Szenario zur Validierung
- 102
- Probe an ursprünglicher Fokusebene
- 102a
- Probe an ursprünglicher Fokusebene
- 102b
- Fokusebene vor Drift
- 102c
- driftkorrigierte Fokusebene
- 104
- Schwellwert
- 106
- erster Driftwert
- 108
- driftgemäße Änderung Fokusebene
- 110
- erster Driftwert
- 200
- Anpassung Fokussuchbereich
- 202a
- erste Fokusebene
- 202b
- zweite Fokusebene
- 202c
- dritte Fokusebene
- 204a
- erster Fokussuchbereich
- 204b
- zweiter Fokussuchbereich
- 206a
- Breite des ersten Fokussuchbereichs
- 206b
- Breite zweiter Fokussuchbereich
- 208a
- erster Driftwert
- 208b
- zweite Drift
- 210
- Referenzhöhe
- 300
- Verfahren zur Fokussierung
- 310
- Bestimmung erster Schwellwert
- 320
- Messung erster Driftwert
- 330
- Vergleich erster Driftwert mit erstem Schwellwert
- 340
- Ausgeben eines validen Driftwertes
- 350
- Aktualisieren Fokussuchbereich
- 400
- Mikroskopsystem
- 410
- Mikroskop
- 420
- Computer