DE68915151T2 - Semiconductor microscope. - Google Patents
Semiconductor microscope.Info
- Publication number
- DE68915151T2 DE68915151T2 DE1989615151 DE68915151T DE68915151T2 DE 68915151 T2 DE68915151 T2 DE 68915151T2 DE 1989615151 DE1989615151 DE 1989615151 DE 68915151 T DE68915151 T DE 68915151T DE 68915151 T2 DE68915151 T2 DE 68915151T2
- Authority
- DE
- Germany
- Prior art keywords
- image
- semiconductor
- receiver
- spectral
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Microscoopes, Condenser (AREA)
Description
Die vorliegende Erfindung betrifft ein quantitatives Lichtmikroskop und ein Spektrometer mit einem Halbleiterdetektor und ein Verfahren zur Ausgabe und zur Bearbeitung von Bildern. Handelt es sich bei dem Halbleiterdetektor um einen ladungsgekoppelten Speicher (CCD), so wird die Erfindung als CCD-Mikroskop bezeichnet. In Ihrer allgemeinsten Form kann die Erfindung als ein Halbleiter- Mikroskop und ein Spektrometer bezeichnet werden.The present invention relates to a quantitative light microscope and a spectrometer with a semiconductor detector and a method for outputting and processing images. If the semiconductor detector is a charge-coupled device (CCD), the invention is referred to as a CCD microscope. In its most general form, the invention can be referred to as a semiconductor microscope and a spectrometer.
Für viele Anwendungen, bei denen die Mikroskopie angewendet wird, z.B. die Biologie, Medizin, Materialforschung etc., müssen die Bilder elektronisch aufgenommen und zum Speichern oder zur Bildverarbeitung digitalisiert werden. Diese Arbeit kann durch Verwendung eines zusammengesetzten optischen Mikroskops erfolgen, bei dem ein konventionelles Mikroskop mit einem Video-Detektor einschließlich solcher Video-Detektoren versehen ist, bei denen ein ladungsgekoppelter Speicher als Bildempfänger verwendet wird. Die durch den Video-Detektor erhaltenen Signale werden in Video-Signale transformiert, welche danach mittels einer Bild-Verarbeitungseinrichtung digitalisiert, durch einen digitalen Signalverarbeiter weiterverarbeitet und in einem Bildspeicher abgespeichert werden können. Da die Videosignale auf dem TV-Breitbandstandard basieren und es sich dabei um Analogsignale handelt, eignen sie sich nicht optimal für die guantitative Bildverarbeitung. Des weiteren sind die Lichtwege in derartigen Systemen im allgemeinen komplex: Abseits des Mikroskopobjektives passiert das Licht einen Strahlteiler oder aber wird durch halbdurchlässige Spiegel reflektiert und passiert danach zumindest eine Vergrößerungslinse, bei der es sich um ein Okular oder aber um eine Projektionslinse handeln kann. Es sind also eine Vielzahl von optischen Elementen notwendig, welche das Licht passieren muß, bevor es den Video-Detektor erreicht. Hierdurch werden ein inhärenter Grad an Verzerrung und Aberration des Bildes sowie auch ein bedeutender Lichtverlust verursacht.For many applications in which microscopy is used, e.g. biology, medicine, materials research, etc., the images must be recorded electronically and digitized for storage or image processing. This work can be done using a compound optical microscope, in which a conventional microscope is equipped with a video detector, including video detectors that use a charge-coupled memory as an image receiver. The signals obtained by the video detector are transformed into video signals, which can then be digitized by an image processing device, further processed by a digital signal processor, and stored in an image memory. Since the video signals are based on the TV broadband standard and are analog signals, they are not ideally suited for quantitative image processing. Furthermore, the light paths in such systems are generally complex: Away from the microscope objective, the light passes through a beam splitter or but is reflected by semi-transparent mirrors and then passes through at least one magnifying lens, which may be an eyepiece or a projection lens. Thus, there are a number of optical elements that the light must pass through before it reaches the video detector. This causes an inherent degree of distortion and aberration of the image, as well as a significant loss of light.
Zahlreiche digitale Bildmikroskopvorrichtungen der oben genannten Art sind käuflich erhältlich. Eine Vielzahl großer und kleiner Firmen liefert vielfältige Sonderausstattungen zur technischen Bildverarbeitung. Beispielhaft seien die Systeme von Zeiss (IBAS 2000), Becton Dickinson (CAS 200), Cambridge Instruments (Quantimet 920/970) und Leitz (TAS Plus) genannt. In der Tat werden diese Geräte umfassend in der Materialforschung und auch sonst verwendet. In der Zell-Biologie und in der Medizin werden sie im allgemeinen als zytometrische Bildvorrichtungen bezeichnet. In den meisten Fällen handelt es sich beim Bilddetektor um eine Videokamera, von der ein Bild über eine Bildverarbeitungseinrichtung aufgenommen werden kann. Das digitalisierte Bild kann dann mittels einer Vielzahl von Techniken mit Computern oder speziellen Bildverarbeitungsvorrichtungen manipuliert werden.Numerous digital imaging microscope devices of the above type are commercially available. A number of large and small companies supply a wide variety of special equipment for technical image processing. Examples include the systems from Zeiss (IBAS 2000), Becton Dickinson (CAS 200), Cambridge Instruments (Quantimet 920/970) and Leitz (TAS Plus). In fact, these devices are used extensively in materials research and elsewhere. In cell biology and medicine, they are generally referred to as cytometric imaging devices. In most cases, the image detector is a video camera from which an image can be recorded via an image processing device. The digitized image can then be manipulated using a variety of techniques with computers or special image processing devices.
Eine alternative Möglichkeit für den Bildempfang stellt die Verwendung des durch Palcic, Jaggi und Nordin (US-PS 4,700,298) entwickelten dynamischen Mikroskop-Bildverarbeitungs-Scanners dar. Bei diesem Gerät handelt es sich beim Bildempfänger um eine CCD-Halbleiter-Vorrichtung aus einem linearen Array von Photodetektoren. Das Bild kann durch die Mikroskopoptiken dadurch erhalten werden, daß die Probe auf einem Präzisions-Mikroskop-Objekttisch in Mikrometerschritten synchron mit dem Empfang einzelner Linien bewegt wird. Alternativ kann das Bild abgetastet werden, indem der Empfänger über das vergrößerte Mikroskopbild bewegt wird. Eine ähnliche Verfahrenslösung ist aus der US-PS 4,398,211 (Young) bekannt, welches einen linearen Halbleiter-Bildempfänger mit einem Tast-Galvanometerspiegel (Hinzufügen eines anderen Spiegels und eines mechanischen Elementes zum System) zum Abtasten in einer der zwei orthogonalen Richtungen verwendet, während der Sensor die andere Richtung abtastet.An alternative way of receiving images is to use the dynamic microscope image processing scanner developed by Palcic, Jaggi and Nordin (US-PS 4,700,298). In this device, the image receiver is a CCD semiconductor device consisting of a linear array of photodetectors. The image can be obtained through the microscope optics by the sample is moved on a precision microscope stage in micrometer steps in synchronization with the reception of individual lines. Alternatively, the image can be scanned by moving the receiver over the magnified microscope image. A similar method solution is known from US-PS 4,398,211 (Young), which uses a linear semiconductor image receiver with a scanning galvanometer mirror (adding another mirror and a mechanical element to the system) for scanning in one of the two orthogonal directions while the sensor scans the other direction.
Die EP-A-0 153 139 beschreibt ein Breitbandspektrometersystem mit einem Beugungsgitter und einem Faseroptikbündel zur Projektion eines Bildes auf einen zweidimensionalen Halbleiter-Bildempfänger. Aus der EP-A-0 265 067 ist ein weiteres Beispiel eines Abbildungssystems bekannt, welches einen zweidimensionalen Halbleiter-Bildempfänger zum Empfang eines vergrößerten Bildes durch konventionelle Optiken verwendet.EP-A-0 153 139 describes a broadband spectrometer system with a diffraction grating and a fiber optic bundle for projecting an image onto a two-dimensional semiconductor image receiver. EP-A-0 265 067 discloses another example of an imaging system which uses a two-dimensional semiconductor image receiver to receive a magnified image through conventional optics.
Alle genannten Systeme weisen aufgrund der großen Anzahl von optischen und mechanischen Elementen in den Bildsystemen als Nachteil eine starke Bildverschlechterung auf. Video-Detektoren verwendende Systeme leiden unter einer zusätzlichen Verschlechterung des Bildes, da die Umwandlung der detektierten Lichtintensitäten in Video- Signale eine Verzerrung des Originalbildes bedingt. Auch weisen viele Videokameras ein typisches Bildformat von 4:3 oder HDTV-Kameras eines von 5:3 auf. Hierdurch wird die Berechnung der x-, y-Funktionen des Bildes schwierig und führt im allgemeinen zu einer weiteren Verzerrung des "wahren" Bildes. Zusätzliche Probleme bei quantitativen Mikroskopen mit Video-Kameras sind die Verschachtelung und die automatische Verstärkerregelung. Das geringe, durch die Mikroskop-Videosysteme verursachte Blickfeld erschwert eine visuelle Objektsuche. Werden Bilder mittels Abtastverfahren mit einem linearen Array aufgenommen, z.B. mit dem dynamischen Mikroskop-Bildverarbeitungs-Scanner aus dem US-PS 4,700,298 (Palcic et al) oder dem US-PS 4,398,211 (Young), dann wird das Bild in diskreten Mengen digitalisiert, und die Bildpunkte werden guadriert. Jedoch bleiben auch weiterhin optische Verzerrungen aufgrund der Verwendung von Mikroskopoptiken, und, was noch wichtiger ist, eine Bildaufnahme in Echtzeit ist im allgemeinen nicht möglich. Ein typisches Bild kann lediglich in ein paar Sekunden erhalten werden.All of the above systems have the disadvantage of severe image degradation due to the large number of optical and mechanical elements in the imaging systems. Systems using video detectors suffer from additional image degradation because the conversion of the detected light intensities into video signals causes distortion of the original image. Many video cameras also have a typical image format of 4:3 or HDTV cameras have a format of 5:3. This makes the calculation of the x, y functions of the image difficult and generally leads to further distortion of the "true" image. Additional problems with quantitative microscopes with video cameras are the nesting and automatic gain control. The narrow field of view caused by microscope video systems makes visual object search difficult. When images are acquired using linear array scanning techniques, such as the dynamic microscope image processing scanner of U.S. Patent 4,700,298 (Palcic et al) or U.S. Patent 4,398,211 (Young), the image is digitized in discrete amounts and the pixels are squared. However, optical distortions remain due to the use of microscope optics and, more importantly, real-time image acquisition is generally not possible. A typical image can only be obtained in a few seconds.
Schließlich weiß man auch dann, wenn es möglich ist, ein Bild zu erhalten, unabhängig von der Zeit hierzu oder aber der Verzerrung nie, welcher Teil des Bildes von Interesse ist und welcher nicht. Es existiere beispielsweise ein kleines Element in einem großen Blickfeld: Lediglich das Element ist von Interesse, und die meisten Bildpunktdaten stammen vom Hintergrund, der keine nützliche Information enthält. In einem konventionellen System muß das gesamte Bild verarbeitet werden, bevor man das interessierende Objekt bzw. die interessierenden Objekte gefunden hat. Dies ist eine zeitaufwendige Operation, welche im allgemeinen eine Datenanalyse in Echtzeit verhindert.Finally, even if it is possible to obtain an image, regardless of the time it takes or the distortion, one never knows which part of the image is of interest and which is not. For example, there is a small element in a large field of view: only the element is of interest, and most of the pixel data comes from the background, which contains no useful information. In a conventional system, the entire image must be processed before the object(s) of interest are found. This is a time-consuming operation that generally prevents real-time data analysis.
Die vorliegende Erfindung umgeht diese Probleme durch direkte Projektion des Bildes über eine hochauflösende Linse (ein Objektiv) auf ein großes zweidimensionales CCD-Array oder einen ähnlichen Halbleiter-Bildempfänger, welcher in der primären Bildebene angeordnet ist. Entsprechend weist die vorliegende Erfindung als erstes Merkmal ein Halbleiter-Mikroskop auf mitThe present invention circumvents these problems by directly projecting the image via a high resolution lens (objective) onto a large two-dimensional CCD array or similar solid state image detector located in the primary image plane. Accordingly The present invention has as a first feature a semiconductor microscope with
einer Beleuchtungslichtquelle mit Beleuchtungsaufbereitungseinrichtungen, einem beweglichen Tisch zur X-, Y- oder Z-Verlagerung zur Positionierung und Abtastung eines Objektes unter dem Mikroskop;an illumination light source with light processing devices, a movable table for X, Y or Z displacement for positioning and scanning an object under the microscope;
einem hochbildfehlerkorrigierten Objektiv mit großer numerischer Apertur und einem ultraweiten geebneten Feld zur Erzeugung und Projektion einer vergrößerten Abbildung auf einen zweidimensionalen Halbleiter-Bildempfänger, der in der primären Bildebene des Objektes angeordnet ist, wobei der Bildempfänger einen großen Empfangsbereich mit hoher Bildpunktdichte besitzt und der räumlichen Verteilung der Helligkeitspunkte des Bildes entsprechende Signale erzeugt;a highly aberration-corrected lens with a large numerical aperture and an ultra-wide flat field for generating and projecting a magnified image onto a two-dimensional semiconductor image receiver arranged in the primary image plane of the object, the image receiver having a large reception area with a high pixel density and generating signals corresponding to the spatial distribution of the brightness points of the image;
mit dem Halbleiter-Bildempfänger verbundene Analog-Digital-Wandlereinrichtungen zur Verarbeitung und Umwandlung der Signale des Halbleiter-Bildempfängers, um Echtzeit- Digitalbilder des Objektes zu erzeugen;analog-to-digital converter devices connected to the semiconductor image receiver for processing and converting the signals from the semiconductor image receiver to produce real-time digital images of the object;
mit den Analog-Digital-Wandlereinrichtungen verbundene Eichungs- und Korrektureinrichtungen zur Verbesserung der Echtzeit-Digitalbilder, um optische und erkennungsabhängige Verzerrungen zu berücksichtigen;calibration and correction devices connected to the analog-to-digital conversion devices for enhancing the real-time digital images to account for optical and detection-related distortions;
einen mit der Eichungs- und Korrektureinrichtung verbundenen Bildspeicher, in den die Echtzeit-Digitalbilder kontinuierlich eingeladen werden;an image storage device connected to the calibration and correction device into which the real-time digital images are continuously loaded;
mit dem Bildspeicher verbundene Abbildungsprozessoren zur Verarbeitung der digitalen Echtzeitbilder in ein Ausgabebild; undimage processors connected to the image memory for processing the real-time digital images into an output image; and
mit Ausgabeeinrichtungen, welche mit den Abbildungsprozessoren zur Ausgabe des von den Bildprozessoren erzeugten Anzeigebildes gekoppelt sind.with output devices which are coupled to the image processors for outputting the display image generated by the image processors.
Da ein einzelnes optisches Element (das Objektiv) zur Projektion des Bildes auf das Halbleiter-Bildempfänger- Array in der primären Bildebene der Objektivlinse verwendet wird, liegt bei der vorliegenden Erfindung nur eine minimale Verschlechterung des Bildes vor. In der Mikroskopie kann die "primäre" Bildebene auch auf die Zwischenbildebene oder die Hauptbildebene bezogen sein. Das empfangene diskrete Bild wird digitalisiert, aufbereitet und in Echtzeit verarbeitet und kann auf einem hochauflösenden RGB-Analog-Monitor oder jedem anderen Digitalsignale aufnehmenden Ausgabegerät angezeigt werden. Der Halbleiter-Bildempfänger weist ein zweidimensionales Array aus einzelnen Detektoren auf, wobei es sich um Quadratbildpunkte von wenigen µm handelt. Die diskreten Analogsignale der einzelnen Bildpunkte werden direkt digitalisiert und dabei niemals in ein Videosignal umgewandelt. Die Signale des gesamten Arrays aus Detektoren oder von Teilen des Arrays können verarbeitet und auf Anforderung angezeigt werden. Des weiteren beinhaltet die vorliegende Erfindung ein Spektrometer, mitSince a single optical element (the lens) is used to project the image onto the semiconductor image receiver array in the primary image plane of the objective lens, there is minimal image degradation in the present invention. In microscopy, the "primary" image plane may also refer to the intermediate image plane or the main image plane. The discrete image received is digitized, conditioned and processed in real time and can be displayed on a high-resolution RGB analog monitor or any other output device that accepts digital signals. The semiconductor image receiver has a two-dimensional array of individual detectors, which are square pixels of a few µm. The discrete analog signals of the individual pixels are digitized directly and are never converted to a video signal. The signals from the entire array of detectors or from parts of the array can be processed and displayed on demand. Furthermore, the present invention includes a spectrometer with
einer Beleuchtungslichtquelle mit Beleuchtungsaufbereitungseinrichtungen;an illumination light source with lighting conditioning devices;
einem beweglichen Tisch für X-, Y- und Z-Verlagerungen zur Positionierung und Abtastung eines Objektes unter dem Spektrometer;a movable table for X, Y and Z displacements for positioning and scanning an object under the spectrometer;
einem hochbildfehlerkorrigierten Objektiv mit großer numerischer Apertur und einem ultraweiten geebneten Feld zur Erzeugung und Projektion eines vergrößerten Abbildes des Objekts auf ein in der primären Bildebene neben einem zweidimensionalen Halbleiter-Bildempfänger angeordnetes Prismaelement, wobei der Bildempfänger einen großen Empfangsbereich mit hoher Bildpunktdichte besitzt und das Prismaelement einen Teil des vergrößerten Abbildes als Bildabtastzeile, welche zumindest der Breite einer Bildpunktreihe entspricht, überträgt, wobei die Abtastzeile durch das Prisma in Spektrallinien zerlegt wird und der Bildempfänger so angeordnet ist, daß jede Spektrallinie der Abtastzeile auf einen anderen Bildpunktbereich des Halbleiter-Bildempfängers projiziert wird;a highly aberration-corrected lens with a large numerical aperture and an ultra-wide flat field for generating and projecting a magnified image of the object onto a prism element arranged in the primary image plane next to a two-dimensional semiconductor image detector, the image detector having a large reception area with a high pixel density and the prism element transmitting a portion of the magnified image as an image scanning line which corresponds at least to the width of a row of pixels, the scanning line being broken down into spectral lines by the prism and the image detector being arranged such that each spectral line of the scanning line is projected onto a different pixel area of the semiconductor image detector;
mit dem Halbleiter-Bildempfänger verbundene Analog-Digital-Umwandlereinrichtungen zur Verarbeitung und zur Umwandlung des Signals vom Halbleiter-Bildempfänger in Echtzeit-Spektralbilder des Objektes;analog-digital converter devices connected to the semiconductor image receiver for processing and converting the signal from the semiconductor image receiver into real-time spectral images of the object;
mit den Analog-Digital-Wandlereinrichtungen gekoppelte Eichungs- und Korrektureinrichtungen zur Verbesserung der Echtzeit-Digitalbilder, um optische und erkennungsabhängige Verzerrungen zu berücksichtigen;calibration and correction devices coupled to the analog-to-digital conversion devices for enhancing the real-time digital images to account for optical and detection-related distortions;
mit den Eichungs- und Korrektureinrichtungen verbundene Bildspeichereinrichtungen, in die die Echtzeit-Spektralbilder kontinuierlich eingeladen werden;image storage devices connected to the calibration and correction devices into which the real-time spectral images are continuously loaded;
mit dem Bildspeicher verbundene Bildprozessoren zur Verarbeitung der Echtzeit-Spektralbilder zu einem Ausgabebild; undimage processors connected to the image memory for processing the real-time spectral images into an output image; and
mit dem Abbildungsprozessor verbundene Anzeigeeinrichtungen zur Ausgabe des Anzeigebildes, welches durch die Bildprozessoren erzeugt wurde.display devices connected to the image processor for outputting the display image generated by the image processors.
Einzelne selektierte Linien oder selektierte Abschnitte des Arrays können empfangen, verarbeitet oder gespeichert werden. Diese lokalen Bereiche oder Bildpunkte können festgelegt sein oder aber jeweils ausgewählt werden. Bei derartigen Anwendungen kann es vorteilhaft sein, wenn es sich bei dem zweidimensionalen Detektorarray um ein Charge-Injection-Device (CID) handelt. Dieser Halbleiter- Bildempfänger ermöglicht auf einfache Weise einen schnellen Zugriff auf Bildpunkte des Abbilds.Individual selected lines or selected sections of the array can be received, processed or stored. These local areas or pixels can be fixed or selected individually. In such applications it can be advantageous if the two-dimensional detector array is a charge injection device (CID). This semiconductor image receiver enables quick access to pixels of the image in a simple manner.
Beispielsweise kann das verarbeitete Signal eines Bildpunktes oder einer Linie von Bildpunkten zum Triggern eines ausgewählten Arraybereiches zum Empfang eines begrenzten Bildes auf dem Bereich verwendet werden. Auf diese Weise sind lediglich die minimal zur Analyse von gewählten Objekten benötigten Daten zu verarbeiten.For example, the processed signal of a pixel or line of pixels can be used to trigger a selected array region to receive a limited image on the region. In this way, only the minimum data required to analyze selected objects needs to be processed.
Weitere Merkmale der Erfindung sind in den beiliegenden Zeichnungen dargestellt. Dabei zeigt:Further features of the invention are shown in the accompanying drawings.
Fig. 1 ein schematisches Blockdiagramm einer bevorzugten Ausführungsform der vorliegenden Erfindung, welche die Transmission des Lichtes durch das zu beobachtende Objekt zur Projizierung eines Abbildes auf den Halbleiter- Bildempfänger verwendet;Fig. 1 is a schematic block diagram of a preferred embodiment of the present invention, which uses the transmission of light through the object to be observed for projecting an image onto the semiconductor image receptor;
Fig. 2 ein vereinfachtes Flußdiagramm der Arbeitsweise des Halbleiter-Mikroskops;Fig. 2 is a simplified flow chart of the operation of the semiconductor microscope;
Fig. 3 einen Monitorausdruck von mittels der vorliegenden Erfindung aufgenommenen eingefärbten roten und weißen menschlichen Blutkörperchen, wobei ein 3-Niveau-Konturplot eines Bereiches des Monitorausdruckes ebenfalls dargestellt ist;Fig. 3 is a monitor printout of stained red and white human blood cells acquired by the present invention, with a 3-level contour plot of a region of the monitor printout also shown;
Fig. 4 ein schematisches Blockdiagramm einer anderen Ausführungsform der vorliegenden Erfindung, wobei vom zu beobachtenden Objekt reflektiertes Licht zur Projektion eines Abbildes auf einen Halbleiter-Bildempfänger verwendet wird;Fig. 4 is a schematic block diagram of another embodiment of the present invention, wherein light reflected from the object to be observed is used to project an image onto a semiconductor image detector;
Fig. 5 ein weiteres Merkmal der vorliegenden Erfindung in Form eines Spektrometers, welches ein Prisma zur Projektion spektraler Abtastlinien eines Objektes auf einen Halbleiter-Bildempfänger verwendet;Fig. 5 shows another feature of the present invention in the form of a spectrometer which uses a prism to project spectral scan lines of an object onto a semiconductor image detector;
Fig. 6 ein zweidimensionales Abbild von weißen und roten Blutkörperchenwelches durch die Verwendung von spektralen Abtastlinien zweier unterschiedlicher Wellenlängen aus Fig. 5 erzeugt wird; undFig. 6 a two-dimensional image of white and red blood cells which was obtained by using spectral scan lines of two different wavelengths from Fig. 5; and
Fig. 7 das Abtastverfahren des Halbleiter- Bildempfängers der vorliegenden Erfindung, wobei lediglich der Bereich des Arrays, welcher das interessierende Abbild des Objektes enthält, durch das Halbleiter-Mikroskop verarbeitet wird;Fig. 7 illustrates the scanning process of the semiconductor image detector of the present invention, wherein only the region of the array containing the image of the object of interest is processed by the semiconductor microscope;
Fig. 8 eine vereinfachte schematische Ansicht eines herkömmlichen zusammengesetzten Mikroskopes; undFig. 8 is a simplified schematic view of a conventional compound microscope; and
Fig. 9 eine vereinfachte schematische Ansicht eines erfindungsgemäßen Halbleiter-Mikroskops.Fig. 9 is a simplified schematic view of a semiconductor microscope according to the invention.
Die in Fig. 1 schematisch dargestellte erfindungsgemäße, das Transmissionsverfahren verwendende Ausführungsform weist eine Lichtquelle 1 mit einem Kondensor 2, ein Diffusionsfilter 3 und ein wahlweise zusätzliches Filter 4, einen durch Schrittmotoren angetriebenen x-, y-, z-Tisch 5, welcher durch eine Steuerung 13 mit einem Steuerknüppel gesteuert wird, ein Objektiv 5, einen zweidimensionalen Halbleiter-Bildempfänger 7, einen Analog-Digital-Wandler 8, einen Bildspeicher mit Bildprozessoren 9, einen Computer 12, einen Großbildmonitor 10 und eine Schreibmarkensteuerung 11 auf. Fig. 4 zeigt die erfindungsgemäße, mit reflektiertem Licht arbeitende Ausführungsform, in welcher die Lichtquelle 1 das zu beobachtende Objekt derart beleuchtet, daß das Bild vom Objekt auf das Objektiv 6 reflektiert wird. Der einzige Unterschied zwischen diesen beiden Ausführungsformen der vorliegenden Erfindung besteht in der Anordnung der Lichtquelle 1, des Kondensors 2, des Diffusionsfilters 3 und des wahlweise zusätzlichen Filter 4 relativ zum zu beobachtenden Objekt.The embodiment of the invention using the transmission method, shown schematically in Fig. 1, has a light source 1 with a condenser 2, a diffusion filter 3 and an optional additional filter 4, an x, y, z table 5 driven by stepper motors, which is controlled by a control 13 with a joystick, an objective 5, a two-dimensional semiconductor image receiver 7, an analog-digital converter 8, an image memory with image processors 9, a computer 12, a large-screen monitor 10 and a cursor control 11. Fig. 4 shows the embodiment of the invention working with reflected light, in which the light source 1 illuminates the object to be observed in such a way that the image from the object is reflected onto the objective lens 6. The only difference between these two embodiments of the present invention is the arrangement of the light source 1, the condenser 2, the diffusion filter 3 and the optional additional filter 4 relative to the object to be observed.
Bei der Lichtquelle 1 handelt es sich um eine leistungsfähige, stabilisierte Lichtquelle, welche Wellenlängen in einem Bereich vom nahen Infrarot bis zum kurzen Ultraviolett emittiert. Beispiele sind Halogen- oder Quecksilberquellen oder ein gepulster Laser. Diese Lichtquellen sind zusammen mit dem Kondensor 2 käuflich erhältlich (z.B. Optikon Inc. oder Nikon Canada Inc.). Gleiches gilt für die stabilisierte Spannungsversorgung (z. B. Xantrex Technology Inc. oder Kikusui Electronics Corp.). Werden Lichtquellen mit einem ausgewählten Spektrum benötigt, können Spezialfilter 4, Prismen oder Monochromatoren verwendet werden. Für die Arbeit im ultravioletten oder infraroten Bereich des elektromagnetischen Spektrums können Lichtguellen mit gewünschtem spektralen Emissionsbereich gewählt werden. Im allgemeinen muß die Ausführung des Halbleiter-Bildempfängers 7 an die gewählte Wellenlänge der gewählten Lichtquelle 1 angepaßt werden.The light source 1 is a powerful, stabilized light source that emits wavelengths in a range from the near infrared to the short ultraviolet. Examples are halogen or mercury sources or a pulsed laser. These light sources are commercially available together with the condenser 2 (e.g. Optikon Inc. or Nikon Canada Inc.). The same applies to the stabilized power supply (e.g. Xantrex Technology Inc. or Kikusui Electronics Corp.). If light sources with a selected spectrum are required, special filters 4, prisms or monochromators can be used. For work in the ultraviolet or infrared range of the electromagnetic spectrum, light sources with the desired spectral emission range can be selected. In general, the design of the semiconductor image receiver 7 must be adapted to the selected wavelength of the selected light source 1.
Es ist erwünscht, daß der die Probe tragende Tisch 5 durch einen Motor angetrieben wird, wobei präzise schrittweise Bewegungen in x-, y-, und z-Richtung möglich sind. In einer bevorzugten Ausführungsform der vorliegenden Erfindung wird der Tisch 5 durch Schrittmotoren angetrieben, welche Bewegungen im Bereich von 0,1 µm, 0,25 µm oder 1 µm pro Schritt je nach gewünschter Präzision und Geschwindigkeit der Bewegungen in x-, y- und z-Richtung ausführen kann. Solch präzise Antriebe sind bei Herstellern wie den Gebrüdern Marzhauser, Wetzlar GmbH, erhältlich. Die Steuerung 13 steuert die Schrittmotoren, wobei die Anzahl der Schritte und die Geschwindigkeit, mit der die Schritte durchgeführt werden, einschließlich der Beschleunigung und der Abbremsung des Tisches 5 gesteuert werden. Heutige Steuerungen können bis zu 20.000 Schritte pro Sekunde in allen drei Richtungen gleichzeitig bewältigen (z.B. Lang-Electronik GmbH). Die Steuerung 13 ist bevorzugt computergesteuert, um eine automatische Feineinstellung des Halbleiter-Mikroskopes zu ermöglichen. Alternativ hierzu kann der Tisch 5 mittels eines an der Steuerung 13 vorgesehenen Steuerknüppels gesteuert werden, um eine manuelle Bewegung des Tisches 5 zu ermöglichen.It is desirable that the table 5 carrying the sample is driven by a motor, whereby precise step-by-step movements in the x, y and z directions are possible. In a preferred embodiment of the present invention, the table 5 is driven by stepper motors, which can perform movements in the range of 0.1 µm, 0.25 µm or 1 µm per step depending on the desired precision and speed of the movements in the x, y and z directions. Such precise drives are available from manufacturers such as Gebrüder Marzhauser, Wetzlar GmbH. The controller 13 controls the stepper motors, controlling the number of steps and the speed at which the steps are performed, including the acceleration and deceleration of the table 5. Today's controllers can handle up to 20,000 steps per second in all three directions simultaneously (e.g. Lang-Electronik GmbH). The controller 13 is preferably computer-controlled to enable automatic fine adjustment of the semiconductor microscope. Alternatively, the table 5 can be controlled by means of a joystick provided on the controller 13 to enable manual movement of the table 5.
Das Objektiv 6 stellt den kritischen Teil des Systems dar. Es ist erwünscht, ein austauschbares Objektiv mit einer großen numerischen Apertur (N.A.) zu verwenden. Bei der Verwendung von sichtbarem Licht beträgt der minimale Abstand zwischen zwei noch auflösbaren aneinandergrenzenden Punkten ungefähr 0,15 µm. Die optische Auflösung R ist durch den Ausdruck The objective 6 represents the critical part of the system. It is desirable to use an interchangeable objective with a large numerical aperture (NA). When using visible light, the minimum distance between two adjacent points that can still be resolved is approximately 0.15 µm. The optical resolution R is given by the expression
begrenzt, wobei λ die Wellenlänge der verwendeten Lichtquelle ist. Also verbessert auch ein Hochleistungsobjektiv mit einer Projektions- oder Okularlinse nicht die theoretisch erreichbare Auflösung von 0,15 µm, welche durch ein sichtbares Licht verwendendes Objektiv geringer Leistung und hoher numerischer Apertur geliefert wird. Ein weiterer Aspekt des Objektivs mit hoher numerischer Apertur und des Fehlens eines zusätzlichen Okulars zur Vergrößerung besteht in einer beträchtlichen Verbesserung der Beleuchtung, da die Beleuchtung I annähernd proportional zu (N.A)² / M² ist, wobei N.A. die numerische Apertur des Objektivs und M die Gesamtvergrößerung des Mikroskops sind. Es ist also wichtig, ein Objektiv 6 zu verwenden, welches ein Flachbild mit minimaler Aberration und Verzerrung in die primäre Bildebene, wo der flache zweidimensionale Bildempfänger 7 angeordnet ist, projiziert. Flachbilder liefernde Objektive sind als Plan-Apochromat-Linsen bekannt und käuflich bei Firmen wie Zeiss Canada Inc., Leitz-Wild AG oder Nikon Canada Inc. erhältlich., where λ is the wavelength of the light source used. Thus, even a high-performance objective with a projection or eyepiece lens does not improve the theoretically achievable resolution of 0.15 µm provided by a low-power, high numerical aperture objective using visible light. Another aspect of the high numerical aperture objective and the lack of an additional eyepiece for Magnification consists in a considerable improvement in illumination, since the illumination I is approximately proportional to (NA)² / M², where NA is the numerical aperture of the objective and M is the total magnification of the microscope. It is therefore important to use an objective 6 which projects a flat image with minimal aberration and distortion into the primary image plane where the flat two-dimensional image receptor 7 is located. Objectives which provide flat images are known as plan-apochromat lenses and are commercially available from companies such as Zeiss Canada Inc., Leitz-Wild AG or Nikon Canada Inc.
Der Halbleiter-Bildempfänger 7 stellt gemeinsam mit dem Objektiv 6 den wichtigsten Teil des Halbleiter-Mikroskops dar. Durch erst kürzlich erzielte Fortschritte in der CCD- und VLSI (sehr große Skalenintegration)-Technologie sind große Sensorarrays erhältlich, welche für die vorliegende Erfindung geeignet sind. In einer bevorzugten Ausgestaltung der vorliegenden Erfindung handelt es sich bei dem zweidimensionalen Halbleiter-Bildempfänger um ein ladungsgekoppeltes Gerät (CCD) mit über einer Million einzelner Bildpunktelemente in mehr als 1.000 Reihen und 1.000 Spalten von weniger als 10 µm x 10 µm Größe (Bildpunktdichte größer als 10.000 Bildpunkte pro Quadratmillimeter). Diese Anforderungen basieren auf Nyquists Theorie und experimentellen Ergebnissen. Verschiedene Sensoren mit großen Bereichen und kleiner Bildpunktgröße sind käuflich erhältlich, z.B. Texas Instrument mit 1024 x 1024 Bildpunkten mit 10 µm x 10 µm Bildpunktelementen; Kodak KAF 1400, 1320 x 1035 Bildpunkte mit 6,8 µm x 6,8 µm Bildpunktelementen. Alternativ können eine ladungsgekoppelte Photodiode (CCPD) oder ein Ladungs-Zuführgerät (CID) oder jeder andere zweidimensionale Halbleiter-Bildempfänger verwendet werden, welcher eine ausreichende räumliche oder photometrische Auflösung für die Sensornutzung aufweist. Bevorzugt wird der Halbleiter-Bildempfänger 7 gekühlt, um ein besseres Signal-Rausch-Verhältnis, geringere Dunkelströme, eine weniger gestörte Reflexion und einen größeren dynamischen Bereich aufzuweisen, um einen empfindlicheren Bildempfänger zu erhalten und größere Integrationszeiten zu ermöglichen. Die Kühlung wird mittels thermoelektrischer Kühlvorrichtungen (z.B. Marlow Industries, Inc.) erreicht. Für niedrigere Temperaturen, z.B. unterhalb von 240 K, können Tieftemperaturkühlgeräte (z.B. Cryosystems Inc.) verwendet werden.The solid-state image detector 7, together with the objective 6, constitutes the most important part of the solid-state microscope. Recent advances in CCD and VLSI (very large scale integration) technology have made large sensor arrays available which are suitable for the present invention. In a preferred embodiment of the present invention, the two-dimensional solid-state image detector is a charge-coupled device (CCD) having over a million individual pixel elements in more than 1,000 rows and 1,000 columns of less than 10 µm x 10 µm size (pixel density greater than 10,000 pixels per square millimeter). These requirements are based on Nyquist's theory and experimental results. Various large area, small pixel size sensors are commercially available, e.g. Texas Instrument 1024 x 1024 pixels with 10 µm x 10 µm pixel elements; Kodak KAF 1400, 1320 x 1035 pixels with 6.8 µm x 6.8 µm pixel elements. Alternatively, a charge-coupled photodiode (CCPD) or a charge-injection device (CID) or any other two-dimensional semiconductor image receptor which has sufficient spatial or photometric resolution for sensor use. Preferably, the semiconductor image receiver 7 is cooled to have a better signal-to-noise ratio, lower dark currents, less distorted reflection and a larger dynamic range in order to obtain a more sensitive image receiver and to enable longer integration times. Cooling is achieved by means of thermoelectric cooling devices (eg Marlow Industries, Inc.). For lower temperatures, eg below 240 K, cryogenic cooling devices (eg Cryosystems Inc.) can be used.
Wird ein Bild auf den Halbleiter-Bildempfänger 7 projiziert, dann erzeugt jedes Bildelement des Empfängerarrays ein dem Helligkeitsniveau des auf das Array des Empfängers fallenden Lichtbildes entsprechendes Signal. Wie in Fig. 2 gezeigt ist, werden die durch den Bildempfänger 7 erzeugten Signale an einen Analog-Digital-Wandler 8 weitergegeben, wo diese in Echtzeit digitalisiert werden. Die Signale gelangen dann zur Eichungs- und Korrektureinrichtung, welche eine Korrekturschaltung 15 aufweist, wo die Signale hinsichtlich des elektronischen Offsets und des Verstärkungsfaktors korrigiert werden. Eine solche Korrekturschaltung ermöglicht eine vollständige Eichung des Systems unter Berücksichtigung optischer und detektionsabhängiger Verzerrungen. In einer bevorzugten Ausführungsform ist jedes Bild in Echtzeit geeicht. Dies wird durch Differenzbildung und Normieren des Hintergrundbildes und Korrektur des Signals mittels der Formel: When an image is projected onto the semiconductor image receiver 7, each image element of the receiver array generates a signal corresponding to the brightness level of the light image falling on the array of the receiver. As shown in Fig. 2, the signals generated by the image receiver 7 are passed on to an analog-to-digital converter 8, where they are digitized in real time. The signals then pass to the calibration and correction device, which has a correction circuit 15, where the signals are corrected for the electronic offset and the gain factor. Such a correction circuit enables complete calibration of the system, taking into account optical and detection-dependent distortions. In a preferred embodiment, each image is calibrated in real time. This is done by taking the difference and normalizing the background image and correcting the signal using the formula:
erreicht, wobei Ic das geeichte (manchmal auch als "enteichtes" bezeichnet) Bild, Ii das nicht korrigierte Bild, Ib das Bild des Hintergrundlichtes ohne ein Objekt (helles Bild) und Id das Bild bei vollständiger Dunkelheit (Dunkelbild) eines jedes Bildpunktes ist. K ist eine Konstante. Ein alternatives Eichungsverfahren stellt die Subtraktion des Lichtbildes I vom korrigierten Bild I plus einem positiven Offset dar. In beiden Fällen werden ungleichmäßige Ausleuchtung, Objektivmängel und unkorrekte Verstärkungssignale des Halbleiter-Bildarrays durch das geeichte Bild eliminiert. Nach der Behandlung durch die Korrekturschaltung 15 wird das geeichte Digitalbild kontinuierlich in einen Bildspeicher eingeladen, bis das Bild für eine Messung erhalten ist.where Ic is the calibrated (sometimes called "de-calibrated") image, Ii is the uncorrected image, Ib is the background light image without an object (bright image), and Id is the image in total darkness (dark image) of each pixel. K is a constant. An alternative calibration method is to subtract the light image I from the corrected image I plus a positive offset. In both cases, uneven illumination, lens defects, and incorrect gain signals from the semiconductor image array are eliminated by the calibrated image. After being processed by the correction circuit 15, the calibrated digital image is continuously loaded into an image memory until the image is obtained for measurement.
Der Bildspeicher 9 ist mit Bildprozessor(en) 20 verbunden, welche Daten in Echtzeit verarbeiten und ausgeben können müssen. Die Bildprozessoren 20 sehen eine Filterung und Verfahrensmerkmalsanalyse (z.B. Filtern, Faltung, FFTs, etc.) vor, um ein für die Anzeige auf einem RGB-Analogmonitor 10 geeignetes Bild zu erzeugen. Also sollte das Durchschnittssignal für ein qualitativ besseres Bild geeignet sein. Derartige Bildprozessoren für Videosysteme sind bereits kommerziell erhältlich (z.B. MVP-AT/NP, Matrox Electronic Systems Inc.) und ähnliche Prozessoren, welche mit einer direkten Bildpunkt/Bildpunkt-Digitalisierung arbeiten, können gebaut werden.The image memory 9 is connected to image processor(s) 20, which must be able to process and output data in real time. The image processors 20 provide filtering and process feature analysis (e.g. filtering, convolution, FFTs, etc.) to produce an image suitable for display on an RGB analog monitor 10. Thus, the average signal should be suitable for a better quality image. Such image processors for video systems are already commercially available (e.g. MVP-AT/NP, Matrox Electronic Systems Inc.) and similar processors that work with direct pixel-to-pixel digitization can be built.
Farbinformationen über das Objekt, sowohl zur Betrachtung als auch für Bildverarbeitungszwecke, können auf verschiedenen Wegen erhalten werden. In einer bevorzugten Ausgestaltung werden drei Bilder durch die nacheinander folgende Verwendung von roten, grünen und blauen Bandbreiten als Lichtquelle erhalten. Die drei Bilder werden dann zu einem RGB-Analogsignal kombiniert. Andere Alternativen weisen die Verwendung von verschiedenen Detektoren auf oder sie nutzen lediglich einen Bereich eines einzelnen Detektors für jede Farbe. Farben- und/oder Spektralinformationen können dazu verwendet werden, selektiv Objekte des Bildes zu detektieren oder zu umreißen und das Bild zu charakterisieren.Color information about the object, both for viewing and image processing purposes, can be obtained in several ways. In a preferred embodiment, three images are obtained by using red, green and blue bandwidths as the light source in sequence. The three images are then combined into an RGB analog signal. Other alternatives include using different detectors or using only a portion of a single detector for each color. Color and/or spectral information can be used to selectively detect or outline objects in the image and to characterize the image.
Die durch die Bildprozessoren 20 erzeugten Bilder werden durch einen hochaufgelösten RGB-Analogmonitor 10 ausgegeben, auf dem das gesamte Bild oder Teile des Bildes betrachtet werden können. Daher ist keine Okularlinse notwendig. Diese Art der Betrachtung ist bequem, und außerdem wird das aktuelle, digitale Bild, für das die Messungen durchgeführt werden, bevorzugter als das optische Bild beobachtet. Das Monitorbild kann von einem Positionsanzeiger überlagert sein, um Objekte von Interesse zu messen und zu selektieren. Ein solcher Positionsanzeiger wird mittels einer Positionsanzeigersteuerung 11 über den Computer 12 manipuliert. Ideal ist die Bandbreite des Monitors 10 in etwa an die Zahl der Bildpunkte auf dem Bildempfänger-Array 7 angepaßt. Die Bildpunktzeilen werden ohne Überlappung und mit einer Datenrate von 1/60, um das Flimmern zu reduzieren, ausgegeben. Auf diese Weise können einzelne Bildpunkte des Arrays direkt ohne irgendeine Verzerrung betrachtet werden.The images generated by the image processors 20 are output by a high resolution RGB analog monitor 10 on which the entire image or parts of the image can be viewed. Therefore, no eyepiece lens is necessary. This type of viewing is convenient and, in addition, the actual digital image for which the measurements are being made is viewed in preference to the optical image. The monitor image may be overlaid by a position indicator to measure and select objects of interest. Such a position indicator is manipulated by means of a position indicator controller 11 via the computer 12. Ideally, the bandwidth of the monitor 10 is approximately matched to the number of pixels on the image receiver array 7. The pixel lines are output without overlap and at a data rate of 1/60 to reduce flicker. In this way, individual pixels of the array can be viewed directly without any distortion.
Der Computer 12 dient zur Steuerung der verschiedenen erf indungsgemäßen Möglichkeiten und dient als Benutzer- Eingabe-Ausgabe-Gerät. Durch den Computer erfolgt eine sehr geringe (falls überhaupt) Datenverarbeitung, und folglich kann es sich bei dem Computer bevorzugt um jeden Personalcomputer auf der Basis eines 80386 handeln. Der Computer dient auch, falls dies notwendig ist, als Speichergerät für Bilder oder Teilbilder. Eine Vielzahl von Großspeichergeräten sind käuflich erhältlich. Die geeignetsten sind optische Speicherplatten oder WORM (Write Once Read Many)-Recorder, die sich durch ihre große Speicherkapazität und unzerstörbare Weise der Informationswiedergewinnung auszeichnen.The computer 12 serves to control the various capabilities of the invention and serves as a user input/output device. Very little (if any) data processing is performed by the computer and, consequently, the computer may preferably be any 80386-based personal computer. The computer also serves as a storage device for images or partial images, if necessary. A variety of large storage devices are commercially available. The most suitable are optical disks or WORM (Write Once Read Many) recorders, which are characterized by their large storage capacity and indestructible manner of information retrieval.
Die Feineinstellung des Halbleiter-Mikroskops kann automatisch mittels der Computersteuerung unter Verwendung der Frequenzinformation des detektierten Signals erfolgen. Der Fokus kann als die höchste Bildfrequenz definiert sein, welche im Computer durch eine Vielzahl von Algorithmen einschließlich der Fourier-Transformation aus den Halbleiter-Empfängersignalen berechnet wird. Die computergesteuerte Tischsteuerung 13 kann den Tisch 5 für die selbsttätige Feineinstellung in Z-Richtung bewegen. Gleichermaßen kann die Feineinstellung manuell mittels des Steuerknüppels der Tischsteuerung 13 erfolgen, welcher die Computersteuerung aufhebt.The fine adjustment of the semiconductor microscope can be carried out automatically by means of the computer control using the frequency information of the detected signal. The focus can be defined as the highest frame rate, which is calculated in the computer by a variety of algorithms including the Fourier transform from the semiconductor receiver signals. The computer-controlled stage control 13 can move the stage 5 in the Z direction for the automatic fine adjustment. Likewise, the fine adjustment can be carried out manually by means of the joystick of the stage control 13, which overrides the computer control.
Die selbsttätige Feineinstellung ist auch während der Abtastung eines Objektes auf dem Tisch 5 möglich. Während des Abtastvorgangs wird der Tisch in die X- und Y-Richtung bewegt, damit das auf den Halbleiter-Bildempfänger 7 projizierte Bild verändert wird. In diesem Fall werden die ersten Reihen an der Kante des Tisch-Bildempfänger-Arrays 7 dazu verwendet, die Daten des neu abgetasteten Bildes zu verarbeiten, bevor das Objekt durch den Rest der Bildpunktelemente des zweidimensionalen Detektors "gesehen wird". Die verarbeiteten Signale der wenigen ersten Bildpunktreihen werden dann zur Korrektur der Feineinstellung des Tisches 5 durch die Computersteuerung verwendet. Während des Abtastvorganges erhalten die Randreihen des Empfänger-Arrays kontinuierlich Daten für die Fokus-Routine des Computers zur Analyse und um geeignete Anpassungen vorzunehmen. Dies ist insbesondere nützlich, wenn große Oberflächen abgetastet werden, welche keine zur Abtastebene parallele optisch flache Oberfläche aufweisen.Automatic fine adjustment is also possible while scanning an object on the table 5. During the scanning process, the table is moved in the X and Y directions so that the image projected onto the semiconductor image detector 7 is changed. In this case, the first rows at the edge of the table image detector array 7 is used to process the data of the newly scanned image before the object is "seen" by the rest of the pixel elements of the two-dimensional detector. The processed signals from the first few pixel rows are then used to correct the fine adjustment of the stage 5 by the computer control. During the scanning process, the edge rows of the receiver array continuously receive data for the computer's focus routine to analyze and make appropriate adjustments. This is particularly useful when scanning large surfaces which do not have an optically flat surface parallel to the scanning plane.
In einer anderen Ausgestaltung der vorliegenden Erfindung kann das Objektiv 6 alternativ entweder manuell oder mittels Computersteuerung zur Feineinstellung in die Z-Richtung bewegt werden.In another embodiment of the present invention, the lens 6 can alternatively be moved either manually or by computer control for fine adjustment in the Z direction.
Die verschiedenen erfindungsgemäßen Ausführungsformen zeichnen sich durch unterschiedliche Anwendungsmöglichkeiten aus. In der einfachsten Anwendung kann die vorliegende Erfindung als konventionelles Mikroskop entsprechend der Ausführungsform in den Fig. 1 und 4 verwendet werden, wo das Bild des zu beobachtenden Objektes durch das Objektiv 6 projiziert und auf den Halbleiter-Bildempfänger 7 fokussiert wird. Die durch den Bildempfänger erzeugten Signale werden sofort digitalisiert und mit einer Frequenz von nicht weniger als 60 Hz auf einem RGB-Analog-Monitor angezeigt. Bei der in Fig. 1 dargestellten erf indungsgemäßen Ausführungsform durchstrahlt das Licht das zu beobachtende Objekt. Bei einem solchen Transmissionsmodus kann die vorliegende Erfindung zur Messung der relativen Absorption und Transmission des Objektes verwendet werden. Bei der Ausführung in Fig. 4 wird das vom zu beobachtenden Objekt reflektierte Licht zur Erzeugung eines Bildes auf dem Bilddetektorarray verwendet. Alle Arten von Reflexionsmikroskopie sind möglich, ähnlich denen in der allgemeinen Mikroskopie. Das Halbleiter-Mikroskop kann einfach angepaßt werden, um die gesamte Fluoreszenz oder die Verteilung der Fluoreszenz über ein Objekt zu messen.The various embodiments of the invention are characterized by different application possibilities. In the simplest application, the present invention can be used as a conventional microscope according to the embodiment in Figs. 1 and 4, where the image of the object to be observed is projected through the lens 6 and focused on the semiconductor image detector 7. The signals generated by the image detector are immediately digitized and displayed on an RGB analog monitor at a frequency of not less than 60 Hz. In the embodiment of the invention shown in Fig. 1, the light radiates through the object to be observed. In such a transmission mode, the present invention can be used to measure the relative absorption and transmission of the object. In the embodiment in Fig. 4, the light reflected from the object being observed is used to create an image on the image detector array. All types of reflection microscopy are possible, similar to those used in general microscopy. The semiconductor microscope can be easily adapted to measure the total fluorescence or the distribution of fluorescence over an object.
Durch Verwendung geeigneter Objektive und/oder Beleuchtungsarten der Probe können die Phasenkontrast-, Nomarski-, Dunkelfeld- und andere Mikroskopiertechniken durchgeführt werden. Es ist möglich, die Absorption durch die Probe zu messen, indem das Objekt sowohl durch die erfindungsgemäße Ausführungsformen mit Lichttransmission als auch mit -reflexion untersucht wird, um Transmissions- und Reflexionsspektren zu erhalten. Aus diesen Spektren kann die genaue Absorption berechnet werden.By using appropriate objectives and/or illumination of the sample, phase contrast, Nomarski, dark field and other microscopy techniques can be performed. It is possible to measure the absorption by the sample by examining the object through both the light transmission and reflection embodiments of the invention to obtain transmission and reflection spectra. From these spectra, the exact absorption can be calculated.
Unabhängig von der für das Halbleiter-Mikroskop verwendeten Ausführung wird das durch den Halbleiter-Bildempfänger 7 empfangene Bild in Echtzeit verarbeitet. Fig. 3 zeigt ein Monitorbild von eingefärbten roten und weißen menschlichen Blutkörperchen, welches durch Anwendung der vorliegenden Erfindung erhalten wurde. Das Bild wurde, so wie beschrieben, durch die Schaltung 15 geeicht und durch die Bildprozessoren 20 mittels eines mittelfeinen Filters zur Reduzierung des Hochfrequenzrauschens gefiltert. Durch Anwendung geeigneter Segmentierungstechniken mittels der Bildprozessoren 20 können die interessierenden Objektive als Konturenbilder (s. Fig. 3) gezeichnet werden, wo der derartig verarbeitete Teil des Monitorbildes durch gestrichelte Linien umgrenzt ist.Regardless of the type of semiconductor microscope used, the image received by the semiconductor image detector 7 is processed in real time. Fig. 3 shows a monitor image of colored red and white human blood cells obtained by applying the present invention. The image was calibrated by the circuit 15 as described and filtered by the image processors 20 using a medium-fine filter to reduce high frequency noise. By applying suitable segmentation techniques using the image processors 20, the objectives of interest can be drawn as contour images (see Fig. 3), where the portion of the monitor image thus processed is delimited by dashed lines.
Des weiteren weist die vorliegende Erfindung ein Spektrometer auf, welches zur Erzeugung spektraler Abtastreihen verschiedener Wellenlängen einer Probe verwendet werden kann. Diese spezielle Ausgestaltung der Erfindung ist eine Modifikation des Halbleiter-Mikroskops aus Fig. 4 und weist ein zwischen dem Objektiv 6 und dem Halbleiter- Empfängerarray 7 angeordnetes Prismenelement auf. Fig. 5 zeigt ein schematisches Diagramm des zugehörigen Verfahrens. Das Prismenelement 30 ist in der primären Bildebene angeordnet und durch ein lichtabsorbierendes Material auf der Oberfläche 32 außer einem sehr schmalen Band 33 von wenigen 4m Breite bedeckt, welches der Breite einer Reihe von Bildpunktelementen auf dem CCD-Array 7 spricht. Die Oberfläche 32 des Prismas 30 liegt dem Objektiv 6 gegenüber, und das Bild 35 einer Probe wird auf die Oberfläche 32 projiziert. Lediglich der Bereich des Bildes 35, der dem schmalen Band 33 entspricht, gelangt durch das Prisma. Deshalb überträgt das schmale Band 33 eine einzige Abtastreihe 36 des Bildes 35 durch das Prisma 30 zum Bildempfänger-Array 7. Beim Passieren von 30 wird die Abtastreihe 36 in ein Spektrum verschiedener Wellenlängen zerlegt. Das Bildempfänger-Array 7 ist derart hinter dem Prisma 30 angeordnet, daß jedes Wellenlängenspektrum auf eine Bildpunktreihe projiziert wird. Diese Spektralinformation wird detektiert, digitalisiert und weiterverarbeitet, um die rechts in Fig. 5 dargestellten Spektraldiagramme unterschiedlicher Wellenlängen zu erzeugen, welche die Lichtintensität bei einer bestimmten Wellenlänge über eine bestimmte Abtastreihe 36 des Bildes 35 darstellen. Sofern es notwendig ist, kann diese Spektralinformation gespeichert werden. In Fig. 5 wird ein weißes Blutkörperchen mittels des genannten Verfahrens verarbeitet. Auf Wunsch kann ein interessierendes Bild durch Bewegen des Tisches 5 mittels geeigneter Schrittgrößen zur Erzeugung eines vollständigen Satzes von Abtastreihen 36 des Bildes 35 abgetastet werden. Beispielsweise wird ein fester Fleck auf dem Objektträger durch Bewegen des Tisches 5 in die X-Richtung abgetastet, während die Y-Richtung als Abtastreihe 36 auf den Halbleiter-Empfänger 7 projiziert und im Speicher abgespeichert wird. Fig. 6 zeigt ein zusammengesetztes Bild, welches durch Verwendung der durch die obige Abtastprozedur erzeugten Spektralinformationen geschaffen wurde. Fig. 6 zeigt ein zusammengesetztes Bild als Relativverhältnis zweier Spektralliniensätze bei ungefähr 470 nm und 530 nm, welche dem Bild 35 der Fig. 5 entnommen wurden. Es ist möglich, jede andere mathematische Funktion zweier oder mehrere Spektralliniensätze des gewählten Objektes darzustellen.Furthermore, the present invention comprises a spectrometer which can be used to generate spectral scan series of different wavelengths of a sample. This particular embodiment of the invention is a modification of the semiconductor microscope of Fig. 4 and comprises a prism element arranged between the objective 6 and the semiconductor receiver array 7. Fig. 5 shows a schematic diagram of the associated process. The prism element 30 is arranged in the primary image plane and covered by a light absorbing material on the surface 32 except for a very narrow band 33 of a few 4m width, which corresponds to the width of a row of pixel elements on the CCD array 7. The surface 32 of the prism 30 faces the objective 6 and the image 35 of a sample is projected onto the surface 32. Only the region of the image 35 corresponding to the narrow band 33 passes through the prism. Therefore, the narrow band 33 transmits a single scan line 36 of the image 35 through the prism 30 to the image receiver array 7. As it passes through 30, the scan line 36 is broken down into a spectrum of different wavelengths. The image receiver array 7 is arranged behind the prism 30 such that each wavelength spectrum is projected onto a row of pixels. This spectral information is detected, digitized and further processed to produce the spectral diagrams of different wavelengths shown on the right in Fig. 5, which represent the light intensity at a particular wavelength over a particular scan line 36 of the image 35. If necessary, this spectral information can be stored. In Fig. 5, a white blood cell is processed by the above method. If desired, an image of interest can be generated by moving the table 5 by suitable step sizes to produce a complete set of scan lines 36 of the image 35. For example, a fixed spot on the slide is scanned by moving the table 5 in the X direction, while the Y direction is projected as a scan line 36 onto the semiconductor receiver 7 and stored in memory. Fig. 6 shows a composite image created by using the spectral information generated by the above scanning procedure. Fig. 6 shows a composite image as a relative relationship of two sets of spectral lines at approximately 470 nm and 530 nm taken from the image 35 of Fig. 5. It is possible to represent any other mathematical function of two or more sets of spectral lines of the selected object.
Bei Verwendung der vorliegenden Erfindung können einzelne Bildpunkte, Bildpunktsätze (z.B. Teile oder die gesamten Reihen oder Spalten) oder gewählte Bereiche des einzelnen Empfängerarrays (z.B. Quadrate oder rechte Winkel von Bildpunkten) in adressierter Form so spezifiziert werden, daß lediglich Signale der adressierten Bildpunkte verarbeitet und angezeigt werden. Bei einer solchen Anwendung handelt es sich bei dem zweidimensionalen Empfängerarray bevorzugt um eine Ladungs-Injektions-Vorrichtung (CID), welche einen schnellen Zugriff auf lokale Bereiche des Bildes sehr vereinfacht. Diese Auswahl bestimmter Bildpunkte kann unter dynamischen Bedingungen erfolgen.Using the present invention, individual pixels, sets of pixels (e.g., parts or all of rows or columns), or selected areas of the individual receiver array (e.g., squares or right angles of pixels) can be specified in addressed form so that only signals from the addressed pixels are processed and displayed. In such an application, the two-dimensional receiver array is preferably a charge injection device (CID), which greatly simplifies rapid access to local areas of the image. This selection of particular pixels can be done under dynamic conditions.
Beispielsweise wird während der Abtastung der Probe der Tisch 5 bewegt, damit sich das auf den Halbleiter-Bildempfänger 7 projizierte Bild über den Empfänger bewegt und die erste Bildpunktreihe zur Detektion von interessierenden Objekten verwendet und nachfolgend ein ausgewählter Bereich auf dem zweidimensionalen Array aktiviert wird, wo das vollständige Bild des Objektes zu einem späteren Zeitpunkt, der von der Abtastgeschwindigkeit des Halbleiter-Mikroskops abhängt, auftrifft. Dabei wird die Kantenreihe der Bildpunkte des Halbleiter-Empfänger-Arrays als Bilddetektor verwendet, während das Bildpunktarray hinter der Frontreihe zum Einfangen des zu verarbeitenden Bildes dient. Dies ist insbesondere dann nützlich, wenn ein großer Bereich mit nur wenigen interessierenden Objekten abgetastet wird. Die Frontkantenreihensignale des Halbleiter-Empfänger-Arrays werden für eine grobe Merkmalsanalyse des Objektes verwendet, während der aktivierte Bereich innerhalb des Arrays für eine feinere Merkmalsanalyse genutzt wird. Sowohl die groben als auch die feinen Merkmale des Objektes können in ein und demselben Abtastablauf analysiert werden.For example, during the scanning of the sample, the table 5 is moved so that the image projected onto the semiconductor image receiver 7 moves over the receiver and uses the first row of pixels to detect objects of interest and subsequently activates a selected area on the two-dimensional array where the full image of the object is received at a later time, which depends on the scanning speed of the semiconductor microscope. The edge row of pixels of the semiconductor receiver array is used as the image detector, while the pixel array behind the front row is used to capture the image to be processed. This is particularly useful when scanning a large area with only a few objects of interest. The front edge row signals of the semiconductor receiver array are used for coarse feature analysis of the object, while the activated region within the array is used for finer feature analysis. Both the coarse and fine features of the object can be analyzed in the same scanning sequence.
Diese Technik der einzelnen Liniendetektion, gefolgt durch die Bilderstellung, ist insbesondere zum Abtasten von farblosen lebenden Zellen nützlich, welche weit auseinander in einer Gefäßgewebekultur wachsen. In Fig. 7 ist ein in Reihen (i, j) und Spalten (k, l) zerlegtes Halbleiter-Empfänger-Array zur Demonstration dieses Verfahrens dargestellt. Wird eine Probe auf dem Tisch 5 in Richtung des Pfeils 40 bewegt, dann wird die Frontreihe 42 der Bildpunkte zur Detektion der in Echtzeit analysierten Signale verwendet. Wird ein ein interessierendes Objekt anzeigendes Signal detektiert, welches eine detailliertere Überprüfung erfordert, dann wird zu einem späteren Zeitpunkt ein Bildpunktebereich aktiviert, welcher das Bild von Interesse aufnimmt und das Bild umfassend, einschließlich der Speicherung des Bildes im Speicher verarbeitet. Durch Objekte von Interesse erzeugte typische Signale sind vorhergehend gesammelt worden, und geeignete Software-Routinen vergleichen ankommende Signale mit typischen Signalen, um Übereinstimmungen zu ermitteln. Nach einer Zeitverzögerung wird das interessierende Objekt durch einen anderen Bereich des zweidimensionalen Empfänger-Arrays "gesehen". Abhängig von der Abtastzeit und der Größe des interessierenden Objektes, welche durch die eintreffenden Daten der ersten Reihe 42 von Bildpunkten berechnet werden kann, kann die Anzahl der Bildpunkte und der Ort der zu aktivierenden Bildpunkte derart bestimmt werden, daß lediglich zum Objekt gehörende Daten gesammelt und verarbeitet werden. Dadurch, daß lediglich relevante Informationen bearbeitet werden, wird Zeit- und Speicherplatz gespart. In Fig. 7 ist zwischen den Bildpunktelementen X1,k und X1,l (dabei stellen die Indizes die Reihen und Spalten im Empfänger-Array dar) ein Signal 43 dargestellt, wobei ein Bereich 46 des Empfänger-Arrays zu einem späteren Zeitpunkt aktiviert wird, um das Bild des Objektes aufzunehmen.This technique of single line detection followed by image formation is particularly useful for scanning colorless living cells growing widely apart in vascular tissue culture. A semiconductor receiver array is shown in Fig. 7, disassembled into rows (i, j) and columns (k, l), to demonstrate this method. When a sample is moved on the table 5 in the direction of arrow 40, the front row 42 of pixels is used to detect the signals analyzed in real time. If a signal indicative of an object of interest is detected which requires more detailed examination, then at a later time a pixel array is activated which captures the image of interest and processes the image comprehensively, including storing the image in memory. Typical signals generated by objects of interest have been previously collected and appropriate software routines compare incoming Signals with typical signals to determine matches. After a time delay, the object of interest is "seen" by another area of the two-dimensional receiver array. Depending on the sampling time and the size of the object of interest, which can be calculated from the incoming data of the first row 42 of pixels, the number of pixels and the location of the pixels to be activated can be determined in such a way that only data belonging to the object is collected and processed. By processing only relevant information, time and storage space is saved. In Fig. 7, a signal 43 is shown between the pixel elements X1,k and X1,l (the indices represent the rows and columns in the receiver array), with an area 46 of the receiver array being activated at a later time to record the image of the object.
Das Halbleiter-Mikroskop der vorliegenden Erfindung unterscheidet sich von konventionellen quantitativen Mikroskopen. In Fig. 8 ist ein konventionelles quantitatives Mikroskopsystem dargestellt, welches aus zwei oder mehr Linsensystemen und einem Bildempfangsgerät 50 besteht, wodurch sich starke Einschränkungen für die quantitative Mikroskopie ergeben. Das Objektivlinsensystem 52 vergrößert und projiziert ein Bild 53 eines Objektes 55 in die Zwischenbildebene 56. Das Bild 53 wird mit einem Okular-Projektionslinsensystem 58, 60 in ein vergrößertes Bild 62 weitervergrößert und optisch korrigiert. Wie Fig. 9 zeigt, legt das quantitative Lichtmikroskop der vorliegenden Erfindung einen Halbleiter-Bildempfänger 7 in die Zwischenbildebene 65 der Objektivlinse 66, wobei das Projektionslinsensystem und die Videokamera entfallen.The semiconductor microscope of the present invention differs from conventional quantitative microscopes. Fig. 8 shows a conventional quantitative microscope system consisting of two or more lens systems and an image receiving device 50, which results in severe limitations for quantitative microscopy. The objective lens system 52 magnifies and projects an image 53 of an object 55 into the intermediate image plane 56. The image 53 is further magnified into a magnified image 62 with an eyepiece projection lens system 58, 60 and optically corrected. As Fig. 9 shows, the quantitative light microscope of the present invention places a semiconductor image receiver 7 in the intermediate image plane 65 of the objective lens 66, whereby the projection lens system and the video camera are omitted.
Eine solche Anordnung arbeitet nur, wenn das Objektiv und der Halbleiter-Bildempfänger spezielle Anforderungen erfüllen. Theoretische Arbeiten, welche auf der Beugungsund der Fourier-Theorie beruhen, haben ebenso wie experimentelle Arbeiten gezeigt, daß zur Vermeidung von Veränderungen, optischer Verzerrung, Lichtverlusten, Abbildungen außerhalb des Fokus und ähnlichen Problemen das Halbleiter-Mikroskop der vorliegenden Erfindung ein ultraweites, ebenes Feld, eine hohe numerische Apertur, ein hochbildfehlerkorrigiertes Objektiv in Kombination mit einem großen Bereich, eine hohe Bildpunktdichte und einen Halbleiter-Bildempfänger aufweisen muß. Duch Erfüllen dieser Anforderungen ermöglicht die Erfindung die Erstellung beträchtlich verbesserter Bilder quantitativer Mikroskope.Such an arrangement only works if the objective and the semiconductor image receptor meet specific requirements. Theoretical work based on diffraction and Fourier theory, as well as experimental work, has shown that in order to avoid changes, optical distortion, light losses, out-of-focus images and similar problems, the semiconductor microscope of the present invention must have an ultra-wide flat field, a high numerical aperture, a highly aberration-corrected objective in combination with a large area, a high pixel density and a semiconductor image receptor. By meeting these requirements, the invention enables the creation of significantly improved quantitative microscope images.
Die vorliegende Erfindung weist eine Vielzahl von wichtigen technischen Vorteilen auf, welche wie folgt zusammengefaßt werden können:The present invention has a number of important technical advantages, which can be summarized as follows:
1. Einfacher optischer Weg;1. Simple optical path;
2. Hohe räumliche und photometrische Auflösung;2. High spatial and photometric resolution;
3. Ein großes Betrachterfeld;3. A large field of view;
4. Minimale Beleuchtungsverluste;4. Minimal lighting losses;
5. Eine Mikroskopbildausgabe auf einem großen Monitorbildschirm, welcher mit Graphiken für Positionsanzeigemessungen überlagert ist;5. A microscope image output on a large monitor screen overlaid with graphics for position indicator measurements;
6. Direkter Zugriff auf jeden Teil des digitalen Bildes;6. Direct access to any part of the digital image;
7. Flexibilität bezüglich der Abtastungsmodi;7. Flexibility regarding sampling modes;
8. Verschiedene Einrichtungen zur Erzeugung von Spektralinformationen;8. Various devices for generating spectral information;
9. Arbeitsschritte mit Lichttransmission, -absorption, -reflexion, -streuung und -fluoreszenz.9. Working steps with light transmission, absorption, reflection, scattering and fluorescence.
Claims (1)
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP89850028A EP0380904B1 (en) | 1987-08-20 | 1989-02-01 | Solid state microscope |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE68915151D1 DE68915151D1 (en) | 1994-06-09 |
| DE68915151T2 true DE68915151T2 (en) | 1994-12-01 |
Family
ID=8203258
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE1989615151 Expired - Fee Related DE68915151T2 (en) | 1989-02-01 | 1989-02-01 | Semiconductor microscope. |
Country Status (2)
| Country | Link |
|---|---|
| AT (1) | ATE105423T1 (en) |
| DE (1) | DE68915151T2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10114757B4 (en) * | 2000-03-29 | 2006-04-20 | Nikon Corp. | Digital camera for a microscope and microscope system with such a camera |
| DE10134328B4 (en) * | 2001-07-14 | 2012-10-04 | Leica Microsystems Cms Gmbh | Method and system for adjusting the image acquisition of a microscope |
-
1989
- 1989-02-01 DE DE1989615151 patent/DE68915151T2/en not_active Expired - Fee Related
- 1989-02-01 AT AT8989850028T patent/ATE105423T1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10114757B4 (en) * | 2000-03-29 | 2006-04-20 | Nikon Corp. | Digital camera for a microscope and microscope system with such a camera |
| DE10134328B4 (en) * | 2001-07-14 | 2012-10-04 | Leica Microsystems Cms Gmbh | Method and system for adjusting the image acquisition of a microscope |
Also Published As
| Publication number | Publication date |
|---|---|
| ATE105423T1 (en) | 1994-05-15 |
| DE68915151D1 (en) | 1994-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0380904B1 (en) | Solid state microscope | |
| DE69511903T2 (en) | Continuous spatial imaging system for scanning microscopy | |
| DE3931934C2 (en) | Image input / output device | |
| EP0508257B1 (en) | Scanning microspectroscope | |
| EP1307774B1 (en) | Assembly for increasing the depth discrimination of an optical imaging system | |
| DE69030703T2 (en) | Method and device for measuring the optical properties of biological samples | |
| EP0116321B1 (en) | Infrared spectrometer | |
| DE3610165C2 (en) | ||
| EP2350726B1 (en) | Combination microscopy | |
| DE69721167T2 (en) | Image acquisition method in confocal microscopy | |
| DE60120663T2 (en) | Imaging unit with associated image database | |
| US20060291042A1 (en) | Optical scanning zoom microscope with high magnification and a large field of view | |
| DE19626261A1 (en) | IC pattern and metal surface test object observation differential interference microscope | |
| DE202005021436U1 (en) | Optically enhanced digital imaging system | |
| WO2015055534A1 (en) | Scanning microscope and method for determining the point spread function (psf) of a scanning microscope | |
| DE102004053730A1 (en) | Method and arrangement for the suppression of false light | |
| DE10121064A1 (en) | Device and method for the optical measurement of chemical and / or biological samples | |
| DE19502472A1 (en) | Method and device for picking up an object | |
| CH689703A5 (en) | Photomikroskop. | |
| WO2007039054A1 (en) | Process for generating display images from acquired recorded images, and means for carrying out the process | |
| EP1273951B1 (en) | Scanning microscope and method for the wavelength dependent detection | |
| DE68915151T2 (en) | Semiconductor microscope. | |
| DE112019004373T5 (en) | SPECTROSCOPIC IMAGING DEVICE AND FLUORESCENCE MONITORING DEVICE | |
| DE102014107445B4 (en) | Optical observation device and method for recording image or video data from an observation object using an optical observation device | |
| EP0961930B1 (en) | Light-scanning device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 8364 | No opposition during term of opposition | ||
| 8327 | Change in the person/name/address of the patent owner |
Owner name: ONCOMETRICS IMAGING CORP., VANCOUVER, BRITISH COLU |
|
| 8328 | Change in the person/name/address of the agent |
Free format text: MITSCHERLICH & PARTNER, PATENT- UND RECHTSANWAELTE, 80331 MUENCHEN |
|
| 8327 | Change in the person/name/address of the patent owner |
Owner name: ONCOMETRICS IMAGING CORP., RICHMOND, BRITISH COLUM |
|
| 8327 | Change in the person/name/address of the patent owner |
Owner name: BRITISH COLUMBIA CANCER AGENCY BRANCH, VANCOUV, CA |
|
| 8339 | Ceased/non-payment of the annual fee |