FR3082943A1 - METHOD FOR COUNTING SMALL PARTICLES IN A SAMPLE - Google Patents
METHOD FOR COUNTING SMALL PARTICLES IN A SAMPLE Download PDFInfo
- Publication number
- FR3082943A1 FR3082943A1 FR1855463A FR1855463A FR3082943A1 FR 3082943 A1 FR3082943 A1 FR 3082943A1 FR 1855463 A FR1855463 A FR 1855463A FR 1855463 A FR1855463 A FR 1855463A FR 3082943 A1 FR3082943 A1 FR 3082943A1
- Authority
- FR
- France
- Prior art keywords
- image
- sample
- particles
- reconstruction
- image sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 239000002245 particle Substances 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000011218 segmentation Effects 0.000 claims abstract description 16
- 230000003595 spectral effect Effects 0.000 claims description 30
- 210000001772 blood platelet Anatomy 0.000 claims description 20
- 238000005286 illumination Methods 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 3
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000001902 propagating effect Effects 0.000 claims description 3
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 238000001514 detection method Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 13
- 210000004027 cell Anatomy 0.000 description 7
- 238000003384 imaging method Methods 0.000 description 7
- 238000007430 reference method Methods 0.000 description 7
- 238000003709 image segmentation Methods 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 4
- 239000012530 fluid Substances 0.000 description 4
- 239000011325 microbead Substances 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000000386 microscopy Methods 0.000 description 3
- 210000002381 plasma Anatomy 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 239000012634 fragment Substances 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 235000012431 wafers Nutrition 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003287 bathing Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000001124 body fluid Anatomy 0.000 description 1
- 239000010839 body fluid Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004113 cell culture Methods 0.000 description 1
- 238000005119 centrifugation Methods 0.000 description 1
- 210000001175 cerebrospinal fluid Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000001093 holography Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 150000002632 lipids Chemical class 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000004880 lymph fluid Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 244000005700 microbiome Species 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000007764 o/w emulsion Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 210000004623 platelet-rich plasma Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 210000002700 urine Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1468—Optical investigation techniques, e.g. flow cytometry with spatial resolution of the texture or inner structure of the particle
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
- G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/01—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
- G01N2015/018—Platelets
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N15/1434—Optical arrangements
- G01N2015/1454—Optical arrangements using phase shift or interference, e.g. for improving contrast
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
- G01N15/10—Investigating individual particles
- G01N15/14—Optical investigation techniques, e.g. flow cytometry
- G01N2015/1486—Counting the particles
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
- G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
- G03H1/04—Processes or apparatus for producing holograms
- G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
- G03H2001/0447—In-line recording arrangement
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Dispersion Chemistry (AREA)
- Computing Systems (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
L'invention est un procédé de comptage de particules de petite taille dans un échantillon. Elle consiste à illuminer un échantillon et à en acquérir une image par un capteur d'image. Un algorithme de reconstruction holographique est appliqué à l'image acquise, de façon à obtenir une pile d'images reconstruites. Chaque image reconstruite est représentative d'une onde lumineuse d'exposition à laquelle est exposé le capteur d'image. Chaque image reconstruite fait l'objet d'une segmentation, de façon à isoler des régions d'intérêt correspondant à une ou plusieurs particules. A l'aide de chaque région d'intérêt, le procédé permet un dénombrement du nombre de particules dans l'échantillon.The invention is a method of counting small particles in a sample. It consists of illuminating a sample and acquiring an image of it by an image sensor. A holographic reconstruction algorithm is applied to the acquired image, so as to obtain a stack of reconstructed images. Each reconstructed image is representative of a light wave of exposure to which the image sensor is exposed. Each reconstructed image is subject to segmentation, so as to isolate regions of interest corresponding to one or more particles. Using each region of interest, the method allows a count of the number of particles in the sample.
Description
DescriptionDescription
DOMAINE TECHNIQUETECHNICAL AREA
Le domaine technique de l'invention est l'observation d'un échantillon, notamment un échantillon comportant des particules de petite taille, par imagerie sans lentille, ou par imagerie dite défocalisée.The technical field of the invention is the observation of a sample, in particular a sample comprising small particles, by imaging without a lens, or by so-called defocused imaging.
ART ANTERIEURPRIOR ART
L'imagerie sans lentille s'est développée ces dernières années, et ses applications pour la caractérisation d'échantillons se multiplient, par exemple dans le domaine du diagnostic médical, de la culture cellulaire, de l'analyse biologique ou dans le domaine de l'agroalimentaire. Cette technique permet en effet d'obtenir, à bas coût, une image d'un échantillon selon un champ d'observation élevé. L'application d'algorithmes de reconstruction holographiques à des images obtenues selon une configuration sans lentille permet d'obtenir des images exploitables d'échantillons, ce qui constitue une alternative à bas coût à la microscopie conventionnelle, tout en bénéficiant d'un champ d'observation étendu.Lensless imaging has developed in recent years, and its applications for the characterization of samples are increasing, for example in the field of medical diagnosis, cell culture, biological analysis or in the field of agribusiness. This technique makes it possible to obtain, at low cost, an image of a sample according to a high field of observation. The application of holographic reconstruction algorithms to images obtained according to a lensless configuration makes it possible to obtain exploitable images of samples, which constitutes a low-cost alternative to conventional microscopy, while benefiting from a field of extended observation.
Différents documents décrivent l'utilisation de l'imagerie sans lentille pour l'observation d'échantillons comportant des particules. Les documents WO2016151248 ou WO2017178723 décrivent le recours à l'imagerie sans lentille pour caractériser des cellules dans un échantillon. La technique décrite dans ces documents est basée sur l'acquisition d'une image à l'aide d'un capteur d'image placé face à un échantillon. L'application d'un algorithme de reconstruction holographique permet de former des profils représentatifs de l'onde lumineuse à laquelle est exposé le capteur d'image. A partir des profils, on caractérise les cellules placées dans l'échantillon. Le recours à des profils permet d'être peu sensible à la position d'une cellule à caractériser dans l'échantillon, et en particulier à la distance entre la cellule et le capteur.Various documents describe the use of lensless imaging for the observation of samples containing particles. WO2016151248 or WO2017178723 describe the use of lensless imaging to characterize cells in a sample. The technique described in these documents is based on the acquisition of an image using an image sensor placed facing a sample. The application of a holographic reconstruction algorithm makes it possible to form profiles representative of the light wave to which the image sensor is exposed. From the profiles, the cells placed in the sample are characterized. The use of profiles makes it possible to be insensitive to the position of a cell to be characterized in the sample, and in particular to the distance between the cell and the sensor.
Une difficulté associée à l'application d'algorithmes de reconstruction holographique est qu'il est nécessaire de connaître la distance entre le capteur d'image et l'échantillon. Cependant, lorsque l'échantillon comporte des particules, la position de ces dernières, par rapport au capteur d'image, peut varier, dans l'épaisseur de l'échantillon. Ainsi, les images obtenues par reconstruction holographique peuvent être nettes pour certaines particules, pour lesquelles la distance, par rapport au capteur d'image, correspond à la distance de reconstruction prise en compte. En revanche, les images obtenues par reconstruction holographiques sont floues pour les particules dont la distance, par rapport au capteur d'image, est différente de la distance de reconstruction prise en compte. Cette propriété est exploitée dans les algorithmes de focalisation numérique, ces derniers étant destinés à estimer une distance entre une particule et un capteur d'image. Plus précisément, de tels algorithmes exploitent le fait qu'une particule est nette lorsque la distance qui la sépare du capteur correspond à la distance de reconstruction considérée. L'usage de ces algorithmes permet de remonter à la distance entre des particules et un capteur, ouvrant ainsi la voie à une détermination de la position 3D de particules, ainsi qu'au dénombrement de ces dernières. Un tel algorithme est par exemple décrit dans la publication Kemper B Application of a 3D tracking, LED illumination and multi-wavelength techniques for quantitative cell analysis in digital holographie microscopy, Proc. SPIE 7184, Three-Dimensional and Multidimensional Microscopy: Image Acquisition and Processing XVI, 71840R (4 March 2009). Un autre algorithme de suivi de particules, en l'occurrence des spermatozoïdes, est décrit dans W02014012031. Dans ces publications, un algorithme de suivi de position, ou tracking est appliqué à chaque particule. Cependant, lorsque le nombre de particules est important, il est fastidieux d'effectuer un suivi de position pour toutes les particules, prises individuellement. Ainsi, lorsque la taille des particules diminue, et que leur nombre augmente, la mise en œuvre d'algorithmes de focalisation numérique peut s'avérer délicate pour effectuer un dénombrement précis des particules présentes dans le champ observé Les inventeurs ont mis au point un procédé permettant d'effectuer un dénombrement plus précis de particules dans un échantillon.A difficulty associated with the application of holographic reconstruction algorithms is that it is necessary to know the distance between the image sensor and the sample. However, when the sample contains particles, the position of the latter, relative to the image sensor, can vary, in the thickness of the sample. Thus, the images obtained by holographic reconstruction can be clear for certain particles, for which the distance, relative to the image sensor, corresponds to the reconstruction distance taken into account. On the other hand, the images obtained by holographic reconstruction are blurred for the particles whose distance, relative to the image sensor, is different from the reconstruction distance taken into account. This property is exploited in digital focusing algorithms, the latter being intended to estimate a distance between a particle and an image sensor. More precisely, such algorithms exploit the fact that a particle is clear when the distance which separates it from the sensor corresponds to the reconstruction distance considered. The use of these algorithms makes it possible to go back to the distance between particles and a sensor, thus opening the way to a determination of the 3D position of particles, as well as to their enumeration. Such an algorithm is for example described in the publication Kemper B Application of a 3D tracking, LED illumination and multi-wavelength techniques for quantitative cell analysis in digital holographie microscopy, Proc. SPIE 7184, Three-Dimensional and Multidimensional Microscopy: Image Acquisition and Processing XVI, 71840R (March 4, 2009). Another particle tracking algorithm, in this case sperm, is described in W02014012031. In these publications, a position tracking algorithm is applied to each particle. However, when the number of particles is large, it is tedious to perform position tracking for all the particles, taken individually. Thus, when the size of the particles decreases, and their number increases, the implementation of digital focusing algorithms can prove to be difficult to carry out an accurate count of the particles present in the observed field. The inventors have developed a method allowing more precise counting of particles in a sample.
EXPOSE DE L'INVENTIONSTATEMENT OF THE INVENTION
Un premier objet de l'invention est un procédé de comptage de particules dans un échantillon, l'échantillon comportant un milieu dans lequel baignent les particules, le milieu étant maintenu par un élément de maintien, le milieu étant de préférence immobile par rapport à l'élément de maintien, le procédé comportant les étapes suivantes :A first object of the invention is a method of counting particles in a sample, the sample comprising a medium in which the particles are immersed, the medium being held by a holding element, the medium preferably being stationary relative to the holding element, the method comprising the following steps:
a) illumination de l'échantillon par une source de lumière, l'échantillon étant disposé entre la source de lumière et un capteur d'image ;a) illumination of the sample by a light source, the sample being arranged between the light source and an image sensor;
b) acquisition, à l'aide du capteur d'image, d'une image de l'échantillon, l'échantillon étant disposé entre la source de lumière et le capteur d'image, chaque image étant représentative d'une onde lumineuse d'exposition, à laquelle est exposé le capteur d'image sous l'effet de l'illumination de l'échantillon ;b) acquisition, using the image sensor, of an image of the sample, the sample being arranged between the light source and the image sensor, each image being representative of a light wave d exposure, to which the image sensor is exposed under the effect of the illumination of the sample;
c) à partir de l'image acquise lors de l'étape b), application d'un opérateur de propagation numérique pour obtenir une expression complexe de l'onde lumineuse d'exposition dans différents plans de reconstruction, chaque plan de reconstruction étant associé à une distance de reconstruction, par rapport au capteur d'image;c) from the image acquired during step b), application of a digital propagation operator to obtain a complex expression of the exposure light wave in different reconstruction planes, each reconstruction plan being associated at a reconstruction distance, relative to the image sensor;
d) formation d'une pile d'images reconstruites, chaque image reconstruite étant obtenue à partir du module et/ou de l'argument d'une expression complexe dans un plan de reconstruction, chaque image reconstruite étant associée à une distance de reconstruction différente l'une de l'autre ;d) formation of a stack of reconstructed images, each reconstructed image being obtained from the module and / or from the argument of a complex expression in a reconstruction plane, each reconstructed image being associated with a different reconstruction distance one from the other ;
e) segmentation de chaque image reconstruite, de façon à isoler, sur chaque image reconstruite, des régions d'intérêt, espacées les unes des autres, chaque région d'intérêt isolée correspondant à une particule ou à un amas de particules ;e) segmentation of each reconstructed image, so as to isolate, on each reconstructed image, regions of interest, spaced apart from each other, each isolated region of interest corresponding to a particle or to a cluster of particles;
f) à partir des régions d'intérêt isolées dans l'étape e), estimation d'une quantité de particules dans l'échantillon.f) from the regions of interest isolated in step e), estimation of an amount of particles in the sample.
Ainsi, le procédé effectue une combinaison de techniques de reconstruction holographique et de segmentation d'images, ce qui convient particulièrement à des échantillons comportant un nombre important de particules. Cela permet en particulier d'éviter d'effectuer une détermination de la position de chaque particule, prise individuellement.Thus, the method performs a combination of holographic reconstruction techniques and image segmentation, which is particularly suitable for samples containing a large number of particles. This allows in particular to avoid making a determination of the position of each particle, taken individually.
L'élément de maintien a pour fonction de maintenir ou de confiner le milieu dans lequel baignent les particules.The holding element has the function of maintaining or confining the environment in which the particles are immersed.
L'échantillon peut être disposé sur un support, pour maintenir l'échantillon entre le capteur d'image et la source de lumière.The sample can be placed on a support to hold the sample between the image sensor and the light source.
Dans l'étape c), les distances de reconstruction peuvent être obtenues en déterminant une distance de focalisation, correspondant à une distance, par rapport au capteur d'image, à laquelle un nombre maximal de particules sont situées, chaque distance de reconstruction étant établie en appliquant un décalage par rapport à la distance de focalisation.In step c), the reconstruction distances can be obtained by determining a focusing distance, corresponding to a distance, relative to the image sensor, at which a maximum number of particles are located, each reconstruction distance being established by applying an offset from the focusing distance.
La différence entre deux distances de reconstructions successives correspond à un pas de reconstruction, le pas de reconstruction étant de préférence inférieur à 20 pm.The difference between two successive reconstruction distances corresponds to a reconstruction step, the reconstruction step preferably being less than 20 μm.
Les particules sont de préférence inscrites dans un cercle ou dans une sphère dont le diamètre est inférieur à 20 pm ou à 10 pm ou à 5 pm.The particles are preferably inscribed in a circle or in a sphere whose diameter is less than 20 μm or 10 μm or 5 μm.
Les particules peuvent notamment être des thrombocytes, c'est-à-dire des plaquettes de sang. Lors de l'étape e), la segmentation de chaque image reconstruite peut être réalisée en appliquant un seuillage, selon un seuil d'intensité, sur chaque image reconstruite. Chaque image reconstruite comportant des pixels, la valeur du seuil d'intensité peut être variable d'un pixel à un autre. La valeur du seuil d'intensité à un pixel peut être établie en :The particles can in particular be thrombocytes, that is to say platelets of blood. During step e), the segmentation of each reconstructed image can be carried out by applying a thresholding, according to an intensity threshold, on each reconstructed image. Each reconstructed image comprising pixels, the value of the intensity threshold can be variable from one pixel to another. The value of the intensity threshold at one pixel can be established by:
définissant un voisinage autour de chaque pixel ;defining a neighborhood around each pixel;
calculant une intensité moyenne de pixels appartenant au voisinage ;calculating an average intensity of pixels belonging to the neighborhood;
la valeur du seuil, à chaque pixel, dépendant de l'intensité moyenne ainsi calculée.the threshold value, at each pixel, depending on the average intensity thus calculated.
Le procédé peut comporter une étape d'analyse des régions d'intérêt résultant de l'étape e), de façon à :The method may include a step of analyzing the regions of interest resulting from step e), so as to:
- déterminer un nombre de particules associées à chaque région d'intérêt ;- determine a number of particles associated with each region of interest;
- ou diviser des régions d'intérêt englobant plusieurs particules en différentes régions d'intérêt ne comportant qu'une seule particule.- or divide regions of interest encompassing several particles into different regions of interest comprising only one particle.
Selon un mode de réalisation, lors de l'étape f), une région d'intérêt dont l'étendue se limite à un pixel n'est prise en compte que si elle apparaît dans deux images reconstruites adjacentes.According to one embodiment, during step f), a region of interest whose extent is limited to one pixel is only taken into account if it appears in two adjacent reconstructed images.
La source de lumière peut être une source laser. De préférence, l'onde lumineuse émise par la source de lumière présente une largeur de bande spectrale inférieure à 10 nm. De préférence, l'onde lumineuse émise par la source de lumière présente une bande spectrale centrée sur une longueur d'onde inférieure à 500 nm, et préférentiellement comprise entre 400 nm et 500 nm.The light source can be a laser source. Preferably, the light wave emitted by the light source has a spectral bandwidth less than 10 nm. Preferably, the light wave emitted by the light source has a spectral band centered on a wavelength less than 500 nm, and preferably between 400 nm and 500 nm.
Un deuxième objet de l'invention est un dispositif pour le comptage de particules d'un échantillon, comportant :A second object of the invention is a device for counting particles of a sample, comprising:
- une source de lumière apte à émettre une onde lumineuse incidente se propageant vers l'échantillon;- a light source capable of emitting an incident light wave propagating towards the sample;
- un capteur d'image ;- an image sensor;
- un support, configuré pour maintenir l'échantillon entre la source de lumière et le capteur d'image ;- a support, configured to hold the sample between the light source and the image sensor;
et un processeur, configuré pour recevoir une image de l'échantillon acquise par le capteur d'image et à mettre en œuvre les étapes c) à f) d'un procédé selon le premier objet de l'invention.and a processor, configured to receive an image of the sample acquired by the image sensor and to implement steps c) to f) of a method according to the first object of the invention.
Selon un mode de réalisation, aucune optique de formation d'image n'est disposée entre l'échantillon et le capteur d'image.According to one embodiment, no image forming optics are disposed between the sample and the image sensor.
Selon un mode de réalisation, le dispositif comporte un système optique définissant une configuration de mise au point, selon laquelle le capteur d'image est conjugué d'un plan passant par l'échantillon, le dispositif étant tel que le capteur d'image ou l'échantillon sont décalés par rapport à la configuration de mise au point, de telle sorte que lors de l'étape b), le capteur d'image acquiert une image défocalisée de l'échantillon.According to one embodiment, the device comprises an optical system defining a focusing configuration, according to which the image sensor is conjugated with a plane passing through the sample, the device being such that the image sensor or the sample are offset from the focus configuration, so that in step b), the image sensor acquires a defocused image of the sample.
D'autres avantages et caractéristiques ressortiront plus clairement de la description qui va suivre de modes particuliers de réalisation de l'invention, donnés à titre d'exemples non limitatifs, et représentés sur les figures listées ci-dessous.Other advantages and characteristics will emerge more clearly from the description which follows of particular embodiments of the invention, given by way of nonlimiting examples, and represented in the figures listed below.
FIGURESFIGURES
Les figures IA et IB représentent des exemples de dispositifs permettant une mise en œuvre de l'invention.Figures IA and IB represent examples of devices allowing an implementation of the invention.
Les figures 2A et 2B sont des images reconstruites, dites images de module, ou image d'amplitude, d'un échantillon comportant des plaquettes.FIGS. 2A and 2B are reconstructed images, called module images, or amplitude image, of a sample comprising plates.
La figure 3 schématise les principales étapes d'un procédé selon l'invention.Figure 3 shows schematically the main steps of a method according to the invention.
Les figures 4A, 4B et 4C montrent l'influence d'un ajustement d'un paramètre de segmentation d'image sur l'identification de régions d'intérêt, ces dernières étant associées à des particules.FIGS. 4A, 4B and 4C show the influence of an adjustment of an image segmentation parameter on the identification of regions of interest, the latter being associated with particles.
Les figures 5A et 5B, ainsi que 5C et 5D, illustrent l'application d'un filtrage de type ligne de partage des eaux sur des régions d'intérêt. Les figures 5A et 5C sont des figures avant le filtrage. Les figures 5B et 5D sont des figures obtenues respectivement après application d'un filtrage des figures 5A et 5C.FIGS. 5A and 5B, as well as 5C and 5D, illustrate the application of filtering of the watershed type on regions of interest. Figures 5A and 5C are figures before filtering. Figures 5B and 5D are figures obtained respectively after applying a filtering of Figures 5A and 5C.
La figure 6 représente le nombre de particules comptées en mettant en œuvre l'invention (axe des ordonnées) en fonction du nombre de particules comptées selon une méthode de référence (axe des abscisses). Sur la figure 6, on a comparé les résultats de mesures respectivement sans prise en compte des régions d'intérêt monopixel, ne comportant qu'un seul pixel, et avec prise en compte de certaines régions d'intérêt monopixel.FIG. 6 represents the number of particles counted by implementing the invention (ordinate axis) as a function of the number of particles counted according to a reference method (abscissa axis). In FIG. 6, the results of measurements have been compared respectively without taking into account the regions of monopixel interest, comprising only one pixel, and with taking into account certain regions of monopixel interest.
Les figures 7A, 7B et 7C représentent le nombre de particules comptées en mettant en œuvre l'invention (axe des ordonnées) en fonction du nombre de particules comptées selon une méthode de référence (axe des abscisses). Sur la figure 7A, on a une diode laser émettant dans le violet/bleu, ainsi qu'une diode électroluminescente émettant dans le bleu. Sur la figure 7B, on a utilisé différentes diodes laser émettant soit dans le violet/bleu, soit dans le rouge. Sur la figure 7C, on a utilisé une diode laser émettant dans le violet/bleu, ainsi qu'une diode électroluminescente émettant dans le rouge.FIGS. 7A, 7B and 7C represent the number of particles counted by implementing the invention (ordinate axis) as a function of the number of particles counted according to a reference method (abscissa axis). In FIG. 7A, there is a laser diode emitting in purple / blue, as well as a light emitting diode emitting in blue. In FIG. 7B, different laser diodes emitting either in purple / blue or in red were used. In FIG. 7C, a laser diode emitting in purple / blue was used, as well as a light emitting diode emitting in red.
La figure 8 est un autre exemple de dispositif convenant à une mise en œuvre de l'invention. EXPOSE DE MODES DE REALISATION PARTICULIERSFIG. 8 is another example of a device suitable for implementing the invention. EXPLANATION OF PARTICULAR EMBODIMENTS
La figure IA représente un exemple de dispositif selon l'invention. Une source de lumière 11 est configurée pour émettre une onde lumineuse 12, dite onde lumineuse incidente, se propageant en direction d'un échantillon 10, selon un axe de propagation Z. L'onde lumineuse 12 est émise selon une bande spectrale d'illumination Δλ.FIG. 1A represents an example of a device according to the invention. A light source 11 is configured to emit a light wave 12, called incident light wave, propagating in the direction of a sample 10, along a propagation axis Z. The light wave 12 is emitted according to a spectral illumination band Δλ.
L'échantillon 10 est un échantillon que l'on souhaite caractériser. L'échantillon comporte un milieu 10m, par exemple un milieu liquide, dans lequel baignent des particules 10p. Les particules 10p peuvent être des cellules, ou des fragments cellulaires, ou des microorganismes, ou des microalgues, ou leurs fragments. Le terme particules peut également désigner particules solides, en particulier des microbilles, par exemple des microbilles métalliques, des microbilles de verre ou des microbilles organiques, couramment mises en œuvre dans des protocoles biologiques. Il peut également s'agir de gouttelettes insolubles baignant dans un milieu liquide, par exemple des gouttelettes lipidiques dans une émulsion de type huile dans eau. Ainsi, le terme particule désigne à la fois des particules endogènes, initialement présentes dans l'échantillon examiné, et des particules exogènes, ajoutées à cet échantillon avant l'analyse. L'invention s'adresse notamment à des particules de petite taille. Par particule de petite taille, on entend une particule inscrite dans un cercle ou dans une sphère dont le diamètre est inférieur à 20 pm, et de préférence inférieur à 10 pm ou 5 pm. Une application visée est le comptage de plaquettes sanguines (thrombocytes). De façon plus générale, les particules sont de petite taille relativement à l'épaisseur de l'échantillon, en étant par exemple de taille au moins 5 fois ou 10 fois plus faibles que l'épaisseur de l'échantillon. Le milieu 10m peut être un milieu solide ou un milieu formant un gel. Le milieu 10m peut comporter un liquide corporel, par exemple, et de façon non limitative, du plasma sanguin, de l'urine, de la lymphe ou du liquide céphalo-rachidien. Le milieu 10m est de préférence transparent ou translucide. L'invention est particulièrement adaptée à des particules de petite taille.Sample 10 is a sample that we wish to characterize. The sample comprises a 10 m medium, for example a liquid medium, in which 10 p particles are immersed. The 10p particles can be cells, or cell fragments, or microorganisms, or microalgae, or their fragments. The term particles can also denote solid particles, in particular microbeads, for example metallic microbeads, glass microbeads or organic microbeads, commonly used in biological protocols. They may also be insoluble droplets bathing in a liquid medium, for example lipid droplets in an oil-in-water emulsion. Thus, the term particle designates both endogenous particles, initially present in the sample examined, and exogenous particles, added to this sample before analysis. The invention is particularly intended for small particles. By small particle is meant a particle inscribed in a circle or in a sphere whose diameter is less than 20 μm, and preferably less than 10 μm or 5 μm. A targeted application is the counting of blood platelets (thrombocytes). More generally, the particles are small relative to the thickness of the sample, for example being at least 5 times or 10 times smaller than the thickness of the sample. The medium 10m can be a solid medium or a medium forming a gel. The 10m medium can include a body fluid, for example, and without limitation, blood plasma, urine, lymph or cerebrospinal fluid. The 10 m medium is preferably transparent or translucent. The invention is particularly suitable for small particles.
L'échantillon 10 est maintenu par un élément de maintien 15. L'élément de maintien 15 a pour fonction de maintenir le milieu 10m dans lequel les particules 10p sont disposées. L'élément de maintien 15 est de préférence transparent ou translucide, en particulier entre la source de lumière et le capteur. L'élément de maintien 15 peut être une lame transparente, par exemple une lame de verre, ou encore une plaque à puits, ou une enceinte. Dans cet exemple l'élément de maintien 15 est une chambre fluidique. L'épaisseur e de l'échantillon 10, selon l'axe de propagation Z, varie typiquement entre 10 pm et 1 cm, et est de préférence comprise entre 20 pm et 1 mm. L'échantillon 10 est maintenu sur un support 10s à une distance d d'un capteur d'image 20. Le milieu 10m dans lequel baignent les particules 10p est de préférence immobile par rapport à l'élément de maintien 15 ou par rapport au capteur d'image 20. Les particules 10p peuvent être immobiles par rapport à l'élément de maintien 15 ou par rapport au capteur d'image 20.The sample 10 is maintained by a holding element 15. The function of the holding element 15 is to maintain the medium 10 m in which the particles 10 p are arranged. The holding element 15 is preferably transparent or translucent, in particular between the light source and the sensor. The holding element 15 can be a transparent blade, for example a glass slide, or even a well plate, or an enclosure. In this example the holding element 15 is a fluid chamber. The thickness e of the sample 10, along the propagation axis Z, typically varies between 10 μm and 1 cm, and is preferably between 20 μm and 1 mm. The sample 10 is maintained on a support 10s at a distance d from an image sensor 20. The medium 10 m in which the particles 10 p are bathed is preferably immobile with respect to the holding element 15 or with respect to to the image sensor 20. The particles 10 p can be stationary relative to the holding element 15 or relative to the image sensor 20.
La distance D entre la source de lumière 11 et la chambre fluidique 15 est de préférence supérieure à 1 cm. Elle est de préférence comprise entre 2 et 30 cm. Avantageusement, la source de lumière 11, vue par l'échantillon, est considérée comme ponctuelle. Cela signifie que son diamètre (ou sa diagonale) est préférentiellement inférieur au dixième, mieux au centième de la distance entre la chambre fluidique 15 et la source de lumière 11.The distance D between the light source 11 and the fluid chamber 15 is preferably greater than 1 cm. It is preferably between 2 and 30 cm. Advantageously, the light source 11, seen by the sample, is considered to be punctual. This means that its diameter (or its diagonal) is preferably less than a tenth, better a hundredth of the distance between the fluid chamber 15 and the light source 11.
La source de lumière est de préférence une source ponctuelle, par exemple une source de lumière laser ou une diode électroluminescente. Comme décrit par la suite, de meilleurs résultats sont obtenus lorsque la source de lumière est une source laser, du fait d'une bande spectrale d'émission plus étroite.The light source is preferably a point source, for example a laser light source or a light emitting diode. As described below, better results are obtained when the light source is a laser source, due to a narrower emission spectral band.
Lorsque la source de lumière 11 est une diode électroluminescente, elle est de préférence associée à un diaphragme 18, formant un filtre spatial, comme représenté sur la figure IB. L'ouverture du diaphragme est typiquement comprise entre 5 μιτι et 1 mm, de préférence entre 50 μιτι et 500 μιτι, par exemple 150 μιτι. Le diaphragme peut être remplacé par une fibre optique, dont une première extrémité est placée face à la source de lumière 11 et dont une deuxième extrémité est placée en regard de l'échantillon 10. Un diffuseur 17 peut être disposé entre la diode électroluminescente et le diaphragme, comme décrit dans le document US2017317125.When the light source 11 is a light-emitting diode, it is preferably associated with a diaphragm 18, forming a spatial filter, as shown in FIG. 1B. The opening of the diaphragm is typically between 5 μιτι and 1 mm, preferably between 50 μιτι and 500 μιτι, for example 150 μιτι. The diaphragm can be replaced by an optical fiber, a first end of which is placed facing the light source 11 and a second end of which is placed opposite the sample 10. A diffuser 17 can be placed between the light-emitting diode and the diaphragm, as described in document US2017317125.
De préférence, la bande spectrale d'émission Δλ de l'onde lumineuse incidente 12 a une largeur de bande inférieure à 100 nm, et de préférence inférieure à 20 nm, voire à 10 nm. Par largeur de bande spectrale, on entend une largeur à mi-hauteur de ladite bande spectrale. Comme décrit par la suite, plus la bande spectrale est étroite, meilleure est la précision du comptage des particules.Preferably, the emission spectral band Δλ of the incident light wave 12 has a bandwidth less than 100 nm, and preferably less than 20 nm, or even 10 nm. By spectral bandwidth is meant a width at half height of said spectral band. As described below, the narrower the spectral band, the better the particle counting accuracy.
L'échantillon 10 est disposé entre la source de lumière 11 et un capteur d'image 20. Le capteur d'image 20 est apte à former une image Io de l'échantillon 10 selon un plan de détection Po. L'image acquise est également désigné par le terme hologramme. Dans l'exemple représenté, il s'agit d'un capteur d'image comportant une matrice de pixels, de type CCD ou un CMOS. La matrice de pixels forme le plan de détection Po. Le plan de détection Po s'étend de préférence perpendiculairement à l'axe de propagation Z de l'onde lumineuse incidente 12. Le plan de détection s'étend selon un plan radial XY, défini par deux axes X et Y, le plan radial étant perpendiculaire à l'axe de propagation Z.The sample 10 is placed between the light source 11 and an image sensor 20. The image sensor 20 is able to form an image I o of the sample 10 according to a detection plane P o . The acquired image is also designated by the term hologram. In the example shown, it is an image sensor comprising a pixel matrix, of CCD type or a CMOS. The pixel matrix forms the detection plane P o . The detection plane P o preferably extends perpendicular to the axis of propagation Z of the incident light wave 12. The detection plane extends along a radial plane XY, defined by two axes X and Y, the plane radial being perpendicular to the axis of propagation Z.
La distance d entre l'échantillon 10 et la matrice de pixels du capteur d'image 20 est préférentiellement comprise entre 50 μιτι et 2 cm, de préférence comprise entre 100 μιτι et 2 mm.The distance d between the sample 10 and the pixel matrix of the image sensor 20 is preferably between 50 μιτι and 2 cm, preferably between 100 μιτι and 2 mm.
On remarque, dans les modes de réalisation représentés sur les figures IA et IB, l'absence d'optique de grossissement ou de formation d'image entre le capteur d'image 20 et l'échantillon 10. Cela n'empêche pas la présence éventuelle de microlentilles de focalisation au niveau de chaque pixel du capteur d'image 20, ces dernières n'ayant pas de fonction de grandissement de l'image acquise par le capteur d'image, leur fonction étant d'optimiser l'efficacité de collecte de la lumière par les pixels.Note, in the embodiments shown in Figures IA and IB, the absence of magnification optics or image formation between the image sensor 20 and the sample 10. This does not prevent the presence possible focusing microlenses at each pixel of the image sensor 20, the latter having no function of enlarging the image acquired by the image sensor, their function being to optimize the collection efficiency of light by the pixels.
Sous l'effet de l'onde lumineuse incidente 12, les particules 10p présentes dans l'échantillon peuvent engendrer une onde diffractée 13, susceptible de produire, au niveau du plan de détection Po, des interférences, en particulier avec une partie de l'onde lumineuse incidente 12' transmise par l'échantillon. L'onde lumineuse transmise 12' correspond à une partie de l'onde lumineuse incidente 12 non absorbée par l'échantillon. Ainsi, l'onde lumineuse 14, transmise par l'échantillon, et à laquelle est exposé le capteur d'image 20, désignée par le terme onde d'exposition, peut comprendre :Under the effect of the incident light wave 12, the particles 10 p present in the sample can generate a diffracted wave 13, capable of producing, at the level of the detection plane P o , interference, in particular with a portion of the incident light wave 12 'transmitted by the sample. The transmitted light wave 12 'corresponds to a part of the incident light wave 12 not absorbed by the sample. Thus, the light wave 14, transmitted by the sample, and to which the image sensor 20 is exposed, designated by the term exposure wave, can comprise:
une composante 13 résultant de la diffraction de l'onde lumineuse incidente 12 par chaque particule de l'échantillon ;a component 13 resulting from the diffraction of the incident light wave 12 by each particle of the sample;
une composante 12' résultant de la transmission de l'onde lumineuse incidente 12 par l'échantillon, une partie de cette dernière pouvant être absorbée dans l'échantillon.a component 12 ′ resulting from the transmission of the incident light wave 12 by the sample, part of the latter being able to be absorbed in the sample.
Ces composantes forment des interférences dans le plan de détection Po. Aussi, l'image acquise par le capteur d'image comporte des figures d'interférences (ou figures de diffraction), dues aux différentes particules 10p de l'échantillon.These components form interference in the detection plane P o . Also, the image acquired by the image sensor includes interference patterns (or diffraction patterns), due to the different particles 10 p of the sample.
Un processeur 21, par exemple un microprocesseur, est apte à traiter chaque image Io acquise par le capteur d'image 20, selon les étapes décrites ci-après. En particulier, le processeur est un microprocesseur relié à une mémoire programmable 22 dans laquelle est stockée une séquence d'instructions pour effectuer les opérations de traitement d'images et de calculs décrites dans cette description. Le processeur peut être couplé à un écran 24 permettant l'affichage d'images acquises par le capteur d'image 20 ou calculées par le processeur 21.A processor 21, for example a microprocessor, is able to process each image I o acquired by the image sensor 20, according to the steps described below. In particular, the processor is a microprocessor connected to a programmable memory 22 in which is stored a sequence of instructions for performing the image processing and calculation operations described in this description. The processor can be coupled to a screen 24 allowing the display of images acquired by the image sensor 20 or calculated by the processor 21.
Du fait de l'absence d'optique de formation d'image, une image Io acquise par le capteur d'image 20, également appelée hologramme, ne permet pas d'obtenir une représentation suffisamment précise de l'échantillon observé. L'image acquise Io peut notamment comporter un grand nombre de figures d'interférence, et peut ne pas être aisément exploitable pour identifier les particules présentes dans l'échantillon et procéder à leur comptage.Due to the absence of image forming optics, an image I o acquired by the image sensor 20, also called a hologram, does not allow a sufficiently precise representation of the observed sample to be obtained. The acquired image I o may in particular include a large number of interference patterns, and may not be easily usable to identify the particles present in the sample and to count them.
On peut appliquer, à l'image Io acquise par le capteur d'image, un opérateur de propagation holographique h, de façon à calculer une grandeur complexe représentative de l'onde lumineuse d'exposition 14. Il est alors possible de reconstruire une expression complexe A de l'onde lumineuse d'exposition 14 en tout point de coordonnées (x,y,z)de l'espace, et en particulier dans un plan de reconstruction Pz situé à une distance \z\ du capteur d'image 20, dite distance de reconstruction, ce plan de reconstruction étant par exemple le plan Pw selon lequel s'étend l'échantillon. Une première façon d'obtenir l'expression complexe A(x,y,z) en un point (x,y,z) est d'appliquer l'expression : A(x,y,z) = I0(x,y,z)*h (1), * désignant l'opérateur produit de convolution.A holographic propagation operator h can be applied to the image I o acquired by the image sensor, so as to calculate a complex quantity representative of the exposure light wave 14. It is then possible to reconstruct a complex expression A of the exposure light wave 14 at any point of coordinates (x, y, z) of space, and in particular in a reconstruction plane P z located at a distance \ z \ from the sensor image 20, called the reconstruction distance, this reconstruction plane being for example the plane P w along which the sample extends. A first way to obtain the complex expression A (x, y, z) at a point (x, y, z) is to apply the expression: A (x, y, z) = I 0 (x, y, z) * h (1), * designating the convolution product operator.
L'opérateur de propagation h a pour fonction de décrire la propagation de la lumière entre le capteur d'image 20 et un point de coordonnées (x, y,z), situé à une distance |z| du capteur d'image. Il est alors possible de déterminer le module M(x, y, z) et/ou la phase φ (x, y, z) l'onde lumineuse 14, à la distance de reconstruction | z |, avec :The function of the propagation operator h is to describe the propagation of light between the image sensor 20 and a point of coordinates (x, y, z), located at a distance | z | of the image sensor. It is then possible to determine the module M (x, y, z) and / or the phase φ (x, y, z) the light wave 14, at the reconstruction distance | z |, with:
M(x,y,z)= abs [A(x,y,z)J ;M (x, y, z) = abs [A (x, y, z) J;
<p(x,y,z) = arg [A(x,y,z)].<p (x, y, z) = arg [A (x, y, z)].
Les opérateurs abs et arg désignent respectivement le module et l'argument.The operators abs and arg respectively designate the module and the argument.
L'opérateur de propagation est par exemple la fonction de Fresnel-Helmholtz, telle que : h(x,y,z) = — e1Znxexp(in~x +y ) (2) avec i2 = —1.The propagation operator is for example the Fresnel-Helmholtz function, such that: h (x, y, z) = - e 1Zn xexp (in ~ x + y ) (2) with i 2 = —1.
-7 j/.z λζ- 7 d / .z λζ
L'expression complexe A de l'onde lumineuse 14, en tout point de coordonnées (x, y, z) de l'espace, est telle que : A(x,y,z) = M(x,y,z)eI‘p<'x'y'z\The complex expression A of the light wave 14, at any point of coordinates (x, y, z) of space, is such that: A (x, y, z) = M (x, y, z) e I ' p < ' x ' y ' z \
Dans la suite de cette description, les coordonnées (x,y) désignent une position radiale dans un plan radial XY parallèle au plan de détection Po. La coordonnée z désigne une coordonnée selon l'axe de propagation Z.In the remainder of this description, the coordinates (x, y) designate a radial position in a radial plane XY parallel to the detection plane P o . The z coordinate designates a coordinate along the propagation axis Z.
L'expression complexe A est une grandeur complexe dont l'argument et le module sont respectivement représentatifs de la phase et de l'intensité de l'onde lumineuse 14 d'exposition détectée par le capteur d'image 20. Le produit de convolution de l'image Io par l'opérateur de propagation h permet d'obtenir une image complexe Az représentant une distribution spatiale de l'expression complexe A dans un plan de reconstruction Pz, s'étendant à une distance | z | du plan de détection Po, parallèlement à ce dernier. Dans cet exemple, le plan de détection Po a pour équation z = 0. L'image complexe Az correspond à une image complexe de l'échantillon dans le plan de reconstruction Pz. L'image Az est définie à des coordonnées radiales (x,y), de telle sorte que Az(x, y) = A(x, y, z). L'image Az représente également une distribution spatiale bidimensionnelle de l'expression complexe de l'onde d'exposition 14. Un tel procédé, désigné par le terme reconstruction holographique, permet notamment de reconstruire une image du module ou de la phase de l'onde lumineuse d'exposition 14 dans le plan de reconstruction. Pour cela, on peut former des images Mz et <pz représentant respectivement le module ou la phase de l'image complexe Az, avec Mz = mod (Az) et φζ = arg(Az). Dans la suite du texte, une image obtenue à partir du module ou de la phase d'une image complexe est désignée par le terme image reconstruite.The complex expression A is a complex quantity whose argument and modulus are respectively representative of the phase and the intensity of the light wave 14 of exposure detected by the image sensor 20. The convolution product of the image I o by the propagation operator h makes it possible to obtain a complex image A z representing a spatial distribution of the complex expression A in a reconstruction plane P z , extending at a distance | z | of the detection plane P o , parallel to the latter. In this example, the detection plane P o has the equation z = 0. The complex image A z corresponds to a complex image of the sample in the reconstruction plane P z . The image A z is defined at radial coordinates (x, y), so that A z (x, y) = A (x, y, z). Image A z also represents a two-dimensional spatial distribution of the complex expression of the exposure wave 14. Such a process, designated by the term holographic reconstruction, makes it possible in particular to reconstruct an image of the module or of the phase of the exposure light wave 14 in the reconstruction plan. For this, we can form images M z and <p z representing respectively the module or the phase of the complex image A z , with M z = mod (A z ) and φ ζ = arg (A z ). In the following text, an image obtained from the module or from the phase of a complex image is designated by the term reconstructed image.
L'application d'un opérateur de reconstruction holographique, à partir d'une image acquise, selon l'expression (1), peut s'accompagner de la formation d'un bruit affectant les images reconstruites. Afin de limiter l'apparition de ce bruit, l'application de l'opérateur de reconstruction holographique est effectuée selon des algorithmes itératifs de reconstruction holographique. De tels algorithmes de reconstruction sont par exemple décrits :The application of a holographic reconstruction operator, from an acquired image, according to expression (1), can be accompanied by the formation of noise affecting the reconstructed images. In order to limit the appearance of this noise, the application of the holographic reconstruction operator is carried out according to iterative holographic reconstruction algorithms. Such reconstruction algorithms are for example described:
dans le document WO2016189257, en particulier dans les étapes 100 à 150 décrites dans ce dernier ;in document WO2016189257, in particular in steps 100 to 150 described in the latter;
ou dans le document WO2017162985, et plus précisément selon les étapes 110 à 160 décrites dans ce dernier.or in document WO2017162985, and more precisely according to steps 110 to 160 described in the latter.
Les images représentées sur les figures 2A et 2B ont été obtenues en appliquant un algorithme de reconstruction holographique à une image acquise par un capteur d'image 20. L'échantillon observé était un échantillon de plasma sanguin riche en plaquettes (PRP - acronyme de PlateletRich Plasma), obtenu par une centrifugation d'un plasma sanguin. L'échantillon 10 était disposé dans une chambre fluidique 15 d'épaisseur e égale à 100 pm, disposée à une distance de 1 mm d'un capteur d'image de type IDS UI-1492LE. Pour obtenir les figures 2A et 2B, on a appliqué un algorithme de reconstruction holographique décrit dans WO2017162985 à une image Io acquise par le capteur d'image, en considérant respectivement deux distances de reconstruction zx et z2. Les distances de reconstruction définissent respectivement deux plans de reconstruction P± et P2, s'étendant dans l'échantillon, parallèlement au plan de détection Po. On a ainsi obtenu deux images complexes A± et ri2 représentatives d'une expression complexe de l'onde lumineuse d'exposition 14 dans chaque plan de reconstruction P± et P2 considéré. Les figures 2A et 2B correspondent respectivement au module de chaque image complexe obtenue. Il s'agit d'images du module et M2, respectivement représentatives du module de l'onde lumineuse d'exposition 14 aux distances zx et z2 par rapport au plan de détection Po.The images represented in FIGS. 2A and 2B were obtained by applying a holographic reconstruction algorithm to an image acquired by an image sensor 20. The sample observed was a sample of blood plasma rich in platelets (PRP - acronym of PlateletRich Plasma), obtained by centrifugation of a blood plasma. The sample 10 was placed in a fluid chamber 15 of thickness e equal to 100 μm, placed at a distance of 1 mm from an image sensor of the IDS UI-1492LE type. To obtain FIGS. 2A and 2B, a holographic reconstruction algorithm described in WO2017162985 was applied to an image I o acquired by the image sensor, by considering respectively two reconstruction distances z x and z 2 . The reconstruction distances respectively define two reconstruction planes P ± and P 2 , extending in the sample, parallel to the detection plane P o . We thus obtained two complex images A ± and ri 2 representative of a complex expression of the light wave of exposure 14 in each reconstruction plane P ± and P 2 considered. FIGS. 2A and 2B correspond respectively to the modulus of each complex image obtained. These are images of the module and M 2 , respectively representative of the module of the light wave of exposure 14 at distances z x and z 2 relative to the detection plane P o .
L'écart z2 — zx entre les deux distances de reconstruction est faible, de préférence inférieur ou égal à 20pm, et de préférence inférieur ou égal à 10 pm. Une partie des plaquettes apparaissant sur chacune de ces figures sont contournées d'un cercle en pointillés noirs sur les deux figures. En dépit du faible décalage entre les distances de reconstruction zx et z2, on observe que certaines plaquettes sont visibles sur une figure 2B et non sur la figure 2A, ces dernières étant contournées d'un cercle en pointillés blancs sur la figure 2B. Aussi, sur deux figures consécutives, respectivement reconstruites en considérant des distances de reconstruction proches, certaines particules apparaissent ou disparaissent brusquement. De plus, lorsque des plaquettes sont visibles sur les deux figures consécutives, elles apparaissent faiblement contrastées.The difference z 2 - z x between the two reconstruction distances is small, preferably less than or equal to 20 pm, and preferably less than or equal to 10 pm. A part of the plates appearing in each of these figures are surrounded by a black dotted circle in the two figures. Despite the slight offset between the reconstruction distances z x and z 2 , it can be seen that certain plates are visible in FIG. 2B and not in FIG. 2A, the latter being circumvented by a white dotted circle in FIG. 2B. Also, in two consecutive figures, respectively reconstructed by considering close reconstruction distances, certain particles suddenly appear or disappear. In addition, when plates are visible in the two consecutive figures, they appear slightly contrasted.
Lorsque la taille des particules est plus importante, le recours à des images reconstruites permet d'effectuer une localisation tridimensionnelle des particules, en mettant en œuvre un algorithme de focalisation numérique, connu dans le domaine de l'holographie numérique. Selon un tel algorithme, on considère une pluralité d'images reconstruites selon différentes distances de reconstruction, ces images formant une pile d'images. Pour chaque particule identifiée, on établit une évolution d'un indicateur de netteté sur les différentes images reconstruites. La coordonnée, selon l'axe Z, de la particule considérée correspond à la coordonnée de l'image reconstruite pour laquelle l'indicateur de netteté est le plus élevé.When the size of the particles is larger, the use of reconstructed images makes it possible to perform a three-dimensional localization of the particles, by implementing a digital focusing algorithm, known in the field of digital holography. According to such an algorithm, a plurality of images reconstructed according to different reconstruction distances are considered, these images forming a stack of images. For each particle identified, an evolution of a sharpness indicator is established on the different reconstructed images. The coordinate, along the Z axis, of the particle considered corresponds to the coordinate of the reconstructed image for which the sharpness indicator is the highest.
Cependant, les inventeurs ont constaté que lorsque le nombre de particules est élevé, il n'est pas optimal de mettre en œuvre un algorithme de focalisation numérique, sur chaque particule, prise individuellement, comme effectué dans l'art antérieur. En effet, cela est trop consommateur en ressources de calcul : mémoire et/ou temps de calcul. Une difficulté supplémentaire apparaît lorsque les particules sont de petites tailles, typiquement inférieure à 20 pm ou à 10 pm : les particules n'apparaissent alors que sur certaines images reconstruites, proches les unes des autres, et leur contraste est faible, ce qui ne permet pas une mise en œuvre optimale de la focalisation numérique. Cependant, un algorithme de focalisation numérique peut toutefois être mis en œuvre, de façon à estimer une distance de focalisation moyenne z^, cette dernière correspondant à une distance, par rapport au capteur d'image 20, à laquelle se trouvent une majorité des particules 10p où à laquelle se trouvent un grand nombre de particules.However, the inventors have found that when the number of particles is high, it is not optimal to implement a digital focusing algorithm, on each particle, taken individually, as carried out in the prior art. Indeed, this is too consuming in computing resources: memory and / or computing time. An additional difficulty appears when the particles are small, typically less than 20 pm or 10 pm: the particles then appear only on certain reconstructed images, close to each other, and their contrast is low, which does not allow not an optimal implementation of digital focus. However, a digital focusing algorithm can however be implemented, so as to estimate an average focusing distance z ^, the latter corresponding to a distance, relative to the image sensor 20, at which a majority of the particles are located. 10 p where a large number of particles are found.
Les inventeurs ont mis en œuvre un procédé, combinant la reconstruction holographique d'images et la segmentation d'images reconstruites, dont les principales étapes sont décrites-cidessous, en lien avec la figure 3, pour obtenir un dénombrement fiable de particules de petite taille, telles que des plaquettes, dans un échantillon.The inventors have implemented a method, combining holographic image reconstruction and segmentation of reconstructed images, the main steps of which are described below, in connection with FIG. 3, in order to obtain a reliable count of small particles. , such as platelets, in a sample.
Etape 100 : Illumination de l'échantillon 10 et acquisition d'une image /0 de l'échantillon 10 par le capteur d'image 20, cette image formant un hologramme. Un intérêt de la configuration sans lentille, représentée sur les figures IA ou IB est le large champ observé, permettant d'adresser simultanément un volume d'échantillon élevé. Le champ observé dépend de la taille du capteur d'image, en étant légèrement inférieur à la surface de détection de ce dernier, du fait de l'espacement entre les pixels du capteur d'image et l'échantillon. Le champ observé est généralement supérieur à 10 mm2, et est typiquement compris entre 10 mm2 et 50 mm2, ce qui est significativement plus élevé qu'avec un microscope conventionnel. Dans des applications liées au comptage de particules, cela permet d'effectuer un comptage basé sur un faible nombre d'images acquises.Step 100: Illumination of the sample 10 and acquisition of an image / 0 of the sample 10 by the image sensor 20, this image forming a hologram. An advantage of the configuration without lens, shown in FIGS. 1A or 1B is the wide field observed, making it possible to simultaneously address a high volume of sample. The field observed depends on the size of the image sensor, being slightly smaller than the detection surface of the latter, due to the spacing between the pixels of the image sensor and the sample. The field observed is generally greater than 10 mm 2 , and is typically between 10 mm 2 and 50 mm 2 , which is significantly higher than with a conventional microscope. In applications related to particle counting, this makes it possible to perform a counting based on a small number of acquired images.
Des essais ont été effectués en considérant plusieurs sources de lumière, dans différentes bandes spectrales, et de différentes cohérences temporelles. Ces essais sont décrits ci-après en lien avec les figures 6A à 6C.Tests were carried out by considering several sources of light, in different spectral bands, and of different temporal coherences. These tests are described below in connection with FIGS. 6A to 6C.
Etape 110 : Obtention d'une pile d'images complexes.Step 110: Obtaining a stack of complex images.
Cette étape comporte une reconstruction de plusieurs images complexes en effectuant des reconstructions numériques à différentes distances de reconstruction du plan de détection Po. On obtient alors une pile d'images complexes Aj. Chaque image complexe Aj de la pile d'images est reconstruite à une distance de reconstruction z;, avec z/=1 < z; < z/=/, où :This step includes a reconstruction of several complex images by performing digital reconstructions at different reconstruction distances from the detection plane P o . We then obtain a stack of complex images Aj. Each complex image Aj of the image stack is reconstructed at a reconstruction distance z ; , with z / = 1 <z ; <z / = / , where:
Zj=1 est une distance minimale du capteur d'image, selon l'axe Z, à laquelle une image complexe Zl/=1 est reconstruite ;Zj = 1 is a minimum distance from the image sensor, along the Z axis, at which a complex image Zl / = 1 is reconstructed;
Zj=j est une distance maximale du capteur d'image, selon l'axe Z, à laquelle une image complexe Aj=j est reconstruite.Zj = j is a maximum distance from the image sensor, along the Z axis, at which a complex image Aj = j is reconstructed.
Chaque indice j est un entier naturel représentant une distance de reconstruction, avec 1 < j < ],] étant le nombre d'images complexes Aj dans la pile d'images.Each index j is a natural integer representing a reconstruction distance, with 1 <j <],] being the number of complex images Aj in the image stack.
De préférence, les distances de reconstruction z; encadrent l'échantillon. Si l'échantillon 10 s'étend, selon l'axe de propagation Z, entre deux distances zmin et zmax, par rapport au capteur d'image 20, avec zmin< zmax, les distances de reconstruction minimale z/=1 et maximale Zj=j sont telles que z/=1 < zmin < zmax < Zj=j. Les inventeurs ont constaté que si la première distance de reconstruction z/=1 ou la dernière distance de reconstruction Zj=j sont trop éloignées des plaquettes, on augmente le risque de fausse détection. Il est donc préférable de disposer d'un a priori quant aux distances probables des plaquettes par rapport au plan de détection Po.Preferably, the reconstruction distances z ; frame the sample. If the sample 10 extends, along the propagation axis Z, between two distances z min and z max , relative to the image sensor 20, with z min <z max , the minimum reconstruction distances z / = 1 and maximum Zj = j are such that z / = 1 <z min <z max <Zj = j. The inventors have found that if the first reconstruction distance z / = 1 or the last reconstruction distance Zj = j are too far from the platelets, the risk of false detection is increased. It is therefore preferable to have an a priori as to the probable distances of the platelets from the detection plane P o .
Les distances de reconstruction z; peuvent être établies en déterminant une distance de focalisation z?, à laquelle se trouvent une majeure partie des plaquettes, ou un grand nombre de plaquettes, la distance de focalisation étant obtenue par un algorithme de focalisation numérique. Les distances de reconstruction z; peuvent alors être déterminées en opérant un décalage progressif à partir de la distance de focalisation Zf.The reconstruction distances z ; can be established by determining a focusing distance z?, at which a major part of the wafers are found, or a large number of wafers, the focusing distance being obtained by a digital focusing algorithm. The reconstruction distances z ; can then be determined by operating a progressive shift from the focusing distance Zf.
Les distances de reconstruction respectives z7, z;+1 de deux images reconstruites Aj, Az.+i adjacentes peuvent être écartées d'une distance comparable à la dimension des particules. Lorsque ces dernières sont des plaquettes, l'écart entre deux distances de reconstruction adjacentes est de préférence compris entre 5pm et 15 pm, par exemple 10 pm. Un tel écart correspond à un pas de reconstruction. Par distance de reconstruction adjacente, on entend une distance de reconstruction dont les indices j sont consécutifs.The respective reconstruction distances z 7 , z ; +1 of two reconstructed images Aj, A z . + i adjacent can be separated by a distance comparable to the particle size. When the latter are plates, the difference between two adjacent reconstruction distances is preferably between 5 pm and 15 pm, for example 10 pm. Such a difference corresponds to a reconstruction step. By adjacent reconstruction distance is meant a reconstruction distance the indices j of which are consecutive.
Chaque image complexe Aj de la pile d'images est obtenue à partir de l'image Io acquise lors de l'étape 100, selon les différentes distances de propagation z7=1 ...z7 ....Zj=j. De préférence, chaque image complexe Aj est reconstruite en appliquant un algorithme de reconstruction limitant le bruit de reconstruction, comme précédemment décrit. On peut par exemple utiliser un algorithme décrit dans WO2017162985. Par à partir de, on entend à partir de l'image Io elle-même ou d'une image obtenue par traitement de l'image Io, par exemple une normalisation ou une prise en compte de la racine carrée de l'image.Each complex image Aj of the stack of images is obtained from the image I o acquired during step 100, according to the different propagation distances z 7 = 1 ... z 7 .... Zj = j . Preferably, each complex image Aj is reconstructed by applying a reconstruction algorithm limiting the reconstruction noise, as previously described. One can for example use an algorithm described in WO2017162985. By starting from, we mean from the image I o itself or from an image obtained by processing the image I o , for example a normalization or taking into account the square root of the image .
A l'issue de l'étape 110, on dispose d'une pile d'images complexes Aj, chaque image complexe étant représentative d'une expression complexe de l'onde lumineuse d'exposition 14, dans un plan de reconstruction Pj situé à une distance z7 du plan de détection Po.At the end of step 110, there is a stack of complex images Aj, each complex image being representative of a complex expression of the exposure light wave 14, in a reconstruction plane Pj located at a distance z 7 from the detection plane P o .
Etape 120 : Obtention d'une pile d'images reconstruites.Step 120: Obtaining a stack of reconstructed images.
Les images Aj issues de l'étape 110 sont des images complexes, au sens où elles correspondent à une distribution spatiale de grandeurs complexes, dans un plan de reconstruction Pj associé à la distance de reconstruction z;. A partir de chaque image complexe Aj, on peut obtenir une image reconstruite Ij représentant une distribution spatiale d'une grandeur scalaire dans le plan de reconstruction Pj associé à la distance de reconstruction z;. L'image reconstruite Ij peut être obtenue à partir :The images Aj from step 110 are complex images, in the sense that they correspond to a spatial distribution of complex quantities, in a reconstruction plane Pj associated with the reconstruction distance z ; . From each complex image Aj, a reconstructed image Ij can be obtained representing a spatial distribution of a scalar quantity in the reconstruction plane Pj associated with the reconstruction distance z ; . The reconstructed image Ij can be obtained from:
d'une image du module Mj de chaque image complexe Aj, avec Ij (x, y) = M7(x,y) = mod (ri, (x, y)) ;an image of the module Mj of each complex image Aj, with Ij (x, y) = M 7 (x, y) = mod (ri, (x, y));
et/ou d'une image de la phase <pj de chaque image complexe Aj, avec <p7(x,y) = arg(Aj(x,y)) ;and / or an image of the phase <pj of each complex image Aj, with <p 7 (x, y) = arg (Aj (x, y));
et/ou d'une image de la partie réelle Rej de chaque image complexe ri,, avec ffe7(x,y) = Re(Aj(x,yyi, Re désignant l'opérateur partie réelle;and / or an image of the real part Rej of each complex image ri ,, with ffe 7 (x, y) = Re (Aj (x, yyi, Re designating the operator real part;
et/ou d'une image de la partie imaginaire Irrij de chaque image complexe ri,, avec Imj(x,y) = Im(Aj(x,y)), Im désignant l'opérateur partie imaginaire.and / or an image of the imaginary part Irrij of each complex image ri ,, with Imj (x, y) = Im (Aj (x, y)), Im designating the operator imaginary part.
D'une façon générale, une image reconstruite Ij est une image de grandeurs scalaires obtenues à partir d'une image complexe reconstruite Aj. Elle peut notamment être établie à partir du module et/ou de la phase et/ou de la partie réelle et/ou de la partie imaginaire d'une image complexe Aj calculée lors de l'étape 110.In general, a reconstructed image Ij is an image of scalar quantities obtained from a complex reconstructed image Aj. It can in particular be established from the module and / or from the phase and / or from the real part and / or from the imaginary part of a complex image Aj calculated during step 110.
A l'issue de l'étape 120, on dispose d'une pile d'images reconstruites I^Jj ...Ij, chaque image reconstruite Ij étant associée à une distance de reconstruction Zj.At the end of step 120, there is a stack of reconstructed images I ^ Jj ... Ij, each reconstructed image Ij being associated with a reconstruction distance Zj.
Etape 130 : Segmentation de chaque image reconstruite Ij.Step 130: Segmentation of each reconstructed image Ij.
Les figures 2A et 2B sont deux images reconstruites en considérant le module d'images complexes. On parle d'images de module. Sur ces images, on observe que chaque plaquette correspond à des pixels sombres, formant un contraste local. Lors de l'étape 130, chaque image reconstruite Ij fait l'objet d'une segmentation, de façon à délimiter des régions d'intérêt ROItj. Le double indice i,j désigne une région d'intérêt i dans une image reconstruite Ij. Par segmentation d'image, on entend une partition de l'image de façon à regrouper les pixels, par exemple en fonction de leur intensité.FIGS. 2A and 2B are two images reconstructed by considering the module of complex images. We are talking about module images. On these images, we observe that each plate corresponds to dark pixels, forming a local contrast. During step 130, each reconstructed image Ij is subject to segmentation, so as to delimit regions of interest ROItj. The double index i, j denotes a region of interest i in a reconstructed image Ij. By image segmentation is meant a partition of the image so as to group the pixels, for example as a function of their intensity.
La segmentation d'image aboutit à une image segmentée dans laquelle les régions d'intérêt ROIi j, espacées les unes des autres, sont délimitées. Chaque région d'intérêt peut correspondre à une particule, ou à un amas de particules. La segmentation permet de définir au moins deux classes de pixels : une classe de pixels représentant le fond de l'image et au moins une classe de pixels appartenant à une région d'intérêt ROItj. La segmentation peut être réalisée selon une valeur d'un seuil d'intensité prédéterminée. La valeur du seuil peut être ajustée sur chaque image, par exemple selon un seuillage d'Otsu, consistant à déterminer une valeur d'un seuil d'intensité à partir de l'histogramme de l'image, le seuil permettant une séparation optimale des pixels selon les deux classes précédemment décrites.The image segmentation results in a segmented image in which the regions of interest ROIi j, spaced from one another, are delimited. Each region of interest can correspond to a particle, or to a cluster of particles. The segmentation makes it possible to define at least two classes of pixels: a class of pixels representing the background of the image and at least one class of pixels belonging to a region of interest ROItj. The segmentation can be carried out according to a value of a predetermined intensity threshold. The threshold value can be adjusted on each image, for example according to an Otsu thresholding, consisting in determining a value of an intensity threshold from the histogram of the image, the threshold allowing an optimal separation of the pixels according to the two classes previously described.
D'autres méthodes de segmentation sont connues de l'homme du métier. On peut par exemple citer la méthode décrite dans Bradley D. Adaptative thresholding using the integral image. Cette méthode est basée sur une définition d'un voisinage de chaque pixel, dans lequel on calcule une intensité (ou niveau de gris) moyenne. On observe alors si l'intensité du pixel considéré se détache d'un facteur appliqué à l'intensité moyenne calculée dans le voisinage. Le voisinage de chaque pixel est déterminé en considérant une fenêtre s'étendant de part et d'autre du pixel, et dont la taille est paramétrable. Les paramètres de ce procédé de segmentation sont :Other segmentation methods are known to those skilled in the art. We can for example cite the method described in Bradley D. Adaptive thresholding using the integral image. This method is based on a definition of a neighborhood of each pixel, in which an average intensity (or gray level) is calculated. It is then observed whether the intensity of the pixel considered detaches from a factor applied to the average intensity calculated in the vicinity. The neighborhood of each pixel is determined by considering a window extending on either side of the pixel, the size of which can be configured. The parameters of this segmentation process are:
le facteur que l'on applique à l'intensité moyenne calculée dans la fenêtre, de façon à obtenir le seuil ;the factor which is applied to the average intensity calculated in the window, so as to obtain the threshold;
la taille de la fenêtre.the size of the window.
Les inventeurs ont utilisé une taille de fenêtre de 25 x 25 pixels. Les figures 4A, 4B, 4C montrent le résultat d'une segmentation, les valeurs du seuil étant respectivement supérieure ou égale à 1.1 fois le niveau moyen, 1.07 fois le niveau moyen et 1.05 fois le niveau moyen.The inventors used a window size of 25 x 25 pixels. Figures 4A, 4B, 4C show the result of a segmentation, the threshold values being respectively greater than or equal to 1.1 times the average level, 1.07 times the average level and 1.05 times the average level.
Sur les figures 4A à 4C, les zones encerclées d'un trait sombre correspondent à des plaquettes, tandis que les points sombres correspondent à des régions d'intérêt ROI issues de la segmentation. La valeur du facteur nécessite un ajustement, de façon établir un compromis entre les faux négatifs et les faux positifs. Sur les figures 4B et 4C, on observe que les valeurs de seuil de 1.07 fois ou 1.05 fois le niveau moyen conduisent à un nombre élevé de faux positifs. Ces derniers apparaissent sous la forme de points sombres non encerclés.In FIGS. 4A to 4C, the areas circled with a dark line correspond to plates, while the dark points correspond to regions of ROI interest resulting from the segmentation. The value of the factor requires adjustment, in order to compromise between false negatives and false positives. In FIGS. 4B and 4C, it is observed that the threshold values of 1.07 times or 1.05 times the average level lead to a high number of false positives. These appear in the form of dark dots that are not circled.
A l'issue de l'étape 130, on dispose, sur chaque image reconstruite Ij, de régions d'intérêt ROIij à chaque région d'intérêt étant associée une ou plusieurs plaquettes dans l'image.At the end of step 130, there are, on each reconstructed image Ij, regions of interest ROIij with each region of interest being associated with one or more plates in the image.
Etape 140 Dénombrement.Step 140 Enumeration.
Au cours de l'étape 140, les régions d'intérêt ROItj issues de la segmentation des images reconstruites Ij sont dénombrées. Selon un mode de réalisation, on peut constituer une image composite, comportant les différentes régions d'intérêt ROItj issues de la segmentation des images reconstruites Ij. Ces régions d'intérêt sont alors fusionnées en une même image. De façon alternative, on procède au dénombrement des régions d'intérêt sur chaque image reconstruite indépendamment l'une de l'autre, en ne prenant pas en compte les régions d'intérêt se superposant dans le plan radial XY, c'est-à-dire délimitant une même région dans le plan radial XY.During step 140, the regions of interest ROItj resulting from the segmentation of the reconstructed images Ij are counted. According to one embodiment, a composite image can be constituted, comprising the different regions of interest ROItj resulting from the segmentation of the reconstructed images Ij. These regions of interest are then merged into one image. Alternatively, the regions of interest are counted on each reconstructed image independently of one another, not taking into account the regions of interest overlapping in the radial plane XY, that is to say - say delimiting the same region in the radial XY plane.
Certaines régions d'intérêt peuvent comprendre plusieurs plaquettes disposées trop proches les unes des autres pour que la segmentation d'image puisse les séparer. Afin de tenir compte d'une telle éventualité, les régions d'intérêt ROItj peuvent faire l'objet d'un traitement visant à identifier les régions d'intérêt comportant plusieurs plaquettes. Le traitement peut être réalisé selon un critère morphologique, afin d'attribuer un nombre de plaquettes par région d'intérêt en fonction de la forme et/ou de l'étendue de chaque région d'intérêt. On peut par exemple se référer à des formes de référence, correspondant à des régions d'intérêt comportant un nombre prédéterminé de plaquettes.Certain regions of interest may comprise several plates arranged too close to one another so that the image segmentation can separate them. In order to take account of such a possibility, the ROItj regions of interest can be processed to identify regions of interest comprising several plates. The treatment can be carried out according to a morphological criterion, in order to assign a number of platelets per region of interest according to the shape and / or the extent of each region of interest. We can for example refer to reference shapes, corresponding to regions of interest comprising a predetermined number of plates.
Le traitement peut également être effectué en appliquant un filtre dit de ligne de partage des eaux, usuellement désigné par le terme anglosaxon watershed. Durant l'application d'un tel filtre, connu de l'homme du métier, l'image est assimilée à un relief topographique, dans lequel une montée des eaux est simulée. L'application du filtre permet de séparer des régions d'intérêt séparées par des pixels dont l'intensité est inférieure au niveau considéré.The treatment can also be carried out by applying a so-called watershed filter, usually designated by the term anglosaxon watershed. During the application of such a filter, known to those skilled in the art, the image is assimilated to a topographic relief, in which a rise in water is simulated. The application of the filter makes it possible to separate regions of interest separated by pixels whose intensity is lower than the level considered.
Les figures 5A à 5D sont des exemples expérimentaux, effectués sur des échantillons comportant des plaquettes, montrant l'efficacité d'un filtrage de type watershed. Les figures 5A et 5B correspondent à un même cas de figure avant et après la mise en œuvre du filtre. On observe que le filtre permet une séparation d'une région d'intérêt a (figure 5A) en deux régions d'intérêt distinctes b etc (figure 5B). Les figures 5C et 5D correspondent à un même cas de figure avant et après la mise en œuvre du filtre. On observe que le filtre permet séparation d'une région d'intérêt a (figure 5C) en trois régions d'intérêt distinctes b, c et d (figure 5D).FIGS. 5A to 5D are experimental examples, carried out on samples comprising platelets, showing the effectiveness of filtering of the watershed type. Figures 5A and 5B correspond to the same scenario before and after the implementation of the filter. It is observed that the filter allows a separation of a region of interest a (FIG. 5A) into two distinct regions of interest b etc (FIG. 5B). Figures 5C and 5D correspond to the same scenario before and after the implementation of the filter. It is observed that the filter allows separation of a region of interest a (FIG. 5C) into three distinct regions of interest b, c and d (FIG. 5D).
Lors de l'étape 140, un point délicat est le traitement de régions d'intérêt monopixel ROI^ ne comportant qu'un seul pixel. En effet, il est peu probable que chaque région d'intérêt monopixel corresponde à une plaquette. Une première possibilité est de ne pas prendre en compte les régions d'intérêt monopixel lors du dénombrement. Le risque est alors d'accroître le nombre de faux négatifs, c'est-à-dire d'obtenir un dénombrement incomplet. Afin de réduire le risque d'occurrence d'un faux négatif, une région d'intérêt monopixel ROI^ est considérée comme représentative d'une plaquette si elle apparaît sur deux images reconstruites adjacentes de la pile d'images, c'est-à-dire sur deux images reconstruites β β+1 ou et Ij.During step 140, a delicate point is the processing of regions of monopixel interest ROI ^ comprising only one pixel. In fact, it is unlikely that each monopixel region of interest corresponds to a brochure. A first possibility is not to take into account the regions of monopixel interest when counting. The risk is then to increase the number of false negatives, that is to say to obtain an incomplete count. In order to reduce the risk of occurrence of a false negative, a ROI ^ monopixel region of interest is considered to be representative of a plate if it appears on two adjacent reconstructed images of the image stack, that is to say - say on two reconstructed images β β +1 or and Ij.
La figure 6 représente, sur différents échantillons, le nombre de plaquettes N déterminé en mettant en œuvre l'invention (axe des ordonnées) en fonction du nombre de plaquettes déterminé en mettant en œuvre une méthode de référence (axe des abscisses). La méthode de référence est un automate de laboratoire, de type HORIBA P60. La courbe I correspond à une mise en œuvre sans prise en compte les régions d'intérêt monopixel. La courbe II correspond à une mise en œuvre en prenant en compte les régions d'intérêt monopixel apparaissant sur deux images reconstruites adjacentes. Sur chaque courbe, on a représenté une équation d'une droite obtenue par régression linéaire. On observe que la prise en compte des régions d'intérêt monopixel, sous réserve d'une apparition sur deux images reconstruites successives, permet de rapprocher la pente de la courbe de corrélation de 1, et d'obtenir un coefficient de corrélation R2 proche de 1.FIG. 6 represents, on different samples, the number of platelets N determined by implementing the invention (ordinate axis) as a function of the number of platelets determined by implementing a reference method (abscissa axis). The reference method is a laboratory automaton, of the HORIBA P60 type. Curve I corresponds to an implementation without taking into account the regions of monopixel interest. Curve II corresponds to an implementation taking into account the regions of monopixel interest appearing on two adjacent reconstructed images. On each curve, we have represented an equation of a straight line obtained by linear regression. It is observed that taking into account the regions of monopixel interest, subject to an appearance on two successive reconstructed images, makes it possible to approximate the slope of the correlation curve of 1, and to obtain a close correlation coefficient R 2 from 1.
Les inventeurs ont examiné l'influence de l'onde incidente d'illumination 12 sur les performances de comptage, et en particulier la bande spectrale Δλ ainsi que la largeur de bande spectrale, cette dernière conditionnant la cohérence temporelle de l'onde.The inventors have examined the influence of the incident illumination wave 12 on the counting performance, and in particular the spectral band Δλ as well as the spectral bandwidth, the latter conditioning the temporal coherence of the wave.
On a tout d'abord utilisé deux sources de lumière :We first used two light sources:
une diode laser émettant dans le bleu/violet, et dont la bande spectrale d'émission est centrée sur une longueur d'onde de 405 nm (courbes I et II de la figure 7A);a laser diode emitting in blue / violet, and whose emission spectral band is centered on a wavelength of 405 nm (curves I and II of FIG. 7A);
une diode électroluminescente, et dont la bande spectrale d'émission est centrée sur une longueur d'onde de 450 nm et de largeur de bande de 20 nm (courbe III de la figure 7A).a light emitting diode, and whose emission spectral band is centered on a wavelength of 450 nm and a bandwidth of 20 nm (curve III of FIG. 7A).
La diode laser a été alimentée selon deux intensités différentes : 120 mA (courbe I) et 90 mA (courbe II), ces courants d'alimentation conférant respectivement une largeur de bande de 4.6 nm et de 8.9 nm. Un procédé permettant la détermination de l'intensité d'alimentation optimale d'une diode laser, convenant particulièrement à l'application l'observation, par holographie, d'échantillons comportant des particules, est décrit dans WO2017109428.The laser diode was supplied at two different intensities: 120 mA (curve I) and 90 mA (curve II), these supply currents giving a bandwidth of 4.6 nm and 8.9 nm respectively. WO2017109428 describes a method for determining the optimum supply intensity of a laser diode, which is particularly suitable for the application of holographic observation of samples containing particles.
La figure 7A représente le nombre N de plaquettes déterminé en mettant en œuvre l'invention (axe des ordonnées) en fonction du nombre de plaquettes déterminé en mettant en œuvre une méthode de référence (axe des abscisses). On a indiqué, pour chaque essai, une droite de régression, dont l'équation est mentionnée sur la figure 7A. On observe que la configuration la plus favorable, c'est-à-dire celle pour laquelle la pente, ainsi que le coefficient de corrélation R2, se rapprochent le plus de 1, est la courbe I, obtenue avec une source laser dont la bande spectrale d'émission est centrée sur une longueur d'onde proche de 400 nm et dont la largeur de bande spectrale est la plus faible des trois configurations testées.FIG. 7A represents the number N of platelets determined by implementing the invention (ordinate axis) as a function of the number of platelets determined by implementing a reference method (abscissa axis). For each test, a regression line has been indicated, the equation of which is given in FIG. 7A. It is observed that the most favorable configuration, that is to say that for which the slope, as well as the correlation coefficient R 2 , come closest to 1, is the curve I, obtained with a laser source whose emission spectral band is centered on a wavelength close to 400 nm and whose spectral bandwidth is the smallest of the three configurations tested.
On a ensuite utilisé deux sources de lumière :We then used two light sources:
la diode laser émettant dans le bleu/violet, et dont la bande spectrale d'émission est centrée sur une longueur d'onde de 405 nm, et de largeur spectrale 4.6 nm, ce qui correspond à une longueur de cohérence de 15 μιτι (courbe I de la figure 7B) ;the laser diode emitting in blue / violet, and whose emission spectral band is centered on a wavelength of 405 nm, and of spectral width 4.6 nm, which corresponds to a coherence length of 15 μιτι (curve I of Figure 7B);
une diode laser émettant dans le rouge, et dont la bande spectrale d'émission est centrée sur une longueur d'onde de 653 nm (courbes II et III de la figure 7B).a laser diode emitting in the red, and whose emission spectral band is centered on a wavelength of 653 nm (curves II and III of FIG. 7B).
La diode laser émettant dans le rouge a été alimentée selon deux intensités différentes : 12 mA (courbe II) et 11 mA (courbe III), ces courants d'alimentation conférant respectivement une largeur de bande de 5 nm et de 8.9 nm, ce qui correspond à une longueur de cohérence de 104 μιτι et de 23 μιτι.The laser diode emitting in the red was supplied at two different intensities: 12 mA (curve II) and 11 mA (curve III), these supply currents giving a bandwidth of 5 nm and 8.9 nm respectively, which corresponds to a coherence length of 104 μιτι and 23 μιτι.
La figure 7B représente le nombre N de plaquettes déterminé en mettant en œuvre l'invention (axe des ordonnées) en fonction du nombre de plaquettes déterminé en mettant en œuvre une méthode de référence (axe des abscisses). On a indiqué, pour chaque essai, une droite de régression, dont l'équation est mentionnée sur la figure, ainsi qu'un coefficient de corrélation R2. On observe que la configuration la plus favorable, c'est-à-dire celle pour laquelle la pente se rapproche le plus de 1, est la courbe I, obtenue avec une source laser dont la bande spectrale d'émission est centrée sur une longueur d'onde proche de 400 nm. Par ailleurs, la comparaison des courbes II et III montre qu'il est préférable que la bande spectrale soit la plus fine possible, de façon à maximiser la longueur de cohérence.FIG. 7B represents the number N of platelets determined by implementing the invention (ordinate axis) as a function of the number of platelets determined by implementing a reference method (abscissa axis). A regression line, the equation of which is given in the figure, was indicated for each test, as well as a correlation coefficient R 2 . We observe that the most favorable configuration, that is to say the one for which the slope comes closest to 1, is the curve I, obtained with a laser source whose emission spectral band is centered on a length. wave near 400 nm. Furthermore, the comparison of curves II and III shows that it is preferable that the spectral band is as fine as possible, so as to maximize the coherence length.
On a ensuite utilisé trois sources de lumière :We then used three light sources:
la diode laser émettant dans le violet, précédemment décrite, dont la bande spectrale d'émission est centrée sur une longueur d'onde de 405 nm, et de largeur spectrale 4.6 nm, ce qui correspond à une longueur de cohérence de 15 pm (courbe I de la figure 7C); la diode laser émettant dans le rouge, et dont la bande spectrale d'émission est centrée sur une longueur d'onde de 653 nm, et de largeur spectrale 8.9 nm, ce qui correspond à une longueur de cohérence de 23 pm (courbe II de la figure 7C) ;the laser diode emitting in violet, previously described, whose emission spectral band is centered on a wavelength of 405 nm, and of spectral width 4.6 nm, which corresponds to a coherence length of 15 pm (curve I of Figure 7C); the laser diode emitting in the red, and whose emission spectral band is centered on a wavelength of 653 nm, and of spectral width 8.9 nm, which corresponds to a coherence length of 23 pm (curve II of Figure 7C);
une diode électroluminescence émettant dans le rouge, dont la bande spectrale d'émission est centrée sur une longueur d'onde de 640 nm, et de largeur spectrale 20 nm (courbe III de la figure 7C).a light emitting diode emitting in the red, the emission spectral band of which is centered on a wavelength of 640 nm, and of spectral width 20 nm (curve III of FIG. 7C).
La figure 7C représente le nombre N de plaquettes déterminé en mettant en œuvre l'invention (axe des ordonnées) en fonction du nombre de plaquettes déterminé en mettant en œuvre une méthode de référence (axe des abscisses). On observe que la configuration la plus favorable, c'est-à-dire celle pour laquelle la pente se rapproche le plus de 1, est la courbe I, obtenue avec une source laser dont la bande spectrale d'émission est centrée sur une longueur d'onde proche de 400 nm. En utilisant une longueur d'onde plus faible, on a constaté qu'on améliore la résolution de l'hologramme, c'est-à-dire de l'image acquise par le capteur d'image. C'est la raison pour laquelle on obtient des valeurs de coefficient de corrélation R2 plus proches de 1 lorsque la longueur d'onde est proche de 400 nm. Par ailleurs, la comparaison des courbes II et III montre qu'il est préférable que la bande spectrale soit la plus fine possible.FIG. 7C represents the number N of platelets determined by implementing the invention (ordinate axis) as a function of the number of platelets determined by implementing a reference method (abscissa axis). We observe that the most favorable configuration, that is to say the one for which the slope comes closest to 1, is the curve I, obtained with a laser source whose emission spectral band is centered on a length. wave near 400 nm. By using a shorter wavelength, it has been found that the resolution of the hologram, that is to say of the image acquired by the image sensor, is improved. This is the reason why values of correlation coefficient R 2 are obtained which are closer to 1 when the wavelength is close to 400 nm. Furthermore, the comparison of curves II and III shows that it is preferable that the spectral band is as fine as possible.
L'invention a été décrite en mettant en œuvre une configuration d'imagerie sans lentille, selon laquelle aucune optique de formation d'image n'est interposée entre l'échantillon 10 et le capteur d'image 20. Selon une variante, illustrée sur la figure 8, le dispositif comporte un système optique 16, définissant un plan objet PObj et un plan image Pim. Le capteur d'image 20 est alors disposé selon une configuration dite défocalisée, selon laquelle l'échantillon s'étend selon un plan décalé par rapport au plan objet, et/ou le capteur d'image s'étend selon un plan décalé par rapport au plan image. Par configuration défocalisée, on entend une configuration comportant un décalage de l'échantillon et/ou du capteur d'image par rapport à une 5 configuration de mise au point, selon laquelle le plan de détection Po est conjugué d'un plan Pi0 selon lequel s'étend l'échantillon. Le décalage δ est de préférence inférieur à 500 pm, voire à 200 pm. Il est de préférence supérieur à 10 pm ou 20 pm. Les étapes 100 à 140 précédemment décrites peuvent être mises en œuvre dans une telle configuration. Dans l'exemple représenté sur la figure 8, le plan objet PObj est confondu avec un plan Pi0 selon lequel s'étend l'échantillon 10 et le plan image Pim est décalé par rapport au plan de détection Po.The invention has been described by implementing a lensless imaging configuration, according to which no imaging optics are interposed between the sample 10 and the image sensor 20. According to a variant, illustrated on FIG. 8, the device comprises an optical system 16, defining an object plane P O bj and an image plane P im . The image sensor 20 is then arranged in a so-called defocused configuration, according to which the sample extends in a plane offset from the object plane, and / or the image sensor extends in a plane offset from the plane at the image level. By defocused configuration is meant a configuration comprising an offset of the sample and / or of the image sensor with respect to a focusing configuration, according to which the detection plane Po is conjugated with a plane P i0 according to which extends the sample. The offset δ is preferably less than 500 μm, or even less than 200 μm. It is preferably greater than 10 pm or 20 pm. The steps 100 to 140 previously described can be implemented in such a configuration. In the example shown in FIG. 8, the object plane P O bj is coincident with a plane P i0 along which the sample 10 extends and the image plane P im is offset with respect to the detection plane P o .
Bien que décrite en lien avec un comptage de plaquettes, l'invention pourra être mise en œuvre pour le comptage d'autres particules, de préférence de dimension inférieure à 20pm, ou 10 pm voire 5 pm. L'invention peut être mise en œuvre, de façon non limitative, dans le domaine de la santé, du contrôle de l'environnement, de l'agroalimentaire ou du contrôle de procédés 15 industriels.Although described in connection with a platelet count, the invention can be implemented for counting other particles, preferably of dimension less than 20 μm, or 10 μm or even 5 μm. The invention can be implemented, without limitation, in the field of health, environmental control, food or control of industrial processes.
Claims (16)
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1855463A FR3082943A1 (en) | 2018-06-20 | 2018-06-20 | METHOD FOR COUNTING SMALL PARTICLES IN A SAMPLE |
PCT/FR2019/051480 WO2019243725A1 (en) | 2018-06-20 | 2019-06-18 | Method and device for counting thrombocytes in a sample |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1855463A FR3082943A1 (en) | 2018-06-20 | 2018-06-20 | METHOD FOR COUNTING SMALL PARTICLES IN A SAMPLE |
FR1855463 | 2018-06-20 |
Publications (1)
Publication Number | Publication Date |
---|---|
FR3082943A1 true FR3082943A1 (en) | 2019-12-27 |
Family
ID=63722532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
FR1855463A Withdrawn FR3082943A1 (en) | 2018-06-20 | 2018-06-20 | METHOD FOR COUNTING SMALL PARTICLES IN A SAMPLE |
Country Status (2)
Country | Link |
---|---|
FR (1) | FR3082943A1 (en) |
WO (1) | WO2019243725A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024023454A1 (en) | 2022-07-29 | 2024-02-01 | Horiba Abx Sas | Device for detecting particles by means of lensless imaging |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016118884A1 (en) * | 2015-01-22 | 2016-07-28 | The Regents Of The University Of California | Device and method for nanoparticle sizing based on time-resolved on-chip microscopy |
WO2018057972A1 (en) * | 2016-09-23 | 2018-03-29 | The Regents Of The University Of California | System and method for determining yeast cell viability and concentration |
WO2018085657A1 (en) * | 2016-11-04 | 2018-05-11 | miDiagnostics NV | System and method for object detection in holographic lens-free imaging by convolutional dictionary learning and encoding |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9588037B2 (en) | 2012-07-13 | 2017-03-07 | The Regents Of The University Of California | High throughput lens-free three-dimensional tracking of sperm |
FR3028951B1 (en) | 2014-11-21 | 2017-01-06 | Commissariat Energie Atomique | LENS-FREE IMAGING SYSTEM COMPRISING DIODE, DIAPHRAGM AND DIFFUSER BETWEEN DIODE AND DIAPHRAGM |
FR3034196B1 (en) | 2015-03-24 | 2019-05-31 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | PARTICLE ANALYSIS METHOD |
FR3036800B1 (en) | 2015-05-28 | 2020-02-28 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | METHOD OF OBSERVING A SAMPLE |
FR3046238B1 (en) | 2015-12-24 | 2018-01-26 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | METHOD FOR OBSERVING A SAMPLE BY IMAGING WITHOUT LENS |
FR3049348B1 (en) | 2016-03-23 | 2023-08-11 | Commissariat Energie Atomique | METHOD FOR CHARACTERIZING A PARTICLE IN A SAMPLE |
FR3049347B1 (en) | 2016-03-23 | 2018-04-27 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | METHOD FOR OBSERVING A SAMPLE BY CALCULATING A COMPLEX IMAGE |
-
2018
- 2018-06-20 FR FR1855463A patent/FR3082943A1/en not_active Withdrawn
-
2019
- 2019-06-18 WO PCT/FR2019/051480 patent/WO2019243725A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016118884A1 (en) * | 2015-01-22 | 2016-07-28 | The Regents Of The University Of California | Device and method for nanoparticle sizing based on time-resolved on-chip microscopy |
WO2018057972A1 (en) * | 2016-09-23 | 2018-03-29 | The Regents Of The University Of California | System and method for determining yeast cell viability and concentration |
WO2018085657A1 (en) * | 2016-11-04 | 2018-05-11 | miDiagnostics NV | System and method for object detection in holographic lens-free imaging by convolutional dictionary learning and encoding |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024023454A1 (en) | 2022-07-29 | 2024-02-01 | Horiba Abx Sas | Device for detecting particles by means of lensless imaging |
FR3138522A1 (en) | 2022-07-29 | 2024-02-02 | Horiba Abx Sas | Lensless imaging particle detection device |
Also Published As
Publication number | Publication date |
---|---|
WO2019243725A1 (en) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3433679B1 (en) | Method for observing a sample, by calculation of a complex image | |
EP3274689B1 (en) | Method and apparatsu for analysing particles | |
WO2016151249A1 (en) | Method for determining the state of a cell | |
EP3433678A1 (en) | Holographic method for characterising a particle in a sample | |
EP3559631B1 (en) | Method for counting particles in a sample by means of lensless imaging | |
EP3519899B1 (en) | Device for observing a sample and method for observing a sample | |
EP3270232A1 (en) | Device for observing a sample | |
EP3637194B1 (en) | Method for determining parameters of a particle | |
EP3584560A1 (en) | Method for observing a sample by lens-free imaging, with acknowledgement of a spatial dispersion in a sample | |
FR3047077A1 (en) | METHOD FOR OBSERVING A SAMPLE BY IMAGING WITHOUT LENS | |
WO2014009519A1 (en) | Method and system for reconstructing optical properties of diffracting objects bathed in a liquid medium | |
EP3640743A1 (en) | Method for observing a sample | |
EP3520022A1 (en) | Method for counting white blood cells in a sample | |
WO2019243725A1 (en) | Method and device for counting thrombocytes in a sample | |
EP3572798A1 (en) | Device and method for observing a fluorescent sample by defocused imaging | |
EP3371574B1 (en) | Device and method for observing an object by lensless imaging | |
EP3545362B1 (en) | Method for forming a high resolution image by lensless imaging | |
EP3899669A1 (en) | Method for characterising a particle on the basis of a hologram | |
FR3075372A1 (en) | DEVICE AND METHOD FOR OBSERVING A SAMPLE WITH A CHROMATIC OPTICAL SYSTEM | |
EP4020093A1 (en) | Method for forming a complex image of a sample |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PLFP | Fee payment |
Year of fee payment: 2 |
|
PLSC | Publication of the preliminary search report |
Effective date: 20191227 |
|
PLFP | Fee payment |
Year of fee payment: 3 |
|
PLFP | Fee payment |
Year of fee payment: 4 |
|
ST | Notification of lapse |
Effective date: 20230205 |