FR3050833B1 - Camera plenoptique avec correction d'aberrations geometriques - Google Patents

Abstract

L'invention concerne une caméra plénoptique (600) comprenant : - un système optique d'entrée (610) ; - un capteur optique matriciel (630) ; et - une matrice (620) d'éléments optiques (621), disposée entre le système optique d'entrée et le capteur optique matriciel, chaque élément optique (621) étant associé à une pluralité de pixels du capteur optique, et les centres optiques des éléments optiques (621) étant répartis selon une grille de répartition, aux points d'intersection de celle-ci. Selon l'invention, la grille de répartition (650) comprend une pluralité de lignes courbes, et une grille objet (640), dont la grille de répartition (650) est l'image par le système optique d'entrée (610), est constituée de deux séries de lignes droites sécantes. L'invention permet de corriger au moins partiellement l'effet d'une aberration de distorsion du système optique d'entrée.

Description

CAMÉRA PLÉNOPTIQUE AVEC CORRECTION D'ABERRATIONS GÉOMÉTRIQUES

DESCRIPTION

DOMAINE TECHNIQUE L'invention concerne le domaine des caméras plénoptiques.

ÉTAT DE LA TECHNIQUE ANTÉRIEURE

Les caméras plénoptiques sont des systèmes d'imagerie.

De manière avantageuse, mais non limitative, une caméra plénoptique peut être utilisée comme système de vision en trois dimensions.

La demande de brevet FR-1558338 décrit un exemple particulier d'une telle caméra.

Une caméra plénoptique est configurée pour acquérir une image en deux dimensions dans laquelle plusieurs pixels se rapportant à un même point de l'espace objet.

On peut ainsi retrouver, par triangulation, les coordonnées en trois dimensions de ce point.

Les figures IA à IC illustrent de manière schématique les principes mis en œuvre dans une caméra plénotique 100.

La caméra plénoptique 100 comprend un système optique d'entrée 110, configuré pour recevoir des rayons lumineux provenant d'un objet 200 à imager.

Le système optique d'entrée 110 peut être constitué d'une unique lentille.

En variante, le système optique d'entrée 110 peut être constitué d'un ensemble de lentilles situées les unes derrière les autres, selon un axe de propagation de la lumière depuis l'objet 200, vers le système optique d'entrée.

Le système optique d'entrée 110 réalise la conjugaison optique entre un plan objet π, et un plan image π' recevant une matrice 120 d'éléments optiques. Avantageusement, le plan π est situé à une distance finie de la caméra.

Les éléments optiques 121 sont par exemple des microlentilles, ou des sténopés, réparti(e)s de façon coplanaire dans le plan image π'.

Des microlentilles 121 peuvent présenter chacune une section non circulaire, par exemple pour réduire une distance entre des microlentilles voisines. Il peut s'agir de microlentilles plan-convexes, biconvexes, asphériques, etc.

Chacun des éléments optiques 121 reçoit des rayons lumineux provenant de l'objet 200, et ayant traversé l'optique d'entrée 110.

Après traversée d'un élément optique 121, les rayons lumineux se propagent jusqu'à un capteur optique matriciel 130.

Le capteur optique matriciel 130 est un capteur photosensible, par exemple du type capteur CCD, configuré pour convertir un flux incident de photons en un signal électrique, pour former une image.

La surface de détection du capteur optique matriciel 130 est constituée d'une pluralité de pixels, agencés de préférence en lignes et en colonnes.

Elle est située à proximité de la matrice 120, par exemple entre 0,4 et 0,6 mm derrière les faces arrière des éléments optiques 121 (distance mesurée selon l'axe optique du système optique d'entrée).

La matrice 120 d'éléments optiques est configurée pour répartir, sur les pixels du capteur optique matriciel 130, des rayons lumineux provenant de l'objet à imager et ayant traversé le système optique d'entrée. A chaque élément optique 121 correspond une sélection de pixels du capteur optique matriciel. Un rayon lumineux provenant de l'objet 200 se dirige vers l'un de ces pixels, en fonction de son angle d'incidence sur l'élément optique 121.

Ladite sélection de pixels, associée à un même élément optique, forme un macropixel 131.

De préférence, il n'y a pas de chevauchement entre les différents macro-pixels. On évite ce chevauchement, notamment par un choix adéquat des distances focales du système optique d'entrée 110 et des éléments optiques 121.

Dans une caméra piénoptique parfaite, c'est-à-dire sans aberration optique, des rayons lumineux provenant d'un même point sur l'objet 200, se propagent à travers le système optique d'entrée 110, et la matrice d'éléments optiques 120, jusqu'à différents pixels du capteur optique matriciel 130.

Dans ce cas, la position de ce point dans l'espace objet peut être déterminée, par triangulation.

Dans tout le texte, l'espace objet désigne le champ de vision de la caméra plénoptique, situé en amont du système optique d'entrée selon le sens de propagation de la lumière, de l'objet vers le système optique d'entrée.

En particulier, on identifie les pixels associés à un même point, et on en déduit les coordonnées en trois dimensions de ce point.

Cette déduction peut se faire par calcul. Pour chaque pixel ainsi identifié, on calcule un rayon image, se propageant en ligne droite entre ce pixel et le centre optique de l'élément optique 121 associé à ce pixel. On calcule ensuite un rayon objet, conjugué optique de ce rayon image par le système optique d'entrée 110. Le point de l'objet se situe à l'intersection des au moins deux rayons objet ainsi calculés.

En complément ou en variante, on effectue une calibration préalable de la caméra plénoptique, en déplaçant un point lumineux dans l'espace objet, et en associant pour chacun parmi une pluralité de points de l'espace objet, les pixels correspondant sur le capteur optique matriciel. On peut ainsi prendre en compte des imperfections du système réel que forme la caméra plénoptique. Ensuite, on peut associer un ensemble de pixels correspondant à un même point, et la position de ce point dans l'espace objet.

Lorsque les éléments optiques 121 sont des sténopés, le centre optique désigne le centre géométrique du trou formant un sténopé.

Lorsque les éléments optiques 121 sont des microlentilles, le centre optique est situé sur l'axe optique d'une microlentille, et correspond au point de la microlentille, tel qu'un rayon lumineux incident en ce point n'est pas dévié par cette microlentille.

La figure IA illustre des tracés de rayons provenant d'un point 200i de l'objet 200, situé dans le plan objet n. L'image de ce point se situe dans le plan image π', sur le centre optique d'un élément optique 121. En fonction de leur angle d'incidence sur cet élément optique 121, les rayons lumineux se propagent jusqu'à l'un ou l'autre des pixels du macropixel 131 correspondant.

La figure IB illustre des tracés de rayons provenant d'un point 2002 de l'objet 200, situé en dehors du plan objet π, en amont de ce plan.

Un premier élément optique 121i reçoit un premier rayon image RT provenant du point 2ΟΟ2. Ce premier rayon image RT passe par le centre optique de ce premier élément optique 121i, et se propage jusqu'à un pixel du macro-pixel 131i correspondant à ce premier élément optique 121i.

Un second élément optique 1212 reçoit un second rayon image RT provenant du même point 2ΟΟ2. Ce second rayon image RT passe par le centre optique de ce second élément optique 1212, et se propage jusqu'à un pixel du macro-pixel 1312 correspondant à ce second élément optique 1212.

Comme expliqué ci-dessus, à partir des rayons image RT et RT, on peut remonter aux rayons objet correspondant, pour déterminer la position du point 2ΟΟ2 dans l'espace objet.

La figure IC illustre des tracés de rayons provenant d'un point 2ΟΟ3 de l'objet 200, situé en dehors du plan objet π, en aval de ce plan.

Un premier élément optique 1213 reçoit un premier rayon image RT provenant du point 2ΟΟ3. Ce premier rayon image RT passe par le centre optique de ce premier élément optique 1213, et se propage jusqu'à un pixel du macro-pixel 1313 correspondant à ce premier élément optique I2I3.

Un second élément optique 1214 reçoit un second rayon image RT provenant du même point 2ΟΟ3. Ce second rayon image RT passe par le centre optique de ce second élément optique 1214, et se propage jusqu'à un pixel du macro-pixel 1314 correspondant à ce second élément optique I2I4.

Comme expliqué ci-dessus, à partir des rayons image RT et RT, on peut remonter aux rayons objet correspondant, pour déterminer la position du point 2ΟΟ3 dans l'espace objet.

Les points 200ι, 2ΟΟ2, 2ΟΟ3, forment un échantillonnage des points de l'objet 200, permettant de reconstruire une représentation en trois dimensions de l'objet 200.

Expérimentalement, on remarque que lorsque le système optique d'entrée 110 présente des aberrations géométriques, notamment de la distorsion, la représentation en trois dimensions de l'objet 200 perd en précision.

Un objectif de la présente invention est de proposer une caméra plénoptique, dans laquelle la perte en précision sur la reconstruction tridimensionnelle d'un objet, due aux aberrations de distorsion du système optique d'entrée, est au moins partiellement corrigée, de préférence totalement corrigée.

De manière plus générale, un objectif de la présente invention est de proposer une caméra piénoptique, présentant une correction de l'effet des aberrations de distorsion du système optique d'entrée.

EXPOSÉ DE L'INVENTION

Cet objectif est atteint avec une caméra piénoptique comprenant : un système optique d'entrée, configuré pour recevoir des rayons lumineux provenant d'un objet à imager ; un capteur optique matriciel, comprenant une pluralité de pixels ; et une matrice d'éléments optiques, disposée entre le système optique d'entrée et le capteur optique matriciel, chaque élément optique étant associé à une pluralité de pixels du capteur optique matriciel, et les centres optiques des éléments optiques étant répartis selon une grille de répartition, aux points d'intersection entre une première série de lignes et une seconde série de lignes de cette grille de répartition.

Selon l'invention, les lignes de la première et de la seconde séries de lignes de la grille de répartition comprennent une pluralité de lignes courbes.

En outre, une grille objet, dont la grille de répartition est l'image par le système optique d'entrée, est constituée d'une première série de lignes droites, parallèles entre elles, et d'une seconde série de lignes droites, parallèles entre elles et sécantes (de préférence perpendiculaires) avec les lignes de la première série de lignes.

En d'autres termes, les éléments optiques selon l'invention ne sont pas répartis en lignes et en colonnes, mais selon une figure de répartition qui dépend directement des caractéristiques optiques du système optique d'entrée.

Par conséquent, cette figure de répartition prend en compte les aberrations géométriques de distorsion du système optique d'entrée.

Cette figure de répartition permet de limiter, voire d'annuler, une perte en précision dans la reconstruction tridimensionnelle d'un objet, due à ces aberrations géométriques.

Dans tout le texte, le terme « grille » n'est pas limité à une grille carrée ou rectangulaire, formée d'une première série de lignes horizontales et d'une seconde série de lignes verticales.

Selon l'invention, le terme « grille » peut notamment désigner une grille carrée ou rectangulaire déformée. Dans ce cas, la grille est formée d'une première série de lignes qui ne se croisent pas, et d'une seconde série de lignes qui ne se croisent pas. Chaque ligne de la première série de ligne croise toutes les lignes de la seconde série de lignes. Des lignes de la première et/ou de la seconde série de lignes sont des lignes courbes.

Selon un premier mode de réalisation de l'invention, le système optique d'entrée présente une aberration optique de type distorsion en barillet, et les lignes courbes de la grille de répartition sont incurvées vers l'extérieur de ladite grille.

Selon un second mode de réalisation de l'invention, le système optique d'entrée présente une aberration optique de type distorsion en coussinet, et les lignes courbes de la grille de répartition sont incurvées vers l'intérieur de ladite grille.

Les lignes de la première série de lignes de la grille objet peuvent être réparties à intervalles réguliers selon un premier pas de grille, et/ou les lignes de la seconde série de lignes de la grille objet peuvent être réparties à intervalles réguliers selon un second pas de grille pouvant être égal au premier pas de grille.

En variante, les lignes de la première série de lignes de la grille objet peuvent être réparties à intervalles irréguliers, et/ou les lignes de la seconde série de lignes de la grille objet peuvent être réparties à intervalles irréguliers.

De préférence, les distances entre deux lignes directement voisines de la première série de lignes de la grille objet sont chacune comprises entre 95% et 105% d'une première valeur moyenne, et/ou les distances entre deux lignes directement voisines de la seconde série de lignes de la grille objet sont chacune comprises entre 95% et 105% d'une seconde valeur moyenne pouvant être égale à la première valeur moyenne.

Selon cette même variante, la caméra plénoptique présente avantageusement une répartition aléatoire des distances entre deux lignes directement voisines de la première série de lignes de la grille objet, et/ou par une répartition aléatoire des distances entre deux lignes directement voisines de la seconde série de lignes de la grille objet.

La matrice d'éléments optiques peut être une matrice de microlentilles ou une matrice de sténopés.

La caméra plénoptique comprend avantageusement une première matrice d'éléments optiques, et une seconde matrice d'éléments optiques, coplanaire avec la première matrice, les éléments optiques de la première matrice étant répartis selon une première grille de répartition, image par le système optique d'entrée d'une première grille objet, et les éléments optiques de la seconde matrice étant répartis selon une seconde grille de répartition, image par le système optique d'entrée d'une seconde grille objet.

Selon un mode de réalisation avantageux, chaque élément optique est monté sur un support mobile relié à un actionneur, le support mobile et l'actionneur étant configurés ensemble pour déplacer l'élément optique indépendamment des autres éléments optiques.

En variante, le capteur optique matriciel peut être monté mobile selon un plan.

Selon une autre variante, la caméra plénoptique selon l'invention peut comprendre un réseau d'obturateurs pilotables individuellement, en amont de la matrice d'éléments optiques, chaque obturateur étant aligné avec un élément optique de ladite matrice pour bloquer ou laisser passer des rayons lumineux ayant traversé le système optique d'entrée.

Selon une autre variante, la caméra plénoptique selon l'invention peut comprendre plusieurs ensembles d'une matrice d'éléments optiques et un capteur optique matriciel, et au moins une lame séparatrice, pour séparer un faisceau lumineux ayant traversé le système optique d'entrée en plusieurs contributions dirigées chacune vers l'un desdits ensembles.

Selon une autre variante, la caméra plénoptique selon l'invention peut comprendre au moins deux matrices d'éléments optiques juxtaposées ou imbriquées dans un même plan, dédiées chacune à une longueur d'onde distincte, un filtre optique étant disposé en amont de chaque élément optique. L'invention concerne également un procédé pour positionner les éléments optiques d'une caméra piénoptique selon l'invention, le procédé comprenant les étapes suivantes : définition de la grille objet, située dans un plan objet, conjugué par le système optique d'entrée d'un plan destiné à recevoir les centres optiques desdits éléments optiques ; calcul de l'image de la grille objet par le système optique d'entrée, pour obtenir la grille de répartition ; et positionnement des centres des éléments optiques sur les points d'intersection de la grille de répartition.

BRÈVE DESCRIPTION DES DESSINS

La présente invention sera mieux comprise à la lecture de la description d'exemples de réalisation donnés à titre purement indicatif et nullement limitatif, en faisant référence aux dessins annexés parmi lesquels : les figures IA à IC illustrent de manière schématique une caméra piénoptique selon l'art antérieur ; la figure 2 illustre de manière schématique une caméra piénoptique selon l'art antérieur, et des points d'échantillonnage de l'espace objet ; la figure 3 illustre selon une autre vue, la caméra piénoptique de la figure 2 ; la figure 4 illustre un exemple de répartition des éléments optiques, dans une caméra piénoptique selon l'art antérieur ; la figure 5 illustre une caméra piénoptique selon l'art antérieur, dans laquelle le système optique d'entrée présente de la distorsion ; la figure 6 illustre une caméra piénoptique selon l'invention ; les figures 7A et 7B illustrent respectivement une grille objet et une grille de répartition, selon un premier mode de réalisation de l'invention ; la figure 7C illustre la répartition des éléments optiques selon l'invention, selon la grille de répartition de la figure 7B ; la figure 8 illustre un deuxième exemple de répartition des éléments optiques selon l'invention ; les figures 9A et 9B illustrent respectivement une grille objet et la répartition correspondante des éléments optiques, selon un troisième mode de réalisation de l'invention ; et les figures 10A et 10B illustrent un quatrième mode de réalisation de l'invention

EXPOSÉ DÉTAILLÉ DE MODES DE RÉALISATION PARTICULIERS

Comme détaillé en introduction, pour déterminer les coordonnées en trois dimensions d'un point de l'espace objet à l'aide d'une caméra plénoptique, il faut que ce point soit imagé sur au moins deux pixels différents du capteur optique matriciel 130. Le point est alors défini par l'intersection des rayons objet correspondants, dans l'espace objet, si cette intersection existe dans l'espace objet.

Par conséquent, on ne peut déterminer les coordonnées en trois dimensions que d'un nombre fini de points, formant des points d'échantillonnage de l'espace objet.

Plus les points d'échantillonnage de l'espace objet sont nombreux, plus on a de chances que l'objet passe par un grand nombre de ces points d'échantillonnage. En d'autres termes, plus les points d'échantillonnage de l'espace objet sont nombreux, plus on a de chances que les points d'échantillonnage de l'objet soient nombreux.

Or, plus on échantillonne un nombre important de points de l'objet, meilleure est la précision de la reconstruction tridimensionnelle de cet objet.

Une idée à la base de l'invention consiste à comprendre l'origine de la perte en précision de la reconstruction tridimensionnelle, observée lorsque le système optique d'entrée présente de la distorsion.

On montre que cette perte en précision découle de la réduction d'un nombre de points d'échantillonnage de l'espace objet, par réduction d'un nombre d'intersection de rayons dans l'espace objet.

La figure 2 illustre de manière schématique une caméra piénoptique 100 selon l'art antérieur. A chaque élément optique 121 correspond un macro-pixel 131, et une pluralité de rayons image R', se propageant en ligne droite en passant par le centre optique de cet élément optique 121 (voir figure IA). A chaque rayon image R', correspond un rayon objet R, dans l'espace objet, qui est le conjugué du rayon image R', par le système optique d'entrée 110.

Les rayons image R', associés à un même élément optique 121 correspondent à des rayons objet R, qui se croisent dans le plan objet n. L'ensemble des rayons objet R,, associés à tous les éléments optiques 121 de la matrice 120, définissent une multitude de points d'intersection Pj, situés dans l'espace objet.

Ces points d'intersection Pj forment les points d'échantillonnage de l'espace objet.

La figure 3 illustre la caméra piénoptique de la figure 2.

La figure 3 ne respecte pas les règles de la perspective. L'espace objet, en amont du système optique d'entrée 110, est représenté selon une vue en perspective, le plan objet n étant représenté en vue de trois quart. L'espace image, en aval du système optique d'entrée 110, est représenté selon une vue en perspective, le plan image π' étant représenté en vue de trois quart. L'espace objet et l'espace image sont représentés selon des angles de vue différents.

La figure 3 illustre : les rayons image R',, passant chacun par un pixel d'un macro-pixel 131 et par le centre optique de l'élément optique 121 correspondant ; les rayons objet R,, chacun étant le conjugué d'un rayon image R', par le système optique d'entrée 110 ; et les points d'intersection Pj, chacun à l'intersection entre au moins deux rayons objet Ri.

Comme détaillé ci-avant, à chaque élément optique 121 correspond une pluralité de rayons objet R,, qui se croisent dans le plan objet n.

Chaque élément optique 121 définit donc un point dans le plan objet n.

Ces différents points du plan objet π sont répartis selon une grille rectangulaire 140, où chacun de ces points correspond à l'intersection entre une ligne verticale et une ligne horizontale de la grille 140.

En d'autres termes, les points d'intersection de la grille rectangulaire 140 sont les conjugués par le système optique d'entrée des centres optiques respectifs des éléments optiques 121.

La figure 4 illustre un exemple de matrice 120 d'éléments optiques 121 selon l'art antérieur. Les éléments optiques 121 sont répartis en lignes et en colonnes, selon une grille de répartition rectangulaire (représentée en traits pointillés). A chaque point d'intersection entre une ligne horizontale et une ligne verticale de la grille de répartition, se trouve le centre optique d'un élément optique 121.

On considère par exemple deux éléments optiques 121a, 121b (voir figure 3), appartenant à une même colonne d'éléments optiques, dans la matrice 120.

Les centres optiques des éléments optiques 121a, 121b sont les conjugués des points d'intersection 141a et 141b de la grille 140, par le système optique d'entrée.

Chaque élément optique 121a, respectivement 121b, est également associé à un macro-pixel 131a, respectivement 131b.

On considère des plans verticaux recevant chacun les centres optiques des éléments optiques 121a et 121b, et une colonne de pixels de l'ensemble formé par les macro-pixels 131a et 131b.

Chacun de ces plans verticaux reçoit un ensemble de rayons image R', coplanaires, chaque rayon image R', étant associé à l'élément optique 121a, ou 121b.

Cet ensemble de rayons image R', coplanaires correspond à un ensemble de rayons objet R,, chaque rayon objet R, étant associé à l'élément optique 121a, ou 121b.

En l'absence de distorsion sur le système optique d'entrée, ces rayons objet R, sont également coplanaires.

Ils s'étendent dans un même plan vertical passant par les points d'intersection 141a et 141b.

Puisque ces rayons objet R, sont coplanaires, il existe de nombreux points d'intersection Pj entre un rayon objet associé à l'élément optique 121a, et un rayon objet associé à l'élément optique 121b.

Chaque point d'intersection Pj forme un point d'échantillonnage de l'espace objet.

On s'intéresse maintenant au cas dans lequel le système optique d'entrée (référencé alors 610 sur les figures) présente une aberration géométrique, en particulier de la distorsion.

La distorsion est une aberration géométrique par laquelle l'image d'une droite n'est pas nécessairement une droite.

La distorsion se manifeste le plus visiblement sur les lignes droites : une grille carrée ou rectangulaire imagée par un système optique à forte distorsion aura ainsi par exemple une forme plane de grille bombée vers l'extérieur (distorsion en barillet), ou une forme plane de grille déformée vers l'intérieur (distorsion en coussinet), ou une combinaison des deux distorsions, ou toute autre distorsion géométrique.

La figure 5 correspond à la représentation de la figure 3, dans laquelle on a mis en évidence l'effet de cette distorsion.

En pratique, cette distorsion est toujours présente, mais à des degrés divers.

Comme détaillé ci-avant, chaque centre optique d'un élément optique 121 est le conjugué d'un point d'intersection dans le plan objet n.

Ces différents points d'intersection définissent une grille déformée 540, où chacun de ces points d'intersection correspond à l'intersection entre une première ligne de la grille déformée 540, et une seconde ligne de la grille déformée 540.

La grille déformée 540 est le conjugué, par le système optique d'entrée 610, de la grille de répartition rectangulaire selon laquelle sont répartis les éléments optiques 121 (voir figure 4).

La grille déformée 540 est constituée d'une première série de lignes, sensiblement verticales, et d'une seconde série de lignes sensiblement horizontales.

Toutes les lignes de la grille déformée 540, excepté les deux lignes définissant le centre de la grille 540, sont courbées vers le centre de la grille. La courbure augmente au fur et à mesure que l'on s'éloigne du centre de la grille déformée 540.

Comme précédemment, on considère deux éléments optiques 121a, 121b, appartenant à une même colonne d'éléments optiques, dans la matrice 120, et une colonne de pixels de l'ensemble formé par les deux macro-pixels correspondant 131a et 131b.

Ces deux éléments optiques 121a, 121b sont associés à un point d'intersection 541a, respectivement 541b de la grille 540.

Les points 541a, et 541b de la grille 540 sont situés sur une ligne courbe de la grille 540. Par conséquent, l'axe reliant les points 541a et 541b n'est pas un axe vertical.

Ainsi, les points 541a, et 541b ne sont pas situés dans un même plan vertical.

Un rayon image R'a associé à l'élément optique 121a, et se propageant dans le plan vertical recevant les éléments optiques 121a et 121b et ladite colonne de pixels, est le conjugué d'un rayon objet Ra situé dans un premier plan vertical, recevant le point 541a.

Un rayon image R'b associé à l'élément optique 121b, et se propageant dans le plan vertical recevant les éléments optiques 121a et 121b et ladite colonne de pixels, est le conjugué d'un rayon objet Rb situé dans un second plan vertical, recevant le point 541b, et distinct du premier plan vertical.

Par conséquent, les rayons objet Ra et Rb ne sont pas coplanaires. Ils ne se croisent pas, et ne définissent pas ensemble un point d'échantillonnage de l'espace objet.

Ainsi, les inventeurs ont pu montrer que les aberrations de distorsion du système optique d'entrée ont pour effet de réduire un nombre de points d'échantillonnage de l'espace objet.

Ils ont eu l'idée de modifier la répartition dans le plan des éléments optiques de la matrice d'éléments optiques, pour retrouver les points d'échantillonnage perdus et ainsi annuler totalement ou en partie l'effet de cette distorsion.

La figure 6 illustre une caméra piénoptique 600 selon l'invention.

La caméra plénoptique 600 ne sera décrite que pour ses différences relativement à la caméra plénoptique 100 selon l'art antérieur.

Comme en figures 3 et 5, la figure 6 ne respecte pas les lois de la perspective, l'espace objet et l'espace image étant représentés selon des angles de vue différents.

On retrouve le système optique d'entrée 610, la matrice 620 d'éléments optiques 621, et le capteur optique matriciel 630.

Comme détaillé ci-avant, chaque centre optique d'un élément optique 621 est le conjugué d'un point situé dans le plan objet n.

Ces différents points du plan objet π, sont répartis selon une grille rectangulaire 640, où chacun de ces points correspond à l'intersection entre une ligne verticale et une ligne horizontale de la grille 640. Cette grille rectangulaire 640 est nommée « grille objet ».

La grille objet 640 s'étend dans un plan orthogonal à l'axe optique du système optique d'entrée, en particulier dans le plan objet π. Il ne s'agit pas d'un élément matériel de la caméra plénoptique 600, mais d'un objet virtuel utilisé simplement pour décrire une répartition dans l'espace objet.

Selon l'invention, les éléments optiques 621 sont répartis selon une grille de répartition 650, qui est l'image de cette grille objet, par le système optique d'entrée 610.

La grille de répartition 650 comprend une première série de lignes, sensiblement verticales, et une seconde série de lignes sensiblement horizontales. A chaque intersection entre une ligne de la première série et une ligne de la seconde série se trouve le centre optique d'un élément optique 621 de la matrice 620.

La grille de répartition s'étend dans le plan image π', conjugué par le système optique d'entrée du plan objet n.

La grille de répartition 650 ne désigne pas un élément matériel de la caméra plénoptique 600, mais un objet virtuel utilisé simplement pour décrire une répartition dans l'espace image.

La grille de répartition 650 est l'image d'une grille rectangulaire, par le système optique d'entrée 610 qui présente ici une aberration de distorsion en barillet.

Par conséquent, la grille de répartition 650 n'est pas une grille rectangulaire, mais une grille déformée par les aberrations du système optique d'entrée 610.

Toutes les lignes de la grille de répartition 650, excepté les deux lignes définissant le centre de la grille 650, sont courbées vers l'extérieur de la grille. La courbure augmente au fur et à mesure que l'on s'éloigne du centre de la grille de répartition 650.

Comme précédemment, on considère deux éléments optiques 621a, 621b, situés sur une même ligne sensiblement verticale de la grille de répartition 650.

Ces deux éléments optiques 621a, 621b sont associés à un point d'intersection 641a, respectivement 641b de la grille objet 640.

Puisque la grille objet 640 est une grille rectangulaire, les points 641a, et 641b sont situés sur une ligne de cette grille rectangulaire 640, dans un même plan vertical.

Un rayon image R'a associé à l'élément optique 621a correspond à un rayon objet Ra situé dans ce plan vertical.

Un rayon image R'b associé à l'élément optique 621b correspond à un rayon objet Rb situé dans ce plan vertical.

Les rayons objet Ra et Rb sont donc coplanaires, malgré l'aberration de distorsion du système optique d'entrée 610, et grâce à la répartition selon l'invention des éléments optiques 621.

Ces rayons objet Ra et Rb se croisent, et définissent ensemble un point d'échantillonnage de l'espace objet, comme c'est le cas en l'absence d'aberration sur le système optique d'entrée (voir figure 3).

On retrouve ainsi les points d'échantillonnage de l'espace objet qui étaient perdus dans l'art antérieur, en présence d'aberrations de distorsion sur le système optique d'entrée.

Ainsi, on limite, et même annule, la perte en précision dans la reconstruction tridimensionnelle d'un objet, due à ces aberrations géométriques.

La figure 7A illustre, selon une vue de face, la grille objet 640.

Il s'agit ici d'une grille rectangulaire, constituée d'une série de lignes droites verticales 642, dite première série de lignes de la grille objet, et d'une série de lignes droites horizontales 643, dite seconde série de lignes de la grille objet.

Les lignes de la première série de lignes 642 sont équi-réparties. En d'autres termes, une distance DI entre deux lignes verticales 642 directement voisines est fixe dans l'espace, quelles que soient les deux lignes verticales considérées.

De la même façon, les lignes de la seconde série de lignes 643 sont équi-réparties. Une distance D2 entre deux lignes horizontales 643 directement voisines est fixe dans l'espace, quelles que soient les deux lignes verticales considérées.

Les distances DI et D2 peuvent être égales.

La figure 7B illustre la grille de répartition 650, en trait plein. La grille de répartition 650 est l'image de la grille objet 640 représentée en figure 7A, par le système optique d'entrée présentant de la distorsion en barillet.

La grille de répartition 650 est constituée d'une série de lignes sensiblement verticales 652, dite première série de lignes de la grille de répartition, et d'une série de lignes sensiblement horizontales 653, dit seconde série de lignes de la grille de répartition.

Les lignes de la première série de lignes 652, respectivement la seconde série de lignes 653, sont constituées de lignes courbées vers l'extérieur de la grille 650, et d'une ligne droite passant par le centre de la grille 650.

On a également représenté en figure 7B, pour comparaison, la répartition selon l'art antérieur des éléments optiques de la matrice d'éléments optiques.

La figure 7C illustre la répartition selon l'invention des éléments optiques 621 de la matrice 620.

Ces éléments optiques 621 sont répartis selon la grille de répartition 650 illustrée à la figure 7B. A chaque point d'intersection entre une ligne de la première série de lignes 652 et une ligne de la seconde série de lignes 653 se trouve le centre optique d'un élément optique 621.

Cette répartition des éléments optiques 621 selon des lignes courbes va à l'encontre des préjugés techniques de l'homme du métier, qui cherche généralement à disposer ces éléments optiques de façon régulière.

On remarque que de façon logique, la modification selon l'invention de la répartition des éléments optiques modifie la répartition des macro-pixels sur le capteur optique matriciel.

Comme dans l'art antérieur, la caméra plénoptique est avantageusement dimensionnée pour que les macro-pixels ne se chevauchent pas.

La figure 8 présente une autre répartition des éléments optiques 621 de la matrice 620, lorsque le système optique d'entrée présente une distorsion en coussinet.

Les lignes de la première série de lignes 852, respectivement la seconde série de lignes 853, sont constituées de lignes courbées vers l'intérieur de la grille de répartition 850, et d'une ligne droite passant par le centre de la grille 850. L'invention n'est pas limitée à ces exemples de grilles de répartition, et on pourra répartir les éléments optiques selon une multitude de grilles de répartitions, en fonction par exemple des aberrations géométriques du système optique d'entrée.

Par exemple, lorsque le système optique d'entrée présente une distorsion en barillet d'ordre trois dans les polynômes de Seidel, compensée par une distorsion en coussinet d'ordre cinq dans les polynômes de Seidel, la grille de répartition est constituée de deux lignes droites passant par le centre de la grille, et de lignes courbes en forme de vague. Chaque ligne courbe présente généralement deux points d'inflexion, de part et d'autre du milieu de cette ligne.

Selon une autre variante, la grille de répartition est l'image d'une grille objet, dans laquelle la distance entre les lignes verticales est différente de la distance entre les lignes horizontales.

Selon une variante possible mais moins préférée, la grille de répartition est l'image d'une grille objet, dans laquelle la première série de lignes droites parallèles entre elles et la seconde série de lignes droites parallèles entre elles, sont sécantes mais non perpendiculaires.

Les figures 9A et 9B illustrent un mode de réalisation avantageux de l'invention.

Selon ce mode de réalisation, les lignes verticales 942 de la grille objet 940 ne sont pas équi-réparties, ou en d'autres termes elles sont réparties de façon irrégulière.

En d'autres termes, une distance entre deux lignes verticales 942 directement voisines est variable dans l'espace, selon les deux lignes verticales considérées. L'irrégularité est configurée pour minimiser la plus grande distance entre tout point de l'espace objet et le point d'échantillonnage le plus proche.

Les valeurs de distance entre deux lignes verticales 942 directement voisines sont réparties, de préférence aléatoirement, autour d'une première valeur moyenne, et à l'intérieur d'un premier intervalle prédéterminé.

La première valeur moyenne est la moyenne desdites distances entre deux lignes verticales 942 directement voisines.

Une répartition aléatoire désigne une répartition dont les positions exactes sont soumises au hasard.

Par exemple, une borne inférieure de ce premier intervalle est 95% de ladite première valeur moyenne, et une borne supérieure de ce premier intervalle est 105% de ladite première valeur moyenne.

En variante, une borne inférieure de ce premier intervalle est 90% de ladite première valeur moyenne, et une borne supérieure de ce premier intervalle est 110% de ladite première valeur moyenne.

De la même façon, les lignes horizontales 943 de la grille objet 940 ne sont pas équi-réparties, les valeurs de distance entre deux lignes horizontales 943 directement voisines étant réparties, de préférence aléatoirement, autour d'une seconde valeur moyenne, et à l'intérieur d'un second intervalle prédéterminé.

La seconde valeur moyenne est la moyenne desdites distances entre deux lignes horizontales 943 directement voisines.

Les bornes inférieure et supérieure du second intervalle sont définies de la même façon que celles du premier intervalle.

Les première et seconde valeurs moyennes peuvent être égales.

La figure 9A illustre cette grille objet 940.

La grille de répartition 950 selon l'invention est illustrée en figure 9B, le système optique d'entrée présentant ici une distorsion en barillet.

Les éléments optiques 621 de la matrice 620 sont disposés aux intersections des lignes de cette grille de répartition 950.

Ce mode de réalisation permet d'augmenter encore un nombre de points d'échantillonnage de l'espace objet, et d'obtenir une répartition plus homogène de ces points dans l'espace objet.

Il permet donc d'améliorer encore une précision de la reconstruction en trois dimensions.

Ce mode de réalisation correspond à une combinaison astucieuse de la présente invention, avec l'enseignement de la demande de brevet FR-1558338.

Selon une variante non représentée, l'une des deux séries de lignes de la grille objet est équi-répartie.

Les figures 10A et 10B illustrent un autre mode de réalisation selon l'invention, dans lequel la caméra piénoptique comprend deux matrices d'éléments optiques imbriquées.

La figure 10A illustre les deux grilles objet correspondantes 1040i (en traits pleins) et 10402 (en traits pointillés).

Chaque grille objet 1040i et 10402 est une grille rectangulaire du type de la grille objet du mode de réalisation de la figure 6.

Les deux grilles objet 1040i et 10402 sont coplanaires, et décalées l'une relativement à l'autre.

Selon l'invention, la caméra piénoptique comprend une première matrice 620i d'éléments optiques 621i (en traits pleins), et une seconde matrice 6202 d'éléments optiques 6212 (en traits pointillés).

Les éléments optiques 621i sont répartis selon une première grille de répartition, image par le système optique d'entrée de la grille objet 1040i.

Les éléments optiques 6212 sont répartis selon une seconde grille de répartition, image par le système optique d'entrée de la grille objet 10402.

Tous les éléments optiques 621i et 62l2sont coplanaires.

On remarque qu'en l'absence de distorsion sur le système optique d'entrée, ces deux matrices d'éléments optiques formeraient ensemble un agencement en quinconce des éléments optiques.

Ce mode de réalisation peut être combiné avec le mode de réalisation des figures 9A et 9B.

Afin d'améliorer encore la densité des points d'échantillonnage dans l'espace objet, et donc la précision de la reconstruction tridimensionnelle d'un objet placé dans cet espace, on peut réaliser un échantillonnage dynamique de cet espace objet.

En d'autres termes, on réalise un multiplexage temporel ou spatial de la caméra plénoptique selon différentes voies, associées à différentes séries de points d'échantillonnage de l'espace objet, de sorte que le nombre total de points d'échantillonnage de l'espace objet est augmenté.

Par exemple, chaque élément optique est monté sur un support mobile relié à un actionneur, pour piloter un déplacement de l'élément optique dans le plan π', indépendamment de la position des autres éléments optiques.

On peut ainsi déplacer légèrement les éléments optiques, pour les agencer successivement selon différentes grilles de répartition. A chaque grille de répartition correspond un certain échantillonnage de l'espace objet. Ainsi, on réalise in fine un échantillonnage plus dense de l'espace objet. Le déplacement est de l'ordre d'une fraction de la largeur d'un élément optique.

En variante, la matrice d'éléments optiques reste fixe, et le capteur optique matriciel est monté sur un support mobile, relié à un actionneur pour piloter un déplacement dans le plan du capteur optique matriciel.

Le déplacement du capteur optique matriciel comprend une composante parallèle à l'axe de la largeur du capteur optique matriciel et/ou une composante parallèle à l'axe de la longueur du capteur optique matriciel, notamment une composant horizontale et/ou une composante verticale. Chaque composante est inférieure au pas de pixel selon l'axe considéré.

En variante, les macro-pixels associés aux différents éléments optiques se chevauchent partiellement. Un même pixel peut alors correspondre à plusieurs éléments optiques.

Un réseau d'obturateurs pilotables tel qu'un écran à cristaux liquides est placé en amont de la matrice d'éléments optiques, pour bloquer ou laisser passer la lumière se propageant vers les éléments optiques, de sorte qu'à chaque instant un pixel ne corresponde qu'à un unique élément optique.

On définit une pluralité d'états du réseau d'obturateurs. A chaque état correspond une série différente de points d'échantillonnage de l'espace objet. En faisant varier dans le temps l'état du réseau d'obturateur, on réalise in fine un échantillonnage plus dense de l'espace objet.

Selon une autre variante, la caméra plénoptique comprend, juxtaposées ou imbriquées dans le même plan, au moins deux matrices d'éléments optiques dédiées chacune à une longueur d'onde différente.

En amont de chaque élément optique se trouve un filtre passe bande, pour associer chaque élément optique à la détection d'une longueur d'onde en particulier, et définir lesdites plusieurs matrices d'éléments optiques. A chaque matrice d'éléments optiques correspond un échantillonnage différent de l'espace objet. En fonctionnement, l'objet est éclairé successivement aux plusieurs longueurs d'onde.

Selon une autre variante, la caméra plénoptique comprend plusieurs matrices d'éléments optiques non coplanaires, associées chacune à un capteur optique matriciel propre. Une ou plusieurs lame(s) séparatrice(s) permet(tent) de séparer un flux lumineux ayant traversé le système optique d'entrée en plusieurs contributions. Chaque contribution est amenée à l'une des matrices d'éléments optiques.

De préférence, la caméra plénoptique comprend deux matrices d'éléments optiques perpendiculaires entre elles, inclinées à 45% par rapport à une lame séparatrice. Une première matrice d'éléments optiques se trouve en face du système optique d'entrée, orthogonale à son axe optique.

Chaque matrice d'éléments optiques peut être dédiée à une longueur d'onde différente et/ou à des points d'échantillonnage différents de l'espace objet. L'invention concerne également un procédé de positionnement des éléments optiques 621.

Pour cela, on définit une grille objet formée par une première série de lignes parallèles, sécantes avec une seconde série de lignes parallèles. La grille objet est placée dans un plan objet π, conjugué d'un plan configuré pour recevoir la matrice 620 d'éléments optiques (et plus particulièrement les centres optiques de ces éléments optiques).

Par simulation, on calcule l'image de la grille objet par le système optique d'entrée, pour obtenir la grille de répartition selon l'invention, le système optique d'entrée présentant une aberration de distorsion. Cette étape nécessite d'avoir préalablement caractérisé la réponse optique du système optique d'entrée.

Selon une variante moins préférée, on détermine expérimentalement l'image de la grille objet par le système optique d'entrée.

Ensuite, on positionne les centres optiques des éléments optiques 621 aux points d'intersection des lignes de cette grille de répartition. L'invention permet de corriger au moins partiellement l'effet d'une aberration de distorsion du système optique d'entrée.

Elle permet notamment l'utilisation d'un système optique d'entrée présentant une forte aberration de distorsion, sans que cela n'affecte la précision de la reconstruction tridimensionnelle à l'aide de la caméra plénoptique. L'invention est particulièrement avantageuse lorsque l'on doit placer la caméra plénoptique à proximité de l'objet à imager.

Dans ce cas, afin de conserver un champ large, le système optique d'entrée présente une focale courte (objectif grand angle). Or, un tel système optique présente généralement de fortes aberrations de distorsion. L'invention permet également de réduire des coûts de fabrication d'une caméra piénoptique, puisqu'il n'est plus nécessaire d'utiliser un système optique d'entrée corrigé des aberrations de distorsion, pour s'affranchir des inconvénients de la distorsion. L'invention permet également d'utiliser l'ensemble du champ de vision de la caméra piénoptique, sans avoir à rejeter les bords de champ, plus sensibles à la distorsion. On améliore ainsi l'échantillonnage de l'espace objet, permettant une meilleure précision de la reconstruction tridimensionnelle d'un objet.

Bien que le texte développe plus particulièrement l'application d'une caméra piénoptique à la reconstruction tridimensionnelle d'un objet imagé, l'invention n'est pas limitée à une utilisation de la caméra piénoptique comme système de vision en trois dimensions. On peut par exemple utiliser une caméra piénoptique pour reconstruire des images en deux dimensions d'une même scène, avec une mise au point en différents plans de l'espace objet.

Claims (13)

1. REVENDICATIONS

   1. Caméra plénoptique (600) comprenant ; un système optique d'entrée (610), configuré pour recevoir des rayons lumineux provenant d'un objet à imager ; un capteur optique matriciel (630), comprenant une pluralité de pixels ; et une matrice (620 ; 620i ; 62Ο2) d'éléments optiques (621 ; 621i ; 621z), disposée entre le système optique d'entrée et le capteur optique matriciel, chaque élément optique (621; 621i ; 62I2) étant associé à une pluralité de pixels du capteur optique matriciel, et les centres optiques des éléments optiques (621; 621i ; 62I2) étant répartis selon une grille de répartition, aux points d'intersection entre une première série de lignes et une seconde série de lignes de cette grille de répartition ; caractérisée en ce : - que les lignes de ia première et de la seconde séries de lignes (652, 653 ; 852, 853) de la grille de répartition (650 ; 850 ; 950) comprennent une pluralité de lignes courbes ; - une grilie objet (640 ; 940 ; 1040i ; IO4O2), dont la grille de répartition (650 ; 850 ; 950) est l'image par le système optique d'entrée, est constituée d'une première série de lignes droites (642 ; 942), parallèles entre elles, et d'une seconde série de lignes droites (643 ; 943), paraiièles entre elles et sécantes avec les lignes de la première série de lignes ; et - les lignes (942) de la première série de lignes de la grille objet (940) sont réparties à intervalles irréguliers, et/ou les lignes (943) de ia seconde série de lignes de ia grille objet (940) sont réparties à intervalles irréguliers.
2. 2. Caméra plénoptique (600) selon la revendication 1, caractérisée en ce que le système optique d'entrée (610) présente une aberration optique de type distorsion en barillet, et en ce que les lignes courbes {652, 653) de la grille de répartition (650 ; 950) sont incurvées vers l'extérieur de ladite grille.
3. 3. Caméra plénoptique (600) selon la revendication 1, caractérisée en ce que ie système optique d'entrée (610) présente une aberration optique de type distorsion en coussinet, et en ce que les lignes courbes (852 ; 853) de la grille de répartition (850) sont incurvées vers l’intérieur de ladite grille.
4. 4. Caméra plénoptique (600) selon l'une quelconque des revendications 1 à 3, caractérisée en ce que les distances entre deux lignes (942) directement voisines de la première série de lignes de la griîle objet (940) sont comprises entre 95% et 105% d'une première valeur moyenne, et/ou ies distances entre deux iignes (943) directement voisines de la seconde série de lignes de îa grille objet (940) sont comprises entre 95% et 105% d’une seconde valeur moyenne pouvant être égale à la première valeur moyenne.
5. 5. Caméra plénoptique (600) selon l’une quelconque des revendications 1 à 4, caractérisée par une répartition aléatoire des distances entre deux lignes (942) directement voisines de la première série de iignes de la grille objet (940), et/ou par une répartition aléatoire des distances entre deux iignes (943) directement voisines de la seconde série de lignes de la grille objet (940).
6. 6. Caméra plénoptique (600) selon l'une quelconque des revendications 1 à 5, caractérisée en ce que la matrice (620; 620i ; 62Ο2) d’éléments optiques est une matrice de microlentilles ou une matrice de sténopés.
7. 7. Caméra plénoptique (600) selon l'une quelconque des revendications 1 à 6, caractérisée en ce qu'elle comprend une première matrice (620i) d’éléments optiques, et une seconde matrice {62Ο2) d'éléments optiques, coplanaire avec la première matrice (620i), les éléments optiques (621i) de ia première matrice étant répartis seion une première grille de répartition, image par le système optique d'entrée d'une première griile objet (1040i), et les éléments optiques (62I2J de la seconde matrice étant répartis selon une seconde grille de répartition, image par le système optique d'entrée d'une seconde grille objet (IO4O2).
8. 8. Caméra piénoptique (600) selon l'une quelconque des revendications 1 à 7, caractérisée en ce que chaque élément optique (621 ; 621i ; 62I2) est monté sur un support mobile relié à un actionneur, le support mobile et l'actionneur étant configurés ensemble pour déplacer l'élément optique indépendamment des autres éléments optiques.
9. 9. Caméra piénoptique (600) selon l'une quelconque des revendications 1 à 7, caractérisée en ce que le capteur optique matriciel (630) est monté mobile selon un plan.
10. 10. Caméra piénoptique (600) selon l'une quelconque des revendications 1 à 7, caractérisée en ce qu'elle comprend un réseau d'obturateurs pilotables individuellement, en amont de la matrice (620 ; 620i ; 62Ο2) d'éléments optiques, chaque obturateur étant aligné avec un élément optique de ladite matrice pour bloquer ou laisser passer des rayons lumineux ayant traversé le système optique d'entrée (610).
11. 11. Caméra piénoptique (600) selon l'une quelconque des revendications 1 à 7, caractérisée en ce qu'elle comprend plusieurs ensembles d'une matrice (620 ; 620i ; 62Ο2) d'éléments optiques et un capteur optique matriciel (630), et au moins une lame séparatrice, pour séparer un faisceau lumineux ayant traversé le système optique d'entrée (610) en plusieurs contributions dirigées chacune vers l'un desdits ensembles.
12. 12. Caméra piénoptique (600) selon l'une quelconque des revendications 1 à 7, caractérisée en ce qu'elle comprend au moins deux matrices (620 ; 620i ; 62Ο2) d'éléments optiques juxtaposées ou imbriquées dans un même plan, dédiées chacune à une longueur d'onde distincte, un filtre optique étant disposé en amont de chaque élément optique.
13. 13. Procédé pour positionner les éléments optiques (621 ; 621i ; 62X2) d'une caméra plénoptique (600) selon l'une quelconque des revendications 1 à 12, caractérisé en ce qu'il comprend les étapes suivantes : définition de la grille objet (640 ; 940), située dans un plan objet (π), conjugué par le système optique d'entrée (610) d'un plan (n') destiné à recevoir les centres optiques desdits éléments optiques (621; 621i; 6212) ; calcul de l'image de ia grille objet par le système optique d'entrée (610), pour obtenir la grille de répartition (650 ; 850 ; 950) ; et positionnement des centres des éléments optiques (621; 621i; 6212) sur les points d'intersection (641a, 641b) de la grille de répartition (650 ; 850 ; 950).