[go: up one dir, main page]

WO2025017261A1 - Procédé pour la calibration de l'affichage d'images dans un casque de réalité mixte - Google Patents

Procédé pour la calibration de l'affichage d'images dans un casque de réalité mixte Download PDF

Info

Publication number
WO2025017261A1
WO2025017261A1 PCT/FR2024/050972 FR2024050972W WO2025017261A1 WO 2025017261 A1 WO2025017261 A1 WO 2025017261A1 FR 2024050972 W FR2024050972 W FR 2024050972W WO 2025017261 A1 WO2025017261 A1 WO 2025017261A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
optical system
pixels
digital screen
distortion matrix
Prior art date
Application number
PCT/FR2024/050972
Other languages
English (en)
Inventor
Corentin LEFEVRE
Original Assignee
Sl Process
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sl Process filed Critical Sl Process
Publication of WO2025017261A1 publication Critical patent/WO2025017261A1/fr

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/011—Head-up displays characterised by optical features comprising device for correcting geometrical aberrations, distortion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • TITLE Method for calibrating the display of images in a mixed reality headset
  • the present invention relates to the calibration of the display in a virtual or mixed reality headset.
  • the present invention relates to compensation for image distortion induced by an optical system disposed between a digital screen and an eye of a user viewing the digital screen in a mixed reality headset.
  • the invention applies to any calibration of the display of an image intended to be observed through an optical system.
  • a mixed reality headset is a display device configured to be placed on a user's head such that said user can observe an image displayed on a digital screen of said mixed reality headset.
  • a mixed reality headset comprises, for example, two cameras configured to film the external environment of the headset, two digital screens in the headset transmitting the images or part of the images filmed by the cameras, as well as two locations configured to accommodate the two eyes of a user. Each eye observes a digital screen through an optical system of the mixed reality headset. The digital screen can thus display the external environment of the headset and/or other images adding to or replacing this external environment.
  • a mixed reality headset can thus serve as a virtual reality headset.
  • Designing a mixed reality headset requires minimizing the mass and volume of said headset while promoting the best possible display quality for user viewing comfort.
  • the optical system positioned between a digital screen and the user's eye must meet these specifications. Its primary objective is to allow the eye to see the image displayed on the digital screen as clearly and as undistorted as possible.
  • a commonly used optical system is a layer stack optical system called "pancake” in Anglo-Saxon terms comprising a succession of optical elements such as a lens, a reflective polarizer, a quarter-wave plate, a semi-reflective lens and a circular polarizer.
  • the principle is to control the polarization of light in order to obtain a large focal length in a minimal footprint.
  • This optical system called “pancake” allows good viewing comfort for the user but is very expensive to manufacture.
  • a freeform lens can be a freeform lens with 4 optical paths, or more generally a freeform lens comprising an even number of paths, also called lobes.
  • a freeform lens is simpler to manufacture, for example by molding, and less expensive than an optical system by stacking layers. However, it induces deformations, such as optical aberrations, in the image observed by the user.
  • the present invention therefore aims to overcome the aforementioned drawbacks and to provide a mixed reality headset whose display system is simple and inexpensive to manufacture, and presents very little deformation in the image seen by the user.
  • the present invention relates to a method for calibrating the display of images in a virtual or mixed reality headset comprising a digital screen configured to be observed by a user through an optical system, the method comprising the following steps: - Positioning on the same optical axis of a digital screen, an optical system and a camera, the camera being configured to image an image displayed on the digital screen through the optical system;
  • a distortion matrix from the step of determining the change in coordinates of the pixels of the reference image with the homologous pixels of the distorted image, the distortion matrix being configured to be applied to each image intended to be displayed on a digital screen in a virtual or mixed reality headset, the distortion matrix being configured to apply a change in coordinates to each pixel of each image displayed such that the distortion induced by the optical system is partly compensated by the change in coordinates of the pixels of the image displayed by the digital screen of the virtual or mixed reality headset.
  • the creation of a distortion matrix applicable to images intended to be displayed in a mixed reality headset makes it possible to calibrate together the display of a digital screen and an optical system of a mixed reality headset for the most pleasant viewing comfort possible for the user.
  • the acquisition step by the camera comprises the acquisition of several distorted images, preferably at least 5 distorted images, the camera being moved in a volume of between 20 mm3 and 70 mm3 between the acquisition of each distorted image, the step of determining the change in coordinates of the pixels of the reference image with the homologous pixels of the distorted image, as well as the step of creating the distortion matrix being performed on the basis of each acquired distorted image.
  • the step of determining the change in coordinates of the pixels of the reference image with the homologous pixels of the distorted image comprises, for defective pixels of the reference image or of the distorted image for which the coordinates are aberrant and/or unknown, the determination of the change in coordinates of said defective pixels by interpolation between neighboring pixels.
  • the reference image is a plain background on which a grid of points and/or lines is represented.
  • the method further comprises for a single optical system, and before the integration of said single optical system into a virtual or mixed reality headset, the following steps:
  • the single optical system and a camera Positioning on the same optical axis of a digital screen, the single optical system and a camera, the camera being configured to image an image displayed on the digital screen through the single optical system;
  • the single distortion matrix being configured to be applied to each image intended to be displayed on a digital screen in a virtual or mixed reality headset, the single distortion matrix being configured to apply a change in coordinates to each pixel of each image intended to be displayed such that the distortion induced by the single optical system is partly compensated by the change in coordinates of the pixels of the image displayed by the digital screen of the virtual or mixed reality headset.
  • the method is implemented for each unique optical system produced by an optical system production line, a unique distortion matrix being associated with a unique optical system, the method further comprising a step of integrating the unique distortion matrix into an internal memory of a virtual or mixed reality headset comprising the unique optical system associated with said unique distortion matrix.
  • the method comprises a step of integrating two unique distortion matrices into the internal memory of the virtual or mixed reality headset, said virtual or mixed reality headset comprising two unique optical systems associated respectively with said unique distortion matrices.
  • the present invention also relates to the use in a virtual or mixed reality headset of a distortion matrix created by the implementation of the method as defined above by applying said distortion matrix to each image intended to be displayed in a digital screen of the virtual or mixed reality headset, or of a single distortion matrix created by the implementation of the method as defined above by applying said single distortion matrix to each image intended to be displayed in a digital screen configured to be observed by a user through a single optical system associated with said single distortion matrix.
  • the present invention also relates to a calibration bench configured to implement the method as defined above, the calibration bench comprising a digital screen, a system optics and a camera configured to image an image displayed on the digital screen through the optical system.
  • the calibration bench further comprises a motorized platform configured to slide on several axes of movement in a volume of at least 70 mm3, the camera being mounted on the platform.
  • FIG 1 is a schematic view of a calibration bench according to the invention
  • FIG 2 is a schematic representation of the different steps of the method for calibrating the display of images in a mixed reality headset according to the invention.
  • Figure 1 schematically shows a calibration bench 1 comprising on the same optical axis a digital screen 3, an optical system 5, for example a free-form lens with four optical channels, and a camera 7 configured to image an image displayed on the digital screen 3 through the optical system 5.
  • an optical system 5 for example a free-form lens with four optical channels
  • a camera 7 configured to image an image displayed on the digital screen 3 through the optical system 5.
  • the digital screen 3 is for example a square-shaped screen, one side of which comprises between 1000 and 10000 pixels. Alternatively, the screen is round or rectangular in shape.
  • the camera 7 includes a sensor whose definition is equal to or greater than the definition of the digital screen 3.
  • the calibration bench 1 is configured to enable the calibration of the display of images in a mixed reality headset.
  • the digital screen 3 and the optical system 5 are similar to a digital screen 3 and a system optical system 5 of said mixed reality headset.
  • the distance between the optical system 5 and the digital screen 3 is similar to the distance between a similar optical system 5 and a digital screen 3 of a mixed reality headset, for example between 1 and 20 millimeters.
  • the distance between the optical system 5 and the camera 7 is substantially the same as the distance provided between a similar optical system 5 and an eye of a user when using a mixed reality headset, for example between 1 and 50 millimeters.
  • the calibration bench 1 further comprises a motherboard 9 configured to transmit to the digital screen 3 the images to be displayed by the latter.
  • the calibration bench also includes a computer 1 1 connected to the camera 7 as well as to the motherboard 9.
  • the calibration bench 1 comprises a motorized platform 13, for example by three motors 15 directed in three orthogonal directions x, y and z, the platform being configured to slide on several axes of movement, for example the directions x, y and z.
  • the motors 15 are for example powered by a power supply 17.
  • the camera 7 is mounted on the platform 13.
  • the platform 13 is controlled so as to enable the camera 7 to capture images in a volume of at least 70 mm 3 .
  • the possibilities of movement of the platform 13 in this volume enable the camera 7 to simulate the movements of an eye and thus to be able to acquire images as an eye would see them.
  • An eye, as well as the camera 7 can move over a range of 3 to 4 mm in each direction x, y and z.
  • Figure 2 shows the different steps of a method 19 for calibrating the display of images in a mixed reality headset. Said method 19 can be implemented using the calibration bench 1 shown in Figure 1.
  • a step 21 is carried out for positioning on the same optical axis a digital screen 3, an optical system 5 and a camera 7, the camera 7 being configured to image an image displayed on the digital screen 3 through the optical system 5.
  • a step 23 is carried out for displaying a reference image on the digital screen 3.
  • the reference image is, for example, a plain background on which a grid of points and/or lines is represented.
  • the grid structure makes it easy to detect deformations of the grid while a contrast between the grid and the plain background makes it possible to identify said grid.
  • the reference image comprises, for example, points represented by a square of 3 pixels on a side, spaced 25 to 50 pixels apart.
  • a step 25 is carried out of acquisition by the camera 7 of at least one image distorted by the optical system 5 of the reference image displayed on the digital screen 3.
  • the optical system 5 can induce deformations, the distorted image represents for example a grid deformed by the optical system 5.
  • the step 25 of acquisition by the camera 7 comprises the acquisition of several distorted images, preferably at least 5 distorted images, more preferably at least 25 distorted images, the camera 7 being moved in a volume of between 20 mm 3 and 70 mm 3 between the acquisition of each distorted image.
  • the camera 7 is moved between each distorted image acquisition by the platform on which it is arranged, said platform being configured to move between 0 and 4 mm in one or more of the x, y and z directions.
  • the acquisition step 25 is optionally carried out by acquiring four series of images, for example a series of images corresponding to a quadrant of a distorted image, the recombination of the images four by four forming a distorted image.
  • a step 27 is carried out of determination by the computer 11 of the change in coordinates of the pixels of the image of reference with the homologous pixels of each distorted image by comparing each distorted image with the reference image.
  • a homologous pixel is understood to mean a pixel of a distorted image that contains the same information as a pixel of the reference image, the distorted image having a number of pixels identical to the number of pixels of the reference image, either by acquiring said same number of pixels, or by resizing the number of pixels of the distorted image.
  • the homologous pixel of the distorted image is the pink pixel of the distorted image, regardless of whether the coordinates of said pink pixel have been modified.
  • This step 27 makes it possible to identify the deformations induced by the optical system 5 for each pixel of the reference image, and this, for each possible viewing angle when several distorted images are acquired.
  • step 27 of determining the change in coordinates comprises determining the change in coordinates of said defective pixels by interpolation between neighboring pixels.
  • an interpolation or an averaging filter can be used during this step 27 of determining the change of coordinates in order to avoid errors of association between a pixel of the reference image with a pixel of the distorted image.
  • a step 29 is performed for creating a distortion matrix from the step 27 for determining the change in coordinates of the pixels of the reference image with the homologous pixels of each distorted image, the distortion matrix being configured to be applied to each image intended to be displayed on a digital screen 3 in a mixed reality headset.
  • the distortion matrix is configured to apply a change in coordinates to each pixel of each image intended to be displayed on a digital screen 3 such that the distortion induced by the optical system 5 is partly compensated by the change in coordinates of the pixels of the image displayed by the digital screen 3 of the mixed reality headset.
  • the distortion matrix thus generated allows very precise compensation of the deformation induced by the optical system 5 used for the implementation of the method.
  • each manufactured optical system 5 comprises its own defects which can in turn induce image distortions slightly different from the distortions induced by the optical system 5 used for implementing the method described above.
  • Each optical system 5 is thus referred to as a single optical system 5B and the distortion matrix previously generated can only partially compensate for the distortions induced by each single optical system 5B.
  • the previous steps can be performed a second time, this time implemented with a different 5B single optical system.
  • the following steps 21B, 23B, 25B, 27B, 29B are performed for each 5B single optical system coming out of a production line.
  • the single optical systems are, for example, free-form lenses.
  • a step 21B is therefore carried out for positioning on the same optical axis a digital screen 3, the single optical system 5B and a camera 7, the camera 7 being configured to image an image displayed on the digital screen 3 through the single optical system 5B. Then, a step 23B is carried out for displaying on the digital screen 3 a reference image to which the previously created distortion matrix is applied.
  • a step 25B is carried out of acquisition by the camera 7 of an image deformed by the single optical system 5B of the reference image displayed on the digital screen 3 and to which the distortion matrix is applied.
  • a single deformed image is acquired for the sake of speed at the output of the production line, a single image making it possible to adjust the distortion matrix already generated beforehand.
  • a step 27B is carried out for determining by a computer the change in coordinates of the pixels of the reference image to which the distortion matrix is applied with the homologous pixels of the deformed image by comparing the deformed image with the reference image to which the distortion matrix is applied.
  • a step 29B of modifying the distortion matrix into a single distortion matrix is then performed from the step 27B of determining the change in coordinates of the pixels of the reference image to which the distortion matrix is applied with the homologous pixels of the distorted image.
  • the single distortion matrix is specific to a single optical system 5B and is configured to be applied to each image intended to be displayed on a digital screen 3 in a mixed reality headset.
  • the single distortion matrix is configured to apply a change in coordinates to each pixel of each image intended to be displayed such that the distortion induced by the single optical system 5B is partly compensated by the change in coordinates of the pixels of the image displayed by the digital screen 3 of the mixed reality headset.
  • the method further comprises a step 31 of integrating the single distortion matrix into an internal memory of a mixed reality headset comprising the single optical system 5B associated with said single distortion matrix.
  • the method comprises integrating two unique distortion matrices into the internal memory of the mixed reality headset, the unique optical systems 5B being associated respectively with said unique distortion matrices.
  • the two digital screens are combined into a single digital screen 3 comprising a first portion intended to be observed via a single optical system 5B, and a second portion intended to be observed via another single optical system 5B.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

Ce procédé (19) pour la calibration de l' affichage dans un casque de réalité mixte, comprend les étapes suivantes : - Affichage d'une image de référence (étape 23) par un écran numérique; - Acquisition (étape 25) par une caméra d' au moins une image distordue par un système optique positionné entre l' écran numérique et la caméra; - Détermination du changement de coordonnées des pixels de l' image de référence avec les pixels homologues de l' image distordue (étape 27); et - Création d'une matrice de distorsion (étape 29) configurée pour appliquer un changement de coordonnées à chaque pixel de chaque image destinée à être affichée dans un casque de réalité mixte, de sorte que la distorsion induite par le système optique est en partie compensée.

Description

DESCRIPTION
TITRE : Procédé pour la calibration de l’affichage d’images dans un casque de réalité mixte
Domaine technique
La présente invention concerne la calibration de l’ affichage dans un casque de réalité virtuelle ou mixte.
En particulier, la présente invention concerne la compensation d’une déformation d’ image induite par un système optique disposé entre un écran numérique et un œil d’un utilisateur observant l’ écran numérique dans un casque de réalité mixte.
De manière générale, l’ invention s’ applique à toute calibration de l’ affichage d’une image destinée à être observée au travers d’un système optique.
Techniques antérieures
Un casque de réalité mixte est un dispositif d’ affichage configuré pour être disposé sur la tête d’un utilisateur de sorte que ledit utilisateur peut observer une image affichée sur un écran numérique dudit casque de réalité mixte.
Un casque de réalité mixte comprend par exemple deux caméras configurées pour filmer l’environnement extérieur du casque, deux écrans numériques dans le casque retransmettant les images ou une partie des images filmée par les caméras, ainsi que deux emplacements configurés pour accueillir les deux yeux d’un utilisateur. Chaque œil observe un écran numérique au travers d’un système optique du casque de réalité mixte. L’ écran numérique peut ainsi afficher l’environnement extérieur du casque et/ou d’ autres images s’ ajoutant ou remplaçant cet environnement extérieur. Un casque de réalité mixte peut ainsi servir de casque de réalité virtuelle.
La conception d’un casque de réalité mixte nécessite de minimiser la masse et le volume dudit casque tout en favorisant la meilleure qualité d’ affichage possible pour un confort de visualisation de l’utilisateur. Le système optique positionné entre un écran numérique et un œil de l’utilisateur doit répondre à ce cahier des charges. Son objectif premier est de permettre à l’ œil de voir de la manière la plus nette et la moins déformée possible l’ image affichée sur l’ écran numérique.
Un système optique généralement utilisé est un système optique par empilement de couches dit « pancake » en termes anglo-saxons comprenant une succession d’ éléments optiques tels qu’une lentille, un polariseur réfléchissant, une lame quart d’ onde, une lentille semi- réfléchissante et un polariseur circulaire. Le principe est de contrôler la polarisation de la lumière afin d’ obtenir une grande distance focale dans un encombrement minimal. Ce système optique dit « pancake » permet un bon confort de visualisation pour l’utilisateur mais est très coûteux à sa fabrication.
Un autre système optique pouvant être utilisé dans un casque de réalité mixte est une lentille de forme libre, également appelée « freeform » en termes anglo-saxons. Il peut s’ agir d’une lentille de forme libre à 4 voies optiques, ou plus généralement une lentille de forme libre comprenant un nombre pair de voies, également appelées lobes. Une lentille de forme libre est plus simple à fabriquer, par exemple par moulage, et moins coûteuse qu’un système optique par empilement de couches. Cependant, elle induit des déformations, telles que des aberrations optiques, dans l’ image observée par l’utilisateur.
Exposé de l’invention
La présente invention a donc pour but de pallier les inconvénients précités et de fournir un casque de réalité mixte dont le système d’ affichage est simple et peu coûteux à fabriquer, et ne présente que très peu de déformations dans l’ image vue par l’utilisateur.
La présente invention a pour objet un procédé pour la calibration de l’ affichage d’ images dans un casque de réalité virtuelle ou mixte comprenant un écran numérique configuré pour être observé par un utilisateur au travers d’un système optique, le procédé comprenant les étapes suivantes : - Positionnement sur un même axe optique d’un écran numérique, d’un système optique et d’une caméra, la caméra étant configurée pour imager une image affichée sur l’écran numérique au travers du système optique ;
- Affichage sur l’ écran numérique d’une image de référence ;
- Acquisition par la caméra d’ au moins une image distordue par le système optique de l’ image de référence affichée sur l’ écran numérique ;
- Détermination par un ordinateur du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de l’image distordue par comparaison de l’image distordue avec l’ image de référence ; et
- Création d’une matrice de distorsion à partir de l’ étape de détermination du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de l’image distordue, la matrice de distorsion étant configurée pour être appliquée à chaque image destinée à être affichée sur un écran numérique dans un casque de réalité virtuelle ou mixte, la matrice de distorsion étant configurée pour appliquer un changement de coordonnées à chaque pixel de chaque image affichée de sorte que la distorsion induite par le système optique est en partie compensée par le changement de coordonnées des pixels de l’ image affichée par l’ écran numérique du casque de réalité virtuelle ou mixte.
Ainsi, la création d’une matrice de distorsion applicable aux images destinées à être affichées dans un casque de réalité mixte permet de calibrer ensemble l’ affichage d’un écran numérique et d’un système optique d’un casque de réalité mixte pour un confort de visualisation de l’utilisateur le plus agréable possible.
Avantageusement, l’ étape d’ acquisition par la caméra comprend l’ acquisition de plusieurs images distordues, de préférence au moins 5 images distordues, la caméra étant déplacée dans un volume compris entre 20 mm3 et 70 mm3 entre l’ acquisition de chaque image distordue, l’ étape de détermination du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de l’ image distordue, ainsi que l’étape de création de la matrice de distorsion étant effectuées sur la base de chaque image distordue acquise.
Avantageusement, l’ étape de détermination du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de l’image distordue comprend, pour des pixels défectueux de l’image de référence ou de l’ image distordue pour lesquels les coordonnées sont aberrantes et/ou non connues, la détermination du changement de coordonnées desdits pixels défectueux par interpolation entre des pixels voisins.
Dans un mode de mise en œuvre, l’image de référence est un fond uni sur lequel est représenté un quadrillage de points et/ou de lignes.
Avantageusement, le procédé comprend en outre pour un système optique unique, et avant l’ intégration dudit système optique unique dans un casque de réalité virtuelle ou mixte, les étapes suivantes :
- Positionnement sur un même axe optique d’un écran numérique, du système optique unique et d’une caméra, la caméra étant configurée pour imager une image affichée sur l’écran numérique au travers du système optique unique ;
- Affichage sur l’ écran numérique d’une image de référence à laquelle est appliquée la matrice de distorsion ;
- Acquisition par la caméra d’une image déformée par le système optique unique de l’image de référence affichée sur l’ écran numérique et à laquelle est appliquée la matrice de distorsion ;
- Détermination par un ordinateur du changement de coordonnées des pixels de l’image de référence à laquelle est appliquée la matrice de distorsion avec les pixels homologues de l’ image déformée par comparaison de l’ image déformée avec l’ image de référence à laquelle est appliquée la matrice de distorsion ; et
- Modification de la matrice de distorsion en une matrice de distorsion unique à partir de l’ étape de détermination du changement de coordonnées des pixels de l’image de référence à laquelle est appliquée la matrice de distorsion avec les pixels homologues de l’image déformée, la matrice de distorsion unique étant configurée pour être appliquée à chaque image destinée à être affichée sur un écran numérique dans un casque de réalité virtuelle ou mixte, la matrice de distorsion unique étant configurée pour appliquer un changement de coordonnées à chaque pixel de chaque image destinée à être affichée de sorte que la distorsion induite par le système optique unique est en partie compensée par le changement de coordonnées des pixels de l’image affichée par l’ écran numérique du casque de réalité virtuelle ou mixte.
Avantageusement, le procédé est mis en œuvre pour chaque système optique unique sorti d’une chaine de production de système optique, une matrice de distorsion unique étant associée à un système optique unique, le procédé comprenant en outre une étape d’ intégration de la matrice de distorsion unique dans une mémoire interne d’un casque de réalité virtuelle ou mixte comprenant le système optique unique associé à ladite matrice de distorsion unique.
Avantageusement, le procédé comprend une étape d’ intégration de deux matrices de distorsion uniques dans la mémoire interne du casque de réalité virtuelle ou mixte, ledit casque de réalité virtuelle ou mixte comprenant deux systèmes optiques uniques associés respectivement auxdites matrices de distorsion uniques.
La présente invention a également pour objet l’utilisation dans un casque de réalité virtuelle ou mixte d’une matrice de distorsion créée par la mise en œuvre du procédé tel que défini précédemment par application de ladite matrice de distorsion à chaque image destinée à être affichée dans un écran numérique du casque de réalité virtuelle ou mixte, ou d’une matrice de distorsion unique créée par la mise en œuvre du procédé tel que défini précédemment par application de ladite matrice de distorsion unique à chaque image destinée à être affichée dans un écran numérique configuré pour être observé par un utilisateur au travers d’un système optique unique associé à ladite matrice de distorsion unique.
La présente invention a encore pour objet un banc de calibration configuré pour mettre en œuvre le procédé tel que défini précédemment, le banc de calibration comprenant un écran numérique, un système optique et une caméra configurée pour imager une image affichée sur l’ écran numérique au travers du système optique.
Avantageusement, le banc de calibration comprend en outre une plateforme motorisée configurée pour coulisser sur plusieurs axes de déplacement dans un volume d’ au moins 70 mm3 , la caméra étant monté sur la plateforme.
Brève description des dessins
D’ autres buts, caractéristiques et avantages de l’ invention apparaîtront à la lecture de la description suivante, donnée uniquement à titre d’ exemple non limitatif, et faite en référence aux dessins annexés sur lesquels :
[Fig 1 ] est une vue schématique d’un banc de calibration selon l’ invention ; et [Fig 2] est une représentation schématique des différentes étapes du procédé pour la calibration de l’ affichage d’ images dans un casque de réalité mixte selon l’invention.
Exposé détaillé d’au moins un mode de réalisation
On a représenté schématiquement sur la figure 1 un banc de calibration 1 comprenant sur un même axe optique un écran numérique 3, un système optique 5 , par exemple une lentille de forme libre à quatre voies optiques, et une caméra 7 configurée pour imager une image affichée sur l’ écran numérique 3 au travers du système optique 5.
L’ écran numérique 3 est par exemple un écran de forme carrée, dont un côté comprend entre 1000 et 10000 pixels. En variante, l’ écran est de forme ronde ou rectangulaire.
La caméra 7 comprend un capteur dont la définition est égale ou supérieure à la définition de l’ écran numérique 3.
Le banc de calibration 1 est configuré pour permettre la calibration de l’ affichage des images dans un casque de réalité mixte. En conséquence, l’ écran numérique 3 et le système optique 5 sont similaires respectivement à un écran numérique 3 et à un système optique 5 dudit casque de réalité mixte. Sur le même principe, la distance entre le système optique 5 et l’ écran numérique 3 est similaire à la distance entre un système optique 5 similaire et un écran numérique 3 d’un casque de réalité mixte, par exemple compris entre 1 et 20 millimètres. Également, la distance entre le système optique 5 et la caméra 7 est sensiblement la même que la distance prévue entre un système optique 5 similaire et un œil d’un utilisateur lors de l’utilisation d’un casque de réalité mixte, par exemple compris entre 1 et 50 millimètres.
Le banc de calibration 1 comprend en outre une carte mère 9 configurée pour transmettre à l’ écran numérique 3 les images à afficher par ce dernier.
Le banc de calibration comprend également un ordinateur 1 1 relié à la caméra 7 ainsi qu’ à la carte mère 9.
Optionnellement, le banc de calibration 1 comprend une plateforme 13 motorisée, par exemple par trois moteurs 15 dirigés dans trois directions orthogonales x, y et z, la plateforme étant configurée pour coulisser sur plusieurs axes de déplacements, par exemple les directions x, y et z. Les moteurs 15 sont par exemples alimentés par une alimentation électrique 17.
La caméra 7 est montée sur la plateforme 13. La plateforme 13 est commandée de manière à permettre à la caméra 7 de capturer des images dans un volume d’ au moins 70 mm3. Les possibilités de déplacement de la plateforme 13 dans ce volume permettent à la caméra 7 de simuler les mouvements d’un œil et ainsi de pouvoir acquérir des images telles qu’un œil les verrait. Un œil, ainsi que la caméra 7 , peut se déplacer sur une plage de 3 à 4 mm dans chaque direction x, y et z.
On a représenté sur la figure 2 les différentes étapes d’un procédé 19 pour la calibration de l’ affichage d’images dans un casque de réalité mixte. Ledit procédé 19 peut être mis en œuvre à l’ aide du banc de calibration 1 représenté sur la figure 1.
En premier lieu, on effectue une étape 21 de positionnement sur un même axe optique d’un écran numérique 3, d’un système optique 5 et d’une caméra 7 , la caméra 7 étant configurée pour imager une image affichée sur l’ écran numérique 3 au travers du système optique 5.
Puis, on effectue une étape 23 d’ affichage d’une image de référence sur l’ écran numérique 3.
L’ image de référence est par exemple un fond uni sur lequel est représenté un quadrillage de points et/ou de lignes. La structure en quadrillage permet de détecter aisément des déformations du quadrillage tandis qu’un contraste entre le quadrillage et le fond uni permet l’ identification dudit quadrillage. Pour un écran numérique 3 carré comprenant entre 1000 et 2000 pixels de côté, l’ image de référence comprend par exemple des points représentés par un carré de 3 pixels de côté, espacés de 25 à 50 pixels les uns des autres.
Ensuite, on effectue une étape 25 d’ acquisition par la caméra 7 d’ au moins une image distordue par le système optique 5 de l’ image de référence affichée sur l’ écran numérique 3.
Le système optique 5 pouvant induire des déformations, l’image distordue représente par exemple un quadrillage déformé par le système optique 5.
Optionnellement, l’ étape 25 d’ acquisition par la caméra 7 comprend l’ acquisition de plusieurs images distordues, de préférence au moins 5 images distordues, plus préférentiellement au moins 25 images distordues, la caméra 7 étant déplacée dans un volume compris entre 20 mm3 et 70 mm3 entre l’ acquisition de chaque image distordue.
Par exemple, la caméra 7 est déplacée entre chaque acquisition d’ image distordue par la plateforme sur laquelle elle est disposée, ladite plateforme étant configurée pour se déplacer entre 0 et 4 mm dans une ou plusieurs des directions x, y et z.
Afin de minimiser le temps de calcul des étapes 27 et 29 suivantes, l’ étape 25 d’ acquisition s’ effectue optionnellement par l’ acquisition de quatre séries d’images, par exemple une série d’ image correspondant à un quadrant d’une image distordue, la recombinaison des images quatre à quatre formant une image distordue.
Ensuite, on effectue une étape 27 de détermination par l’ ordinateur 11 du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de chaque image distordue par comparaison de chaque image distordue avec l’image de référence. On entend par pixel homologue un pixel d’une image distordue qui contient la même information qu’un pixel de l’ image de référence, l’ image distordue ayant un nombre de pixels identique au nombre de pixels de l’ image de référence, soit par acquisition dudit même nombre de pixels, soit par redimensionnement du nombre de pixel de l’image distordue. Ainsi, pour une image de référence à fond noir comprenant un pixel rose, le pixel homologue de l’image distordue est le pixel rose de l’ image distordue, peu importe si les coordonnées dudit pixel rose ont été modifiées.
Cette étape 27 permet d’ identifier les déformations induites par le système optique 5 pour chaque pixel de l’ image de référence, et ce, pour chaque angle de vue possible lorsque plusieurs images distordues sont acquises.
Dans un mode de mise en œuvre particulier, certains pixels de l’image de référence ou de l’image distordue sont défectueux. Il n’ est alors pas possible de relier les pixels homologues de l’image de référence à l’image distordue. On entend par défectueux un pixel non vu, ou dont les coordonnées ne sont pas connues ou pas cohérentes avec les pixels voisins. Dans ce mode de mise en œuvre, l’ étape 27 de détermination du changement de coordonnées comprend la détermination du changement de coordonnées desdits pixels défectueux par interpolation entre des pixels voisins.
Plus généralement, une interpolation ou un filtre moyenneur peut être utilisé lors de cette étape 27 de détermination de changement de coordonnées afin d’éviter des erreurs d’ association entre un pixel de l’ image de référence avec un pixel de l’image distordue.
Puis, on effectue une étape 29 de création d’une matrice de distorsion à partir de l’étape 27 de détermination du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de chaque image distordue, la matrice de distorsion étant configurée pour être appliquée à chaque image destinée à être affichée sur un écran numérique 3 dans un casque de réalité mixte. En particulier, la matrice de distorsion est configurée pour appliquer un changement de coordonnées à chaque pixel de chaque image destinée à être affichée sur un écran numérique 3 de sorte que la distorsion induite par le système optique 5 est en partie compensée par le changement de coordonnées des pixels de l’ image affichée par l’ écran numérique 3 du casque de réalité mixte.
La matrice de distorsion ainsi générée, en particulier lorsque le procédé comprend l’ acquisition de plusieurs images distordues depuis différents points de vue, permet une compensation très précise de la déformation induite par le système optique 5 utilisé pour la mise en œuvre du procédé.
Cependant, lors de la fabrication en série de systèmes optiques, chaque système optique 5 fabriqué comprend des défauts propres qui peuvent à leur tour induire des déformations d’image légèrement différentes des déformations induites par le système optique 5 utilisé pour la mise en œuvre du procédé décrit précédemment. Chaque système optique 5 est ainsi qualifié de système optique unique 5B et la matrice de distorsion précédemment générée ne permet de compenser que partiellement les déformations induites par chaque système optique unique 5B .
Optionnellement, afin de compenser plus précisément les déformations dans l’ affichage d’ image des casques à réalité mixte, on peut effectuer une seconde fois les étapes précédentes, cette fois-ci mise en œuvre avec un système optique unique 5B différent. Autrement dit, on effectue les étapes 21B, 23B, 25B, 27B , 29B suivantes pour chaque système optique unique 5B sortant d’une chaine de production. Les systèmes optiques uniques sont par exemple des lentilles de forme libre.
On effectue donc une étape 21B de positionnement sur un même axe optique d’un écran numérique 3, du système optique unique 5B et d’une caméra 7, la caméra 7 étant configurée pour imager une image affichée sur l’ écran numérique 3 au travers du système optique unique 5B . Puis, on effectue une étape 23B d’ affichage sur l’ écran numérique 3 d’une image de référence à laquelle est appliquée la matrice de distorsion précédemment créé.
Ensuite, on effectue une étape 25B d’ acquisition par la caméra 7 d’une image déformée par le système optique unique 5B de l’ image de référence affichée sur l’ écran numérique 3 et à laquelle est appliquée la matrice de distorsion. Une seule image déformée est acquise dans un souci de rapidité en sortie de la chaine de production, une seule image permettant d’ ajuster la matrice de distorsion déj à générée au préalable.
Puis, on effectue une étape 27B de détermination par un ordinateur du changement de coordonnées des pixels de l’ image de référence à laquelle est appliquée la matrice de distorsion avec les pixels homologues de l’image déformée par comparaison de l’image déformée avec l’image de référence à laquelle est appliquée la matrice de distorsion.
On effectue ensuite une étape 29B de modification de la matrice de distorsion en une matrice de distorsion unique à partir de l’ étape 27B de détermination du changement de coordonnées des pixels de l’image de référence à laquelle est appliquée la matrice de distorsion avec les pixels homologues de l’image déformée. La matrice de distorsion unique est propre à un système optique unique 5B et est configurée pour être appliquée à chaque image destinée à être affichée sur un écran numérique 3 dans un casque de réalité mixte. La matrice de distorsion unique est configurée pour appliquer un changement de coordonnées à chaque pixel de chaque image destinée à être affichée de sorte que la distorsion induite par le système optique unique 5B est en partie compensée par le changement de coordonnées des pixels de l’image affichée par l’ écran numérique 3 du casque de réalité mixte.
Optionnellement, le procédé comprend en outre une étape 31 d’ intégration de la matrice de distorsion unique dans une mémoire interne d’un casque de réalité mixte comprenant le système optique unique 5B associé à ladite matrice de distorsion unique. Dans le cas où ledit casque de réalité mixte comprend deux emplacements configurés pour accueillir les yeux d’un utilisateur, deux systèmes optiques uniques 5B , et deux écrans numériques, le procédé comprend l’intégration de deux matrices de distorsion uniques dans la mémoire interne du casque de réalité mixte, les systèmes optiques uniques 5B étant associés respectivement auxdites matrices de distorsion uniques. Dans une variante, les deux écrans numériques sont rassemblés en un seul écran numérique 3 comprenant une première portion destinée à être observée par l’ intermédiaire d’un système optique unique 5B , et une seconde portion destinée à être observée par l’ intermédiaire d’un autre système optique unique 5B .

Claims

REVENDICATIONS
1. Procédé ( 19) pour la calibration de l’ affichage d’images dans un casque de réalité virtuelle ou mixte comprenant un écran numérique (3) configuré pour être observé par un utilisateur au travers d’un système optique (5), caractérisé en ce qu’ il comprend les étapes suivantes :
Positionnement sur un même axe optique d’un écran numérique (3), d’un système optique (5) et d’une caméra (7) (étape 21 ), la caméra (7) étant configurée pour imager une image affichée sur l’ écran numérique (3) au travers du système optique (5) ;
Affichage sur l’ écran numérique (3) d’une image de référence (étape 23) ;
Acquisition (étape 25) par la caméra (7) d’ au moins une image distordue par le système optique (5) de l’ image de référence affichée sur l’ écran numérique (3) ;
Détermination par un ordinateur ( 1 1 ) du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de l’image distordue par comparaison de l’image distordue avec l’image de référence (étape 27) ; et Création d’une matrice de distorsion (étape 29) à partir de l’étape (27) de détermination du changement de coordonnées des pixels de l’image de référence avec les pixels homologues de l’image distordue, la matrice de distorsion étant configurée pour être appliquée à chaque image destinée à être affichée sur un écran numérique (3) dans un casque de réalité virtuelle ou mixte, la matrice de distorsion étant configurée pour appliquer un changement de coordonnées à chaque pixel de chaque image affichée de sorte que la distorsion induite par le système optique (5) est en partie compensée par le changement de coordonnées des pixels de l’image affichée par l’écran numérique (3) du casque de réalité virtuelle ou mixte.
2. Procédé selon la revendication 1 , dans lequel l’ étape (25) d’ acquisition par la caméra (7) comprend l’ acquisition de plusieurs images distordues, de préférence au moins 5 images distordues, la caméra (7) étant déplacée dans un volume compris entre 20 mm3 et 70 mm3 entre l’ acquisition de chaque image distordue, l’étape (27) de détermination du changement de coordonnées des pixels de l’ image de référence avec les pixels homologues de l’image distordue, ainsi que l’ étape (29) de création de la matrice de distorsion étant effectuées sur la base de chaque image distordue acquise.
3. Procédé selon l’une des revendications 1 et 2, dans lequel l’ étape (27) de détermination du changement de coordonnées des pixels de l’image de référence avec les pixels homologues de l’ image distordue comprend, pour des pixels défectueux de l’image de référence ou de l’ image distordue pour lesquels les coordonnées sont aberrantes et/ou non connues, la détermination du changement de coordonnées desdits pixels défectueux par interpolation entre des pixels voisins.
4. Procédé selon l’une quelconque des revendications 1 à 3, dans lequel l’ image de référence est un fond uni sur lequel est représenté un quadrillage de points et/ou de lignes.
5. Procédé selon l’une quelconque des revendications 1 à 4, comprenant en outre pour un système optique unique (5B) et avant l’ intégration dudit système optique unique (5B) dans un casque de réalité virtuelle ou mixte, les étapes suivantes :
Positionnement (étape 21B) sur un même axe optique d’un écran numérique (3), du système optique unique (5B) et d’une caméra (7) , la caméra (7) étant configurée pour imager une image affichée sur l’ écran numérique (3) au travers du système optique unique (5B) ;
Affichage (étape 23B) sur l’ écran numérique (3) d’une image de référence à laquelle est appliquée la matrice de distorsion ; Acquisition (étape 25B) par la caméra (7) d’une image déformée par le système optique unique (5B) de l’image de référence affichée sur l’écran numérique (3) et à laquelle est appliquée la matrice de distorsion ; Détermination par un ordinateur ( 1 1 ) du changement de coordonnées des pixels de l’ image de référence à laquelle est appliquée la matrice de distorsion avec les pixels homologues de l’image déformée par comparaison de l’ image déformée avec l’ image de référence à laquelle est appliquée la matrice de distorsion (étape 27B) ; et Modification de la matrice de distorsion en une matrice de distorsion unique (étape 29B) à partir de l’ étape (27B) de détermination du changement de coordonnées des pixels de l’image de référence à laquelle est appliquée la matrice de distorsion avec les pixels homologues de l’image déformée, la matrice de distorsion unique étant configurée pour être appliquée à chaque image destinée à être affichée sur un écran numérique (3) dans un casque de réalité virtuelle ou mixte, la matrice de distorsion unique étant configurée pour appliquer un changement de coordonnées à chaque pixel de chaque image destinée à être affichée de sorte que la distorsion induite par le système optique unique (5B) est en partie compensée par le changement de coordonnées des pixels de l’image affichée par l’écran numérique (3) du casque de réalité virtuelle ou mixte.
6. Procédé selon la revendication 5 , mis en œuvre pour chaque système optique unique (5B) sorti d’une chaine de production de système optique (5 ; 5B), une matrice de distorsion unique étant associée à un système optique unique (5B), le procédé comprenant en outre une étape (31 ) d’ intégration de la matrice de distorsion unique dans une mémoire interne d’un casque de réalité virtuelle ou mixte comprenant le système optique unique (5B) associé à ladite matrice de distorsion unique.
7. Procédé selon la revendication 6, comprenant une étape (31 ) d’ intégration de deux matrices de distorsion uniques dans la mémoire interne du casque de réalité virtuelle ou mixte, ledit casque de réalité virtuelle ou mixte comprenant deux systèmes optiques uniques (5B) associés respectivement auxdites matrices de distorsion uniques.
8. Utilisation dans un casque de réalité virtuelle ou mixte d’une matrice de distorsion créée par la mise en œuvre du procédé selon l’une quelconque des revendications 1 à 4 par application de ladite matrice de distorsion à chaque image destinée à être affichée dans un écran numérique (3) du casque de réalité virtuelle ou mixte, ou d’une matrice de distorsion unique créée par la mise en œuvre du procédé selon l’une quelconque des revendications 5 à 7 par application de ladite matrice de distorsion unique à chaque image destinée à être affichée dans un écran numérique (3) configuré pour être observé par un utilisateur au travers d’un système optique unique (5B) associé à ladite matrice de distorsion unique.
9. Banc de calibration ( 1 ) configuré pour mettre en œuvre le procédé selon l’une quelconque des revendications 1 à 7 , comprenant un écran numérique (3), un système optique (5 ; 5B) et une caméra (7) configurée pour imager une image affichée sur l’ écran numérique (3) au travers du système optique (5 ; 5B) .
10. Banc de calibration selon la revendication 9, comprenant en outre une plateforme ( 13) motorisée configurée pour coulisser sur plusieurs axes de déplacement (x, y, z) dans un volume d’ au moins 70 mm3, la caméra (7) étant monté sur la plateforme ( 13) .
PCT/FR2024/050972 2023-07-17 2024-07-15 Procédé pour la calibration de l'affichage d'images dans un casque de réalité mixte WO2025017261A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FRFR2307652 2023-07-17
FR2307652 2023-07-17

Publications (1)

Publication Number Publication Date
WO2025017261A1 true WO2025017261A1 (fr) 2025-01-23

Family

ID=88839555

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2024/050972 WO2025017261A1 (fr) 2023-07-17 2024-07-15 Procédé pour la calibration de l'affichage d'images dans un casque de réalité mixte

Country Status (1)

Country Link
WO (1) WO2025017261A1 (fr)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161951A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Autofocus virtual reality headset
US10241545B1 (en) * 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US20220392109A1 (en) * 2021-06-07 2022-12-08 Qualcomm Incorporated Methods and apparatus for dynamic distortion correction

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170161951A1 (en) * 2015-12-08 2017-06-08 Oculus Vr, Llc Autofocus virtual reality headset
US10241545B1 (en) * 2017-06-01 2019-03-26 Facebook Technologies, Llc Dynamic distortion correction for optical compensation
US20220392109A1 (en) * 2021-06-07 2022-12-08 Qualcomm Incorporated Methods and apparatus for dynamic distortion correction

Similar Documents

Publication Publication Date Title
EP2385405B1 (fr) Dispositif de projection panoramique, et procédé mis en oeuvre dans ce dispositif
CA2839115C (fr) Camera hyperspectrale et procede d'acquisition de donnees hyperspectrales
JP2007304525A (ja) 画像入力装置および電子機器および画像入力方法
CN102227665A (zh) 固态摄像元件和摄像设备
EP3513550B1 (fr) Capteur d'image numérique plat
WO2020214425A1 (fr) Systèmes d'étalonnage utilisables pour la caractérisation de la distorsion dans des appareils de prise de vues
JP4272464B2 (ja) 立体映像補正装置およびその方法
EP3808075A1 (fr) Dispositif de veille proximale
US7742087B2 (en) Image pickup device
WO2025017261A1 (fr) Procédé pour la calibration de l'affichage d'images dans un casque de réalité mixte
EP2549765B1 (fr) Système de prise de vues stéreoscopiques comportant des moyens de calibration des ojectifs de prise de vues
WO2014199085A1 (fr) Systemes de reperage de la position de la camera de tournage pour le tournage de films video
FR2881011A1 (fr) Procede de realisation d'un appareil de capture et/ou restitution d'images et appareil obtenu par ce procede
EP2746830B1 (fr) Mise au point optique d'un instrument de saisie d'image
EP1363463B1 (fr) Procédé et dispositif pour étalonner un banc de prise de vues stéréoscopiques
FR3107766A1 (fr) Dispositif optique permettant de mesurer rapidement l’émission angulaire d’une source de lumière de surface finie
US11758122B1 (en) Lens and camera testing method, apparatus, and system
JP2003066307A (ja) 電子撮像装置の組立・検査方法及びこれに用いる電子撮像装置の組立・検査装置
EP3818391B1 (fr) Viseur optronique et plate-forme associée
JP7308095B2 (ja) ステレオカメラの補正方法及びステレオカメラの補正装置
FR3134196A1 (fr) Procédé de correction d’aberrations optiques introduites par un objectif optique dans une image, appareil et système mettant en œuvre un tel procédé.
Brückner et al. Advanced artificial compound-eye imaging systems
Brückner et al. Driving micro-optical imaging systems towards miniature camera applications
FR3070497B1 (fr) Instrument d'imagerie pour controler une designation de cible
FR3144376A1 (fr) Système d'acquisition d’image pour la reconnaissance biométrique d'iris d’un individu

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24755634

Country of ref document: EP

Kind code of ref document: A1