FR2926908A1 - Assistance a la conduite d'un vehicule automobile par une vue de dessus - Google Patents
Assistance a la conduite d'un vehicule automobile par une vue de dessus Download PDFInfo
- Publication number
- FR2926908A1 FR2926908A1 FR0800504A FR0800504A FR2926908A1 FR 2926908 A1 FR2926908 A1 FR 2926908A1 FR 0800504 A FR0800504 A FR 0800504A FR 0800504 A FR0800504 A FR 0800504A FR 2926908 A1 FR2926908 A1 FR 2926908A1
- Authority
- FR
- France
- Prior art keywords
- motor vehicle
- pixel
- quality
- driving
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
- B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
- B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
- B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Mechanical Engineering (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
Procédé d'assistance à la conduite d'un véhicule automobile comprenant un procédé d'élaboration au sein d'un calculateur (5) d'une vue de dessus de l'environnement du véhicule à représenter, comprenant une étape de rectification de chaque image reçue par une caméra (1) disposée sur le véhicule par un module (8) de rectification, caractérisé en ce qu'il comprend de plus une étape d'attribution d'un score de qualité (s(x,y)) à chaque pixel (p(x,y)) de l'image rectifiée concerné par l'environnement à représenter et une étape de sélection du pixel (p(x,y)) de plus grande qualité afin d'élaborer la vue de dessus en choisissant pour chaque pixel (p(x,y)) celui de plus grande qualité parmi plusieurs solutions possibles.
Description
REN063FR / PJ8510 - dépôt DA 1 L'invention concerne un procédé d'affichage pour l'assistance à la conduite d'un véhicule automobile, sur la base de la construction d'une vue de dessus, un dispositif d'assistance mettant en oeuvre ce procédé ainsi qu'un véhicule automobile en tant que tel équipé d'un tel dispositif.
Le document JP2003274394 décrit une reconstitution d'une vue de dessus de l'environnement d'un véhicule automobile à partir d'une caméra positionnée à l'arrière du véhicule. Une telle solution reste très limitée car il n'est pas possible d'obtenir une vue très approfondie à partir de l'image obtenue par une caméra.
D'une manière générale, les solutions existantes permettant d'élaborer une vue de dessus de l'environnement d'un véhicule automobile sont insuffisantes. Elles sont souvent imprécises, du fait par exemple d'une simple juxtaposition de différentes images obtenues par plusieurs caméras dont les zones frontières entre ces images sont souvent de mauvaise qualité. De plus, elles fournissent aussi souvent une image déformée, notamment du fait de la présence d'obstacles ou d'objets dont la hauteur est non négligeable et qui ne sont donc pas compris dans le plan de la route.
II existe donc un besoin d'amélioration des procédés et dispositifs d'assistance à la conduite d'un véhicule automobile. Un objet de la présente invention consiste à proposer une nouvelle solution d'assistance qui transmette une vision périphérique la plus pertinente possible au conducteur de l'environnement du véhicule automobile. 30 REN063FR / PJ8510 - dépôt DA 2 A cet effet, l'invention repose sur un procédé d'assistance à la conduite d'un véhicule automobile comprenant un procédé d'élaboration au sein d'un calculateur d'une vue de dessus de l'environnement du véhicule, comprenant une étape de rectification de chaque image reçue par une caméra disposée sur le véhicule par un module de rectification, caractérisé en ce qu'il comprend de plus une étape d'attribution d'un score de qualité à chaque pixel de l'image rectifiée concerné par l'environnement du véhicule à représenter et une étape de sélection du pixel de plus grande qualité afin d'élaborer la vue de dessus en choisissant pour chaque pixel celui de plus grande qualité parmi plusieurs solutions possibles.
Le procédé d'assistance à la conduite d'un véhicule automobile peut 15 comprendre les étapes suivantes : -découpage en un tableau de n*m cases de l'environnement du véhicule à représenter ; -pour chaque image reçue par une caméra disposée sur le véhicule : -rectification de l'image pour la transformer en vue de dessus, en transformant chaque pixel de cette image en un pixel sur le plan de la route en vue de dessus, et caractérisé en ce qu'il peut de plus comprendre les étapes complémentaires suivantes: -détermination des pixels rectifiés correspondant à l'environnement à représenter, c'est-à-dire à une des cases du tableau défini précédemment ; - pour chacun de ces pixels déterminés, sélection du pixel dans la vue de dessus si son score de qualité est supérieur au 30 score de qualité précédemment attribué au pixel sélectionné pour 20 25 REN063FR / PJ8510 -dépôt DA 3 cette même case du tableau afin de sélectionner le pixel de plus grande qualité pour cette case.
Le procédé d'assistance à la conduite d'un véhicule automobile peut 5 comprendre une étape de mémorisation dans une mémoire de la luminance de chaque pixel sélectionné et de son score de qualité, ou les chrominances de chaque pixel sélectionné et de leurs scores de qualité.
Le procédé peut de plus comprendre une étape d'attribution du score de 10 qualité à chaque pixel de chaque image selon des règles prédéfinies mémorisées dans une mémoire.
Le procédé peut aussi comprendre une étape de sélection de la règle de score de qualité qui correspond à la situation du véhicule automobile 15 parmi plusieurs règles distinctes mémorisées.
Le procédé peut aussi comprendre au moins une règle de score de qualité consistant à classer pour chaque zone autour du véhicule les caméras par ordre de préférence dont les images sont à retenir. 20 Une règle de score de qualité peut comprendre la préférence des caméras latérales pour des zones d'observation sur les côtés du véhicule et la préférence d'au moins une caméra arrière pour la zone directement à l'arrière du véhicule, pour une situation de manoeuvre de type 25 créneau .
Le procédé peut comprendre une étape de mise à jour dans un module de mise à jour des données de la vue de dessus mémorisées, par au moins une opération de rotation et/ou translation effectuée aux cases du tableau 30 de l'environnement du véhicule afin de modifier ces cases en cohérence REN063FR / PJ8510 - dépôt DA 4 avec le déplacement du véhicule, en fonction de la réception de données proprioceptives du véhicule par des capteurs proprioceptifs.
Le procédé peut comprendre une étape supplémentaire de représentation 5 des obstacles à partir de données reçues par des capteurs de détection d'obstacles comme des capteurs ultrasons.
L'invention porte aussi sur un dispositif d'assistance à la conduite d'un véhicule automobile, comprenant des caméras, des capteurs 10 proprioceptifs, et un écran caractérisé en ce qu'il comprend un calculateur apte à la mise en oeuvre d'un procédé d'assistance à la conduite du véhicule automobile tel que décrit précédemment, comprenant une étape de rectification de chaque image reçue par chaque caméra et une étape d'attribution d'un score de qualité à chaque pixel de l'image rectifiée 15 concerné par l'environnement à représenter, afin d'élaborer et afficher sur l'écran la vue de dessus de meilleure qualité à partir des différentes images reçues par les caméras.
Le calculateur peut comprendre un module de rectification relié par un 20 moyen de communication avec les caméras, un module d'élaboration de la vue de dessus apte à la mise en oeuvre des étapes de sélection du pixel de plus grande qualité à partir des images fournies par le module de rectification, et une mémoire pour mémoriser pour chaque pixel de l'image sa luminance et son score de qualité, ou les chrominances de chaque 25 pixel et leurs scores de qualité.
Le calculateur peut de plus comprendre un module de mise à jour relié par un moyen de communication aux capteurs proprioceptifs apte à mettre à jour les données de la vue de dessus mémorisées dans la mémoire en 30 fonction des données reçues par le module de mise à jour.
REN063FR / PJ8510 - dépôt DA 5 Le dispositif peut aussi comprendre un module de rectification apte à zoomer sur au moins une partie de la vue de dessus pour observer plus précisément des zones définies par l'utilisateur et/ou le type de manoeuvre, ou au moins une caméra apte à zoomer sur au moins une partie de son champ de vision.
Enfin, l'invention porte aussi sur un véhicule automobile comprenant un dispositif d'assistance à la conduite tel que décrit précédemment. Ces objets, caractéristiques et avantages de la présente invention seront exposés en détail dans la description suivante d'un mode d'exécution particulier fait à titre non-limitatif en relation avec les figures jointes parmi lesquelles : 15 La figure 1 représente une vue schématique du dispositif d'assistance à la conduite d'un véhicule automobile selon un mode d'exécution de l'invention; la figure 2 représente le calculateur du dispositif précédent selon le mode 20 d'exécution de l'invention ; la figure 3 représente une vue schématique d'une étape du procédé d'assistance selon le mode d'exécution de l'invention ; les figures 4 et 5 représentent des exemples d'implémentation du procédé d'assistance selon le mode d'exécution de l'invention. 25 La figure 1 illustre schématiquement un dispositif d'assistance pour véhicule automobile selon un mode d'exécution de l'invention. Le dispositif comprend plusieurs caméras 1 et des capteurs proprioceptifs 2. Les caméras 1 sont positionnées sur le véhicule automobile, par exemple au 30 niveau des phares et/ou de la carrosserie, de manière à couvrir10 REN063FR / PJ8510 -dépôt DA 6 l'environnement du véhicule qu'on souhaite représenter en vue de dessus pour assister le conducteur dans sa conduite. Les capteurs proprioceptifs 2 permettent d'obtenir des informations complémentaires sur le comportement du véhicule automobile, comme sa vitesse, son angle volant, la variation de l'angle de lacet, ..., par le biais du réseau de bord du véhicule par exemple. Toutes ces informations sont transmises par respectivement des moyens de communication 3, 4 à un calculateur 5, qui met en oeuvre le procédé de construction d'une vue de dessus qui est ensuite transmise par un moyen de communication 6 pour son affichage sur un écran 7 du véhicule automobile pour l'assistance à la conduite.
Le calculateur 5 du dispositif décrit précédemment comprend un module de rectification 8 qui reçoit directement du moyen de communication 3 les images transmises par les différentes caméras 1. Ce module met en oeuvre l'étape de rectification du procédé d'assistance, pour chaque image obtenue pour chaque caméra. Il comprend de plus un module de mise à jour 9 qui reçoit les données transmises par les capteurs proprioceptifs 2 par le moyen de communication 4, et les utilise pour mettre en oeuvre une étape de mise à jour d'une mémoire 11 du calculateur. Enfin, il comprend un module 10 d'élaboration de la vue de dessus par la réunion des différentes images transmises par le module 8. Toutes ces informations sont mémorisées dans la mémoire 11 et transmises en sortie 6 vers un écran d'affichage 7. Les différents modules 8, 9, 10 du calculateur peuvent consister en des éléments logiciels et/ou matériel (software et/ou harclware), mettant finalement en oeuvre le procédé d'assistance qui va maintenant être décrit plus en détail.
Le procédé d'assistance consiste donc en un procédé d'élaboration d'une vue de dessus de l'environnement du véhicule automobile.30 REN063FR / PJ8510 - dépôt DA 7 Pour cela, il comprend une étape de rectification des images reçues, mise en oeuvre par le module de rectification 8 du dispositif, qui consiste à transformer chaque image reçue par chaque caméra en vue de dessus. Cette étape consiste principalement à considérer que chaque pixel, plus précisément chaque luminance d'un pixel, correspond à l'aspect de la route. II est ainsi possible de reconstituer l'image de dessus en projetant sur le plan de la route chaque pixel reçu. Pour cela, chaque pixel de l'image reçue est projeté dans le plan de la route par l'intersection de la droite de projection de la luminance du pixel, en suivant la droite optique de la caméra, avec la surface plane de la route.
La figure 3 donne un exemple particulier d'application de ce principe de rectification avec la présence d'un obstacle 15. L'angle 16 de l'obstacle 15, reçu par la caméra 1, est projeté sur la route 14 en un point 17 selon la droite optique 18. Cela illustre que ce procédé, adapté à la représentation de dessus de la route, est peu adapté à la représentation des objets qui ne sont pas dans le plan de la route. En effet, avec ce principe de construction de l'image de dessus, l'objet est déformé sur toute la longueur 19 dans sa vue de dessus. On enregistre en fait aussi l'ombre de l'objet projetée sur le sol par rapport à la vision de la caméra.
Pour limiter l'impact des déformations telles qu'illustrées ci-dessus, le procédé de l'invention met en oeuvre un procédé particulier, au sein du module 10. Ce procédé comprend une étape de quadrillage de l'environnement immédiat du véhicule à représenter, et de partage de ce quadrillage en n colonnes et m lignes, formant ainsi un tableau à n*m cases. Cet environnement est considéré dans le repère lié au véhicule automobile et25 REN063FR / PJ8510 - dépôt DA 8 se déplace si le véhicule se déplace pour rester fixe dans le repère lié au véhicule.
Dans chaque case (x,y) de ce tableau, le procédé calcule et mémorise une luminance de pixel P(x,y), soit une valeur de niveau de gris qui est utilisée pour la représentation graphique de la vue de dessus sur l'écran 7. De plus, dans chaque case de ce tableau, le procédé établit un score S(x,y), qui est un paramètre représentant la qualité de la luminance p(x,y) mémorisée dans cette case.
En variante, le procédé peut calculer et mémoriser une luminance de pixel P(x,'y), tenant compte de la couleur des images transmises par les caméras. Pour cela, on pourra prévoir de calculer et mémoriser une chrominance de pixel P(x,y) par couleur, ces chrominances de pixel P(x,y) étant représentatives de la valeur du niveau d'intensité d'une couleur qui est utilisée pour la représentation graphique de la vue de dessus sur l'écran 7. On pourra prévoir de multiplier les tableaux en fonction du nombre de couleurs, et d'affecter à chaque case (x,y) du tableau de couleur considéré, un score S(x,y) représentant la qualité de la chrominance du pixel P(x,y), qui pourra être établi par le procédé pour cette couleur. Par exemple, on pourra calculer trois chrominances de pixel P(x,y) et trois scores S(x,y) et les mémoriser dans trois tableaux respectivement pour une couleur rouge, une couleur verte, et une couleur bleue selon un système dit RVB. Les étapes explicitées dans la description en relation avec les niveaux de gris et la luminance peuvent donc être dupliqués avec les couleurs et les chrominances pour se conformer à cette variante.
RENO63FR / PJ8510 - dépôt DA 9 Les valeurs de ce tableau sont continuellement mises à jour et mémorisées dans la mémoire 11, selon le déplacement du véhicule, soit selon des paramètres reçus par les capteurs proprioceptifs 2, et/ou la réception de nouvelles images transmises par les caméras 1.
Si le véhicule se déplace, le procédé met en oeuvre un procédé de mise à jour des données de ce tableau mémorisées dans la mémoire 11, au sein du module de mise à jour 9, puisque dans le repère lié au véhicule, les pixels du tableau qui représentent la route ou l'environnement distinct du véhicule se déplacent aussi de manière cohérente. Pour cela, des opérations de rotation et translations sont effectuées aux cases du tableau pour les déplacer dans leur nouveau repère après le déplacement du véhicule. Cette mise à jour du tableau permet de conserver des valeurs de zones déjà observées avant le déplacement du véhicule mais dans des nouvelles cases du fait du déplacement du véhicule et de compléter le tableau avec des zones non encore observées auparavant, vues pour la première fois du fait du déplacement du véhicule.
La mémorisation des données de représentation de la vue de dessus dans la mémoire 11 permet donc de conserver dans le temps l'information sur des zones déjà observées, et de pouvoir conserver une image complète incluant des données sur des zones qui ne sont par exemple plus observées par les caméras à un instant donné du fait du déplacement du véhicule.
De plus, le procédé comprend une étape d'intégration des nouvelles images, reçues en permanence depuis les différentes caméras. Ce procédé comprend les étapes suivantes, pour chaque nouvelle image transmise par une caméra 1 : REN063FR / PJ8510 - dépôt DA 10 - pour chaque pixel p(i, j) de cette image, calcul de sa projection p(x,y) sur la route selon le procédé de rectification présenté ci-dessus ; - puis, si p(x,y) appartient au quadrillage n*m prédéfini de l'environnement à représenter, alors le test suivant est effectué, sinon on passe au pixel p(i,j) suivant de l'image reçue ; -si le score S(x,y) mémorisé dans le tableau dans la case x,y est inférieur au score s(i,j) associé à la caméra pour le pixel p(i,j), alors le pixel p(x,y) nouvellement reçu remplace le pixel P(x,y) précédemment mémorisé dans le tableau, et le score s(x,y) remplace le score S(x,y) mémorisé. Une telle situation signifie que la caméra vient de transmettre une image de meilleure qualité pour ce point particulier de la route.
Ce procédé permet donc de sélectionner pour chaque pixel à représenter en vue de dessus la valeur la plus pertinente parmi plusieurs solutions, obtenues par plusieurs caméras, grâce au principe d'association d'un paramètre de qualité pour chaque pixel. L'attribution des valeurs de score, soit du paramètre de qualité, peut être prédéfinie par des règles stockées dans la mémoire 11. Cette solution permet ainsi d'accoler de manière optirnale les différentes images reçues par les différentes caméras.
Il est notamment possible d'éviter ainsi l'enregistrement des ombres vues par certaines caméras, comme les ombres de véhicules sur un parking, qui pourraient empêcher de voir une place libre.
Les règles de scores stockées dans la mémoire 11 peuvent dépendre de la situation particulière du véhicule et/ou de sa manoeuvre particulière.
La figure 4 représente un exemple particulier d'un véhicule équipé du dispositif selon l'invention, comprenant trois caméras 1, une caméra arrière et deux caméras latérales avant. A l'instant représenté sur la REN063FR / PJ8510 - dépôt DA 11 figure, ces caméras 1 permettent d'observer les zones 20. Au fur et à mesure que le véhicule se déplace, la carte de l'environnement peut se compléter pour intégrer par exemple les zones 21.
Sur la situation similaire de la figure 5, dans laquelle le véhicule recule, par exemple dans l'optique de réaliser un créneau dans une place vide, les règles de score sont déterminées pour privilégier les caméras ne projetant pas d'ombres sur une éventuelle place vide : pour cela, les caméras latérales qui permettent d'observer les zones 20 sont privilégiées dans les bandeaux d'observation 21 sur les côtés du véhicule. La caméra arrière ne retient que les pixels directement à l'arrière du véhicule, zone dans laquelle elle est prioritaire sur les caméras latérales. Ces règles de score sont un exemple particulièrement adapté à ce type de manoeuvre.
Pour d'autre situations, d'autres règles sont prédéfinies et appliquées. Ces différentes règles peuvent être mémorisées dans la mémoire 11 du dispositif. Elles peuvent consister à classer pour chaque zone autour du véhicule les caméras par ordre de préférence dont les images sont à retenir.
Le procédé décrit ci-dessus est répété continuellement dans le temps, au fur et à mesure des images reçues et traitées en temps réel par le véhicule. Il permet d'obtenir une représentation continue de l'environnement, notamment du fait de la combinaison du choix du meilleur pixel, qui permet de gérer au mieux l'association de plusieurs caméras, et de la mémorisation des données, qui permet de gérer au mieux l'évolution dans le temps de la vue de dessus.
La solution précédente peut être combinée avec d'autres procédés 30 d'assistance. Par exemple, les obstacles détectés par d'éventuels RENO63FR / PJ8510 - dépôt DA 12 capteurs ultrasons peuvent être ajoutés sous la forme de zones colorées sur Ila même vue de dessus, la couleur indiquant la proximité de l'obstacle. Le dispositif peut intégrer des gabarits des ouvrants du véhicule et informer le conducteur s'il peut par exemple ouvrir les portes du véhicule sans heurter un obstacle.
De plus, les informations de vue de dessus mémorisées dans le tableau peuvent être affichées de manière sélective, le conducteur disposant d'une option de zoom pour visualiser plus particulièrement une partie seulement de la vue de dessus. Pour cela, on peut prévoir un affichage progressif lors de la fonction de zoom pour donner au conducteur une impression de continuité.
Pour donner au conducteur cette impression de continuité, on pourra 15 utiliser un procédé de morphage ou morhing en anglais via une technique de fondu, de triangulation de Delaunay, ou de splines.
A cette fin, on pourra prévoir un module de rectification 8, apte à zoomer sur au moins une partie de la vue de dessus. A la place ou en 20 complément du module de rectification 8 apte à zoomer, on pourra utiliser au moins une caméra apte à zoomer sur au moins une partie de son champ de vision. La partie de la vue de dessus pourra être définie par l'utilisateur, ou prédéfinie en fonction du type de manoeuvre. Par exemple, lors d'une manoeuvre de recul rectiligne, on pourra zoomer sur le pare- 25 choc arrière, afin de protéger les véhicules lors de la manoeuvre.
Bien entendu, l'invention n'est pas limitée au mode de réalisation décrit précédemment. Le dispositif peut comprendre tout nombre de caméras, disposées à n'importe quel endroit sur le véhicule, comme aussi au moins 30 une caméra frontale.
Claims (14)
1. Procédé d'assistance à la conduite d'un véhicule automobile comprenant un procédé d'élaboration au sein d'un calculateur (5) d'une vue de dessus de l'environnement du véhicule, comprenant une étape de rectification de chaque image reçue par une caméra (1) disposée sur le véhicule par un module (8) de rectification, caractérisé en ce qu'il comprend de plus une étape d'attribution d'un score de qualité (s(x,y)) à chaque pixel (p(x,y)) de l'image rectifiée concerné par l'environnement du véhicule à représenter et une étape de sélection du pixel (p(x,y)) de plus grande qualité afin d'élaborer la vue de dessus en choisissant pour chaque pixel (p(x,y)) celui de plus grande qualité parmi plusieurs solutions possibles.
2. Procédé d'assistance à la conduite d'un véhicule automobile selon la revendication précédente, comprenant les étapes suivantes : -découpage en un tableau de n*m cases de l'environnement du véhicule à représenter ; -pour chaque image reçue par une caméra (1) disposée sur le 20 véhicule : - rectification de l'image pour la transformer en vue de dessus, en transformant chaque pixel (p(i,j)) de cette image en un pixel (p(x,y)) sur le plan de la route (14) en vue de dessus, et caractérisé en ce qu'il comprend de plus les étapes complémentaires 25 suivantes: - détermination des pixels (p(x,y)) rectifiés correspondant à l'environnement à représenter, c'est-à-dire à une des cases (x,y) du tableau défini précédemment ; -pour chacun de ces pixels (p(x,y)) déterminés, sélection du 30 pixel (p(x,y)) dans la vue de dessus si son score de qualité (s(x,y))REN063FR / PJ8510 - dépôt DA 14 est supérieur au score de qualité (S(x,y)) précédemment attribué au pixel (P(x,y)) sélectionné pour cette même case (x,y) du tableau afin de sélectionner le pixel de plus grande qualité pour cette case (x,y).
3. Procédé d'assistance à la conduite d'un véhicule automobile selon la revendication 1 ou 2, caractérisé en ce qu'il comprend une étape de mémorisation dans une mémoire (11) de la luminance de chaque pixel (P(x,y)) sélectionné et de son score de qualité (S(x,y)), ou les chrominances de chaque pixel (P(x,y)) sélectionné et de leurs scores de qualité (S(x,y)).
4. Procédé d'assistance à la conduite d'un véhicule automobile selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une étape d'attribution du score de qualité (s(x,y)) à chaque pixel (p(x,y)) de chaque image selon des règles prédéfinies mémorisées dans une mémoire (11).
5. Procédé d'assistance à la conduite d'un véhicule automobile selon la revendication précédente, caractérisé en ce qu'il comprend une étape de sélection de la règle de score de qualité qui correspond à la situation du véhicule automobile parmi plusieurs règles distinctes mémorisées.
6. Procédé d'assistance à la conduite d'un véhicule automobile selon la revendication précédente, caractérisé en ce qu'il comprend au moins une règle de score de qualité consistant à classer pour chaque zone autour du véhicule les caméras par ordre de préférence dont les images sont à retenir.REN053FR / PJ8510 - dépôt DA 15
7. Procédé d'assistance à la conduite d'un véhicule automobile selon la revendication précédente, caractérisé en ce qu'une règle de score de qualité comprend la préférence des caméras latérales pour des zones d'observation sur les côtés du véhicule et la préférence d'au moins une caméra arrière pour la zone directement à l'arrière du véhicule, pour une situation de manoeuvre de type créneau .
8. Procédé d'assistance à la conduite d'un véhicule automobile selon l'une des revendications 3 à 7, caractérisé en ce qu'il comprend une étape de mise à jour dans un module de mise à jour (9) des données de la vue de dessus mémorisées, par au moins une opération de rotation et/ou translation effectuée aux cases (x,y) du tableau de l'environnement du véhicule afin de modifier ces cases (x,y) en cohérence avec le déplacement du véhicule, en fonction de la réception de données proprioceptives du véhicule par des capteurs proprioceptifs (2).
9. Procédé d'assistance à la conduite d'un véhicule automobile selon l'une des revendications précédentes, caractérisé en ce qu'il comprend une étape supplémentaire de représentation des obstacles à partir de données reçues par des capteurs de détection d'obstacles comme des capteurs ultrasons.
10. Dispositif d'assistance à la conduite d'un véhicule automobile, comprenant des caméras (1), des capteurs proprioceptifs (2), et un écran (7) caractérisé en ce qu'il comprend un calculateur (5) apte à la mise en oeuvre d'un procédé d'assistance à la conduite du véhicule automobile selon l'une des revendications précédentes, comprenant une étape de rectification de chaque image reçue par chaque caméra (1) et une étape d'attribution d'un score de qualité (s(x,y)) à chaque pixel (p(x,y)) de l'image rectifiée concerné par l'environnement à représenter, afinREN063FR / PJ8510 - dépôt DA 16 d'élaborer et afficher sur l'écran (7) la vue de dessus de meilleure qualité à partir des différentes images reçues par les caméras (1).
11. Dispositif d'assistance à la conduite d'un véhicule automobile selon la revendication précédente, caractérisé en ce que le calculateur (5) comprend un module de rectification (8) relié par un moyen de communication (3) avec les caméras (1), un module (10) d'élaboration de la vue de dessus apte à la mise en oeuvre des étapes de sélection du pixel de plus grande qualité à partir des images fournies par le module de rectification (8), et une mémoire (11) pour mémoriser pour chaque pixel de l'image sa luminance (P(x,y)) et son score de qualité (S(x,y)), ou les chrominances de chaque pixel (P(x,y)) et leurs scores de qualité (S(x,y)).
12. Dispositif d'assistance à la conduite d'un véhicule automobile selon la revendication précédente, caractérisé en ce que le calculateur (5) comprend de plus un module de mise à jour (9) relié par un moyen de communication (4) aux capteurs proprioceptifs (2) apte à mettre à jour les données de la vue de dessus mémorisées dans la mémoire (11) en fonction des données reçues par le module de mise à jour (9).
13. Dispositif d'assistance à la conduite d'un véhicule automobile selon l'une des revendications 10 à 12, caractérisé en ce qu'il comprend un module de rectification (8) apte à zoomer sur au moins une partie de la vue de dessus pour observer plus précisément des zones définies par l'utilisateur et/ou le type de manoeuvre, ou au moins une caméra apte à zoomer sur au moins une partie de son champ de vision.
14. Véhicule automobile caractérisé en ce qu'il comprend un dispositif d'assistance à la conduite selon l'une des revendications 10 à 13.30
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0800504A FR2926908A1 (fr) | 2008-01-30 | 2008-01-30 | Assistance a la conduite d'un vehicule automobile par une vue de dessus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR0800504A FR2926908A1 (fr) | 2008-01-30 | 2008-01-30 | Assistance a la conduite d'un vehicule automobile par une vue de dessus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| FR2926908A1 true FR2926908A1 (fr) | 2009-07-31 |
Family
ID=39672039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| FR0800504A Pending FR2926908A1 (fr) | 2008-01-30 | 2008-01-30 | Assistance a la conduite d'un vehicule automobile par une vue de dessus |
Country Status (1)
| Country | Link |
|---|---|
| FR (1) | FR2926908A1 (fr) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015001065A1 (fr) * | 2013-07-04 | 2015-01-08 | Jaguar Land Rover Limited | Système d'identification de paramètre de remorque |
| US9902425B2 (en) | 2013-07-04 | 2018-02-27 | Jaguar Land Rover Limited | System for guiding trailer along target route during reversing maneuver |
| US10046803B2 (en) | 2013-07-04 | 2018-08-14 | Jaguar Land Rover Limited | Vehicle control system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6429789B1 (en) * | 1999-08-09 | 2002-08-06 | Ford Global Technologies, Inc. | Vehicle information acquisition and display assembly |
| US20020149673A1 (en) * | 2001-03-29 | 2002-10-17 | Matsushita Electric Industrial Co., Ltd. | Image display method and apparatus for rearview system |
| WO2006022630A1 (fr) * | 2004-07-26 | 2006-03-02 | Silicon Optix, Inc. | Systeme est procede de vision panoramique |
| EP1701306A1 (fr) * | 2005-03-09 | 2006-09-13 | Sanyo Electric Co., Ltd. | Système d'assistance à la conduite |
-
2008
- 2008-01-30 FR FR0800504A patent/FR2926908A1/fr active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6429789B1 (en) * | 1999-08-09 | 2002-08-06 | Ford Global Technologies, Inc. | Vehicle information acquisition and display assembly |
| US20020149673A1 (en) * | 2001-03-29 | 2002-10-17 | Matsushita Electric Industrial Co., Ltd. | Image display method and apparatus for rearview system |
| WO2006022630A1 (fr) * | 2004-07-26 | 2006-03-02 | Silicon Optix, Inc. | Systeme est procede de vision panoramique |
| EP1701306A1 (fr) * | 2005-03-09 | 2006-09-13 | Sanyo Electric Co., Ltd. | Système d'assistance à la conduite |
Non-Patent Citations (2)
| Title |
|---|
| DESOUZA G N ET AL: "VISION FOR MOBILE ROBOT NAVIGATION: A SURVEY", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, vol. 2, no. 24, 1 February 2002 (2002-02-01), pages 237 - 267, XP001141181, ISSN: 0162-8828 * |
| S. THRUN, A. BÜCKEN, W. BURGARD, D. FOX, T. FRÖHLINGHAUS, D. HENNIG, T. HOFMANN, M. KRELL AND T. SCHMIDT: "Map learning and high-speed navigation in RHINO", ARTIFICIAL INTELLIGENCE AND MOBILE ORBOTS: CASE STUDIES OF SUCCESSFUL ROBOT SYSTEMS, 1998, XP002492547 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015001065A1 (fr) * | 2013-07-04 | 2015-01-08 | Jaguar Land Rover Limited | Système d'identification de paramètre de remorque |
| US9902425B2 (en) | 2013-07-04 | 2018-02-27 | Jaguar Land Rover Limited | System for guiding trailer along target route during reversing maneuver |
| US10046803B2 (en) | 2013-07-04 | 2018-08-14 | Jaguar Land Rover Limited | Vehicle control system |
| US10119812B2 (en) | 2013-07-04 | 2018-11-06 | Jaguar Land Rover Limited | Trailer parameter identification system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3087048C (fr) | Modes de fonctionnement multiples pour etendre la plage dynamique | |
| JP7081835B2 (ja) | 車両制御のためのリアルタイムｈｄｒビデオ | |
| CN107878311A (zh) | 用于在车辆上投放主观消息的系统和方法 | |
| EP2133237B1 (fr) | Procédé d'affichage d'aide au parking | |
| FR2899332A1 (fr) | Dispositif de mesure de champ de visibilite pour vehicule et systeme d'assistance a la conduite pour vehicule | |
| EP3350018A1 (fr) | Procede de projection pour vehicule automobile d'une image sur une surface de projection | |
| FR2965765A1 (fr) | Procede et dispositif pour former une image d'un objet dans l'environnement d'un vehicule | |
| WO2017021601A1 (fr) | Dispositif et procede de detection de place de stationnement libre pour un vehicule automobile | |
| FR3061098A1 (fr) | Procede et dispositif de vision continue du conducteur d'un vehicule automobile par succession d'images | |
| WO2010133785A1 (fr) | Procede et dispositif pour etendre une zone de visibilite | |
| FR2926908A1 (fr) | Assistance a la conduite d'un vehicule automobile par une vue de dessus | |
| FR2899363A1 (fr) | Procede et dispositif de detection de mouvement d'objets sur des images d'une scene | |
| EP2801075B1 (fr) | Procede de traitement d'image d'une camera embarquee sur un vehicule et dispositif de traitement correspondant | |
| WO2019180001A1 (fr) | Systeme de vision panoramique affichee sur un ecran portrait | |
| FR2902381A1 (fr) | Fusion d'images entre un systeme de navigation et un systeme de vision de nuit | |
| FR3052581B1 (fr) | Procede de realisation d'une carte de profondeurs a partir d'images successives d'une camera unique (mono) embarquee dans un vehicule automobile | |
| EP3494412B1 (fr) | Système d'aide visuelle à la conduite | |
| FR2979311A1 (fr) | Dispositif de traitement pour associer a un element graphique une couleur en fonction d'un niveau de risque de collision d'un obstacle avec une trajectoire future d'un vehicule, pour un systeme d'aide a la conduite | |
| EP1791078A1 (fr) | Procédé de détection d'obstacles mis en oeuvre au sein d'un véhicule automobile | |
| FR3088754A1 (fr) | Methode de creation d’une vue a partir d’une image capturee par une camera grand angle inclinee | |
| EP2649586B1 (fr) | Dispositif de correction d'images réelles utiles à la construction d'une image de synthèse d'une zone environnant un véhicule, et dispositif d'aide au conducteur associé | |
| FR3149262A1 (fr) | Système et procédé pour afficher une vue d’une zone de sol couverte par un véhicule | |
| FR3054355B1 (fr) | Procede et systeme de determination d'un espace libre situe dans une zone d'environnement d'un vehicule automobile | |
| WO2020174142A1 (fr) | Assistance à la conduite d'un véhicule, par détermination fiable d'objets dans des images déformées | |
| FR3094298A1 (fr) | Procédé d’assistance au stationnement d’un véhicule automobile dans un parc de stationnement |