WO2013102529A1 - Verfahren zur bildbasierten detektion von objekten - Google Patents
Verfahren zur bildbasierten detektion von objekten Download PDFInfo
- Publication number
- WO2013102529A1 WO2013102529A1 PCT/EP2012/074647 EP2012074647W WO2013102529A1 WO 2013102529 A1 WO2013102529 A1 WO 2013102529A1 EP 2012074647 W EP2012074647 W EP 2012074647W WO 2013102529 A1 WO2013102529 A1 WO 2013102529A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- cameras
- camera
- data
- vehicle
- images
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 title abstract description 20
- 238000012544 monitoring process Methods 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 9
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 4
- 238000012805 post-processing Methods 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 2
- 230000002596 correlated effect Effects 0.000 abstract description 3
- 238000009434 installation Methods 0.000 description 13
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000012502 risk assessment Methods 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241001300198 Caperonia palustris Species 0.000 description 1
- 235000000384 Veronica chamaedrys Nutrition 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
- G06T7/596—Depth or shape recovery from multiple images from stereo images from three or more stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Definitions
- the invention relates to a method for improving image-based detections of objects and their dimensioning by the fusion of data from multiple cameras with different viewing angles, to a method implementing this method
- An image recording unit comprises at least two image sensors, wherein the optical axes of the image sensors relative to each other and / or relative to the vehicle can be variably aligned.
- Overlap range of the detection ranges of the individual sensors can be increased or reduced in the other case.
- corresponding image areas are searched for in the two images taken from slightly different viewing angles.
- the evaluation unit For the corresponding image areas, the evaluation unit generates a three-dimensional geometry in accordance with the alignment of the optical axes.
- Overlay area defines the stereo detection of the recorded scenes and the remaining sections of the image capture areas or outside the overlap area define the mono detection of the recorded scene.
- DE 196 40 938 A1 discloses an arrangement for monitoring traffic areas with the aid of video cameras, with two video cameras simultaneously overlapping one another
- DE 197 44 694 A1 discloses a video motion signaling device for monitoring a total area, this device comprising video cameras arranged at a distance from one another for different surface areas of the total area.
- a three-dimensional evaluation of the monitored areas is achieved in that a video surveillance of the large area takes place with a plurality of video cameras, which are arranged such that their viewing or detection areas partially overlap. Accordingly, image information from at least two video cameras from different viewing angles is available for these intersecting areas, which enable a three-dimensional evaluation.
- An image-based detection of objects and their dimensions is usually on images of a single camera or with a stereo camera with very similar
- Viewpoints are placed on the scenery, use, so that even the camera twisted appearing objects and their dimensions can be estimated more robust, where is particularly advantageous that such objects are in the common field of view of multiple cameras.
- the object in particular its three-dimensional design, can be determined much more robustly and the object dimensions, in particular the object depth highlighted here, can be better estimated.
- the method proposed according to the invention can be used or retrofitted or implemented particularly simply on vehicles which have a surround view system or an area view system, a top view or a bird's eye view.
- vehicles which have a surround view system or an area view system, a top view or a bird's eye view.
- Such vehicles are usually equipped with four cameras on the front of the vehicle, at the rear of the vehicle and on the two exterior mirrors.
- the inventively proposed system can be exploited by resorting to such a camera to improve a three-dimensional reproduction of penetrating into the drive tube objects for a driver assistance system.
- objects can be detected more robustly, since more image data are available for the respective objects if they are detected with a number of cameras, for example two or three cameras from known installation locations on the vehicle. Due to the different object views, the object dimensions can be estimated much better in terms of height, width and depth. Thus, more information can be obtained from the environment of the vehicle, which in turn can make better model assumptions for the environment, so that the driving assistance system, when implementing the invention proposed
- Figure 1 shows a scene playing in front of a vehicle, taken with a
- Figure 2 is an illustration of partially overlapping detection range of two
- Monocameras arranged at different locations on the vehicle, which simultaneously capture a three-dimensional object.
- FIG. 1 shows a scene which takes place in front of a vehicle in its vehicle surroundings, recorded by a monocamera, which is arranged in the front region of the vehicle.
- FIG. 1 an environment of a vehicle not shown in FIG. 1 is given, for example by a roadway 10 lying in front of the vehicle. Side of the lane 10 is a side strip 18, in the individual parking bays can be seen.
- the scene according to FIG. 1 shows a person 12 entering the roadway, moving in the direction of movement 16 and following an object 14, which likewise travels in the direction of movement 16, such as, for example, a child suddenly running onto the roadway 10 the ball 14 rolled on the road lags behind.
- Both the person 12 and the object 14 are highlighted by a first image section as a 2D image and a second image section 24 as a 2D image.
- there are parked vehicles 20 on the lane 10 on the left-hand edge which however are arranged only in the background of the scenery shown in FIG.
- the illustration according to FIG. 2 shows a plan view of a vehicle 32.
- the vehicle 32 comprises at least one front camera 34, which is for example inserted into the front end and whose installation location is indicated by reference numeral 36.
- the vehicle 32 illustrated in FIG. 2 comprises a first side camera 38.
- the installation location of the first side camera 38 is, for example, the left exterior mirror 40 on the driver side of the vehicle 32.
- vehicle 32 may include a further second side camera 42 in right exterior mirror 40.
- vehicle 32 may be equipped with a rear camera 44, which is located for example on the upper edge of the rear window or in the region of the rear sill, where ultrasound sensors for a driver assistance system, today usually at least one parking aid, can be arranged.
- the installation location is designated by reference numeral 46, which is located behind the vehicle area of the vehicle environment 10 - here given by the roadway 10 - monitor, while the two usually at the bottom or on the back of the exterior mirror 40th arranged side cameras 38 and 42 monitor the lateral region of the vehicle and, for example, can be oriented so that the housed in the mirrors 40 side cameras 38, 42 which are oriented vertically downwards, ie the top of the vehicle environment, in this case the
- detected three-dimensional object 48 which is also detected by the arranged in the left side mirror 40 first side camera 38.
- the installation locations of both cameras, ie the front camera 34 and the first side camera 38 on the vehicle 32 are known.
- the recording times with which images of the three-dimensional object 48 are shot are known and can be processed in a control unit, for example for a surround view system, area view system, top view system or bird's eye view system become.
- the cameras listed above, ie the front camera 34, the first and second side cameras 38 and 42 and the rear camera 44 are in connection with the control unit of the surround view, or top view, or bird Eye View System in conjunction.
- the front camera 34 is oriented at the front of the vehicle 32 at a first viewing angle 50 and captures the three-dimensional object 48 with its detection area 54.
- this three-dimensional object 48 is detected by the first side camera 38 arranged in the left-hand outside mirror 40 , which is oriented with respect to the vehicle longitudinal axis in a second angle 52.
- the first viewing angle 50 of the front camera 34 differs significantly from the second viewing angle 52 of the first side view camera 38 due to the different mounting location 36 on the vehicle 32 relative to its installation on the driver sideview mirror 40.
- Both mono cameras, i. the front camera 34 and the first side camera 38 simultaneously detect the three-dimensional object 48, which is located in front left of the vehicle 32.
- the three-dimensional object 48 is located simultaneously in a detection area 54 of the front camera 34 and in a detection area 36 of the first side camera 38, which is accommodated in the exterior mirror 40 on the driver side of the vehicle 32.
- Detection areas i. the detection area 54 of the front camera 34 and the
- Detection area 56 of the first side camera 38 overlap one another, indicated in FIG. 2 by an overlap area 58.
- images taken by the two monocameras 34 and 38 are transmitted to a control unit of the driver assistance system.
- the images taken by the monocameras 34 and 38 are processed, in which case the object 48 is detected by the first side camera 38, for example, whose object data are related to the object data of the other camera, in the
- control unit receives more information about the three-dimensional object 48
- Installation positions of the cameras ie the installation location 36 of the front camera 34 is also known in the system, as the installation of the first side camera 38, namely in the exterior mirror on the driver side of the vehicle 32nd Since the recording times of the two Mono cameras 34, 38 supplied images are also known, a plane estimation can be done to correlate the simultaneously detected by two cameras 34, 38 three-dimensional object temporally and spatially.
- the cameras oriented in different viewing angles 50 and 52 can hold information from which a statement about an estimated depth 62 of the three-dimensional object 48 or with respect to its width 60 can be derived with greater significance, compared to a scene in front of the vehicle 32 with only a monocamera.
- At least two cameras in the present case at least the front camera 34 and the first side camera 38 on the vehicle 32, and their
- objects 8 that are twisted to the monocameras 34, 38 can be estimated more robustly, as well as their dimensions with respect to the width 60 or the depth 62, which are used for spatial detection of a three-dimensional object 48 is indispensable for human perception.
- the dimension is found on a plurality of cameras 34, 38 with a common overlap area 58, but at different angles 50 and 52.
- one and the same three-dimensional object 48 is from the different viewing angles 50 and 52 of the two monocameras 34, 38, as shown in Figure 2, visible. In turn, this can be the three-dimensional
- three-dimensional objects 48 are detected more robustly since multiple image data of the three-dimensional object 48 are available. Due to the different object views of the same three-dimensional object 48, recorded by the at least two different detection areas 54, 56 scanning cameras 34, 36, the dimensions of the three-dimensional object can be estimated much better. Thus, more information about the vehicle environment 10 is gained, allowing a better model assumption for the environment can be made, which can be used for example in driver assistance systems for improved risk assessment and the improvement of evasion strategies.
- the invention further relates to a computer program with which the method proposed according to the invention is based on a programmable
- the present invention relates to a driver assistance system which has already been installed on the vehicle
- the said cameras are connected to a control unit of the driver assistance system, so that of the individual
- Mono cameras recorded images can be transmitted to the control unit for further image processing. Furthermore, the control unit of the driver assistance system, the recording times of the mono cameras 34, 38, 42, 44 known and their installation locations and their different angles, compare reference numerals 50 and 52 in the illustration of Figure 2, in which it is a bird's eye view is. Starting from the known installation locations of the cameras 34, 38, 42, 44, in different angles 50 and 52 of the at least two monocameras, here the Front camera 34 with respect to the vehicle 32 and the first side camera 38 with respect to the longitudinal axis of the vehicle 32, information regarding the object speed and the direction of movement of the three-dimensional object 48 can be inferred from the captured images.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
Die Erfindung bezieht sich auf ein Verfahren zur Überwachung eines Fahrzeugumfeldes mit mindestens zwei Kameras (34, 38), insbesondere mit mindestens zwei Monokameras (34, 38). Zunächst erfolgt eine Erfassung von Objekten oder eines Objektes (48), welche sich im Fahrzeugumfeld befinden. Anschließend wird eine Korrelation von Objektdaten vorgenommen, in der die Objektdaten, die eine der mindestens zwei Kameras (34, 38) aufnimmt mit Objektdaten ein und desselben Objektes (12, 14, 48), welche die andere der mindestens zwei Kameras (34) aufnimmt, korreliert. Schließlich werden die Aufnahmezeitpunkte der mindestens zwei Kamerabilder der mindestens zwei Kameras (34, 38) ermittelt und es erfolgt die Vornahme einer Ebenenschätzung, in der sich das Objekt (48) bewegt.
Description
Beschreibung Titel
VERFAHREN ZUR BILDBASIERTEN DETEKTION VON OBJEKTEN
Stand der Technik Die Erfindung bezieht sich auf ein Verfahren zur Verbesserung bildbasierter Detektionen von Objekten sowie von deren Dimensionieren durch die Fusion von Daten multipler Kameras mit unterschiedlichen Blickwinkeln, auf ein dieses Verfahren implementierendes
Computerprogramm sowie auf eine Vorrichtung, insbesondere ein Fahrerassistenzsystem, bei der dieses Verfahren implementierbar ist.
DE 101 31 196 A1 offenbart eine Vorrichtung zur Detektion von Gegenständen oder dergleichen, die sich im Umfeld eines Fahrzeugs befinden. Eine Bildaufzeichnungseinheit umfasst wenigstens zwei Bildsensoren, wobei die optischen Achsen der Bildsensoren relativ zueinander und/oder relativ zum Fahrzeug veränderbar ausgerichtet werden können.
Entsprechend der Ausrichtung der optischen Achsen in Bezug zueinander kann der
Überlappungsbereich der Erfassungsbereiche der einzelnen Sensoren vergrößert oder im anderen Falle verkleinert werden. In den Bildpaaren werden korrespondierende Bildbereiche in den beiden aus geringfügig unterschiedlichen Blickwinkeln aufgenommenen Bildern gesucht. Für die korrespondierenden Bildbereiche erstellt die Auswerteeinheit entsprechend der Ausrichtung der optischen Achsen eine dreidimensionale Geometrie. Der
Überlagerungsbereich definiert die Stereoerfassung der aufgenommenen Szenen und die übrigen Abschnitte der Bilderfassungsbereiche bzw. außerhalb des Überlappungsbereiches definieren die Monoerfassung der aufgenommenen Szene. DE 196 40 938 A1 offenbart eine Anordnung zur Überwachung von Verkehrsflächen mit Hilfe von Videokameras, wobei jeweils zwei Videokameras gleichzeitig einen überlappten
Bildausschnitt beobachten. Durch die Auswertung der Bildinformationen von überlappenden Bildausschnitten zweier Kameras, ist eine wesentlich robustere Verkehrsmessung möglich. Bei Verwendung von zwei Kameras kann unterschieden werden, ob Grauwertänderungen auf einer Fläche in der beobachteten dreidimensionalen Szene auf Objekten oberhalb der
Fläche oder auf virtuellen Objekten in der Fläche, wie beispielsweise Schatten, oder auf virtuelle Objekte unter der Fläche, so zum Beispiel Spiegelungen zurückzuführen sind. Für die Anwendung dieses Verfahrens nehmen mindestens zwei Videokameras zeitgleich Bilder auf. Derart zeitgleich und einander überlappend aufgenommene Bilder bilden die Grundlage für die stereoskopische Erfassung des Verkehrsgeschehens. Durch die Anwendung von stereoskopischen Algorithmen werden virtuelle Objekte aus den Bildern getrennt und es kann eine räumliche Objektvermessung vorgenommen werden.
DE 197 44 694 A1 offenbart eine Videobewegungsmeldeeinrichtung zur Überwachung einer Gesamtfläche, wobei diese Einrichtung zueinander beabstandet angeordnete Videokameras für unterschiedliche Flächenbereich der Gesamtfläche umfasst. Eine dreidimensionale Auswertung der überwachten Flächen wird dadurch erreicht, dass eine Videoüberwachung der großen Fläche mit mehreren Videokameras erfolgt, die derart angeordnet sind, dass sich ihre Blick- bzw. Erfassungsbereiche teilweise überschneiden. Für diese Schnittbereiche liegen demnach Bildinformationen von zumindest zwei Videokameras aus unterschiedlichen Blickwinkeln vor, die eine dreidimensionale Auswertung ermöglichen.
Eine bildbasierte Detektion von Objekten sowie von deren Dimensionen wird meist auf Bildern einer einzelnen Kamera bzw. mit einer Stereokamera mit sehr ähnlichen
Sichtbereichen (Field of Views) durchgeführt. Dadurch können diese Objekte nur aus einem Blickwinkel bzw. aus einem Sichtbereich gesehen werden. Daraus wiederum folgt, dass aus den Bildern bestenfalls die Höhe und die Breite von der zur Kamera gerichteten Objektseite geschätzt werden kann. Da nur ein Blickwinkel bzw. bei Stereokamerasystemen ähnliche Blickwinkel zum Objekt zur Verfügung stehen, lassen sich nicht alle Objektdimensionen wie die Höhe und die Breite und insbesondere die Tiefe schätzen. Falls sich die Objekte in einer verdrehten Lage zur Kamera befinden, lassen sich die Objekte schlechter detektieren und die schätzbaren Dimensionen wie Höhe und Breite können sehr stark fehlerbehaftet sein.
Darstellung der Erfindung
Erfindungsgemäß wird vorgeschlagen, mehrere Kameras, die in unterschiedlichen
Blickwinkeln auf die Szenerie angeordnet sind, einzusetzen, so dass sich auch zur Kamera verdreht erscheinende Objekte und deren Dimensionen robuster schätzen lassen, wobei
insbesondere von Vorteil ist, dass sich derartige Objekte im gemeinsamen Sichtbereich von mehreren Kameras befinden.
Da die Objektdetektion und die Dimensionsschätzung mittels mehrerer Kameras
durchgeführt wird, die in bekannten Positionen am Fahrzeug verbaut sind, so zum Beispiel Frontkameras, Seitenkameras und Heckkameras, können bei mehreren Kameras bei gemeinsamen Überlappungsbereichen unterschiedliche Blickwinkel realisiert werden. Damit ist ein und dasselbe Objekt aus unterschiedlichen Blickwinkeln sichtbar. Somit lässt sich das Objekt, insbesondere dessen dreidimensionale Ausbildung, wesentlich robuster bestimmen und die Objektdimensionen, insbesondere sei hier die Objekttiefe hervorgehoben, können besser geschätzt werden.
Auch andere aus Bildern bzw. aus Videos gewonnene Informationen, so zum Beispiel die Objektgeschwindigkeit, man denke nur an einen rollenden Ball und die Richtung, in die sich das Objekt bewegt, können durch die Verwendung mehrerer Kameras mit unterschiedlichen Blickwinkeln erheblich verbessert werden. Anstelle von Kameras könnten auch Sensoriken wie zum Beispiel Radar, Lidar oder Ultraschall eingesetzt werden.
Das erfindungsgemäß vorgeschlagene Verfahren lässt sich insbesondere besonders einfach an Fahrzeugen einsetzen bzw. nachrüsten oder verwirklichen, die ein Surround View System oder ein Area View System, ein Top View oder ein Bird's Eye View aufweisen. Derartige Fahrzeuge sind meist mit vier Kameras an der Fahrzeugfront, am Fahrzeugheck und auf den beiden Außenspiegeln ausgestattet. Somit kann das erfindungsgemäß vorgeschlagene System unter Rückgriff auf derartige Kamera zu einer Verbesserung einer dreidimensionalen Wiedergabe von in den Fahrschlauch eindringenden Objekten für ein Fahrassistenzsystem ausgenutzt werden.
Vorteile der Erfindung Durch den Einsatz des erfindungsgemäß vorgeschlagenen Verfahrens können Objekte robuster detektiert werden, da mehr Bilddaten für die jeweiligen Objekte zur Verfügung stehen, wenn diese mit einer Anzahl von Kameras, so zum Beispiel zwei oder drei Kameras aus bekannten Einbauorten am Fahrzeug detektiert werden. Durch die unterschiedlichen Objektansichten lassen sich die Objektdimensionen hinsichtlich Höhe, Breite und Tiefe wesentlich besser schätzen.
Damit können aus dem Umfeld des Fahrzeuges mehr Informationen gewonnen werden, wodurch sich wiederum bessere Modellannahmen für das Umfeld treffen lassen, so dass das Fahrassistenzsystem, bei Implementierung des erfindungsgemäß vorgeschlagenen
Verfahrens, eine verbesserte Gefahreneinschätzung oder eine wesentlich verbesserte Ausweichstrategie zur Folge hat.
Kurze Beschreibung der Zeichnungen Anhand der Zeichnung wird die Erfindung nachstehend eingehender beschrieben.
Es zeigt:
Figur 1 eine sich vor einem Fahrzeug abspielende Szenerie, aufgenommen mit einer
Monokamera und
Figur 2 eine Darstellung sich teilweise überlappender Erfassungsbereich zweier an
verschiedenen Orten am Fahrzeug angeordneter Monokameras, die gleichzeitig ein dreidimensionales Objekt erfassen.
Ausführungsvarianten
Figur 1 zeigt eine Szenerie, die sich vor einem Fahrzeug in dessen Fahrzeugumfeld abspielt, aufgenommen durch eine Monokamera, welche im vorderen Bereich des Fahrzeugs angeordnet ist.
Bei der Darstellung gemäß Figur 1 ist eine Umgebung eines in Figur 1 nicht dargestellten Fahrzeugs, beispielsweise durch eine vor dem Fahrzeug liegende Fahrbahn 10 gegeben. Seitlich der Fahrbahn 10 befindet sich ein Seitenstreifen 18, in dem einzelnen Parkbuchten erkennbar sind. Die Szenerie gemäß Figur 1 zeigt eine Person 12, die die Fahrbahn betritt, sich in Bewegungsrichtung 16 fortbewegt und einem Gegenstand 14, der sich ebenfalls in Bewegungsrichtung 16 fortbewegt, hinterher eilt, so zum Beispiel ein plötzlich auf die Fahrbahn 10 laufendes Kind, welches einem auf die Fahrbahn gerollten Ball 14 nachläuft.
Sowohl die Person 12 als auch der Gegenstand 14 sind durch einen ersten Bildausschnitt als 2D-Bild sowie einen zweiten Bildausschnitt 24 als 2D-Bild hervorgehoben. Des Weiteren ist anzumerken, dass sich bei der Darstellung gemäß Figur 1 auf der Fahrbahn 10 am linken Rand abgestellte Fahrzeuge 20 befinden, die jedoch lediglich im Hintergrund der in Figur 1 dargestellten Szenerie angeordnet sind.
Der Darstellung gemäß Figur 2 ist eine Draufsicht auf ein Fahrzeug 32 zu entnehmen. Wie Figur 2 zeigt, umfasst das Fahrzeug 32 mindestens eine, beispielsweise in das Frontende eingelassene Frontkamera 34, deren Einbauort durch Bezugszeichen 36 angedeutet ist. Des Weiteren umfasst das in Figur 2 dargestellte Fahrzeug 32 eine erste Seitenkamera 38. Der Einbauort der ersten Seitenkamer 38 ist beispielsweise der linke Außenspiegel 40 auf der Fahrerseite des Fahrzeugs 32.
Darüber hinaus kann das Fahrzeug 32 - wenngleich in der Darstellung gemäß Figur 2 nicht eingezeichnet - im rechten Außenspiegel 40 eine weitere zweite Seitenkamera 42 umfassen. Darüber hinaus kann das Fahrzeug 32 mit einer Heckkamera 44 ausgestattet sein, welche sich beispielsweise am Oberen Rand der Heckscheibe befindet oder im Bereich des hinteren Schwellers, dort wo Ultraschallsensoren für ein Fahrassistenzsystem, heute üblicherweise zumindest eine Einparkhilfe, angeordnet sein können. Mit der Heckkamera 44, deren Einbauort mit Bezugszeichen 46 bezeichnet ist, lässt sich der hinter dem Fahrzeug liegende Bereich des Fahrzeugumfeldes 10 - hier gegeben durch die Fahrbahn 10 - überwachen, während die beiden in der Regel an der Unterseite oder an der Rückseite der Außenspiegel 40 angeordneten Seitenkameras 38 bzw. 42 den seitlichen Bereich des Fahrzeugs überwachen und beispielsweise so ausgerichtet sein können, dass die in den Außenspiegeln 40 untergebrachten Seitenkameras 38, 42, die senkrecht nach unten orientiert sind, d.h. die Oberseite des Fahrzeugumfeldes, im vorliegenden Falle der
Fahrbahn 10 überwachen.
Der Darstellung gemäß Figur 2 ist zu entnehmen, dass die Frontkamera 34 ein
dreidimensionales Objekt 48 erfasst, welches ebenfalls von der im linken Außenspiegel 40 angeordneten ersten Seitenkamera 38 erfasst wird. Die Einbauorte beider Kameras, d.h. der Frontkamera 34 und der ersten Seitenkamera 38 am Fahrzeug 32 sind bekannt. Ebenso sind die Aufnahmezeitpunkte, mit der Bilder des dreidimensionalen Objektes 48 geschossen werden bekannt und können in einem Steuergerät beispielsweise für ein Surround View System, Area View System, Top View System oder Bird's Eye View System verarbeitet
werden. Ferner stehen die oben stehend aufgeführten Kameras, d.h. die Frontkamera 34, die ersten und zweiten Seitenkameras 38 bzw. 42 sowie die Heckkamera 44 in Verbindung mit dem Steuergerät des Surround View-, bzw. Area View-, bzw. Top View, bzw. Bird's Eye View System in Verbindung.
Wie aus Figur 2 hervorgeht, ist die Frontkamera 34 an der Vorderseite des Fahrzeugs 32 in einem ersten Blickwinkel 50 orientiert und erfasst mit ihrem Erfassungsbereich 54 das dreidimensionale Objekt 48. Gleichzeitig wird dieses dreidimensionale Objekt 48 von der im linken Außenspiegel 40 angeordneten ersten Seitenkamera 38 erfasst, welche in Bezug auf die Fahrzeuglängsachse in einem zweiten Blickwinkel 52 orientiert ist. Es ist festzuhalten, dass sich der erste Blickwinkel 50 der Frontkamera 34 aufgrund des anderen Einbauortes 36 am Fahrzeug 32 vom zweiten Blickwinkel 52 der ersten Seitenkamera 38, bezogen auf deren Einbau auf dem Außenspiegel 40 auf der Fahrerseite, signifikant unterscheidet. Beide Monokameras, d.h. die Frontkamera 34 und die erste Seitenkamera 38 erfassen gleichzeitig das dreidimensionale Objekt 48, welches sich links vorne vor dem Fahrzeug 32 befindet.
Das dreidimensionale Objekt 48 befindet sich gleichzeitig in einem Erfassungsbereich 54 der Frontkamera 34 sowie in einem Erfassungsbereich 36 der ersten Seitenkamera 38, welche im Außenspiegel 40 auf der Fahrerseite des Fahrzeugs 32 untergebracht ist. Beide
Erfassungsbereiche, d.h. der Erfassungsbereich 54 der Frontkamera 34 und der
Erfassungsbereich 56 der ersten Seitenkamera 38 überlappen einander, in Figur 2 angedeutet durch einen Überlappungsbereich 58.
Wird das dreidimensionale Objekt 48 von der Frontkamera 34 und der ersten Seitenkamera 38 gleichzeitig erfasst, so werden jeweils von den beiden Monokameras 34 und 38 aufgenommene Bilder an einer Steuereinheit des Fahrassistenzsystems übermittelt. Es erfolgt eine Verarbeitung der von den Monokameras 34 bzw. 38 aufgenommenen Bilder, wobei für den Fall, dass das Objekt 48 von der ersten Seitenkamera 38 beispielsweise entdeckt wird, dessen Objektdaten mit den Objektdaten der anderen Kamera, im
vorliegenden Falle der Frontkamera 34 korreliert werden können, ohne eine aufwändige
Stereoberechnung durchführen zu müssen. Durch die unterschiedlichen Blickwinkel erhält die Steuereinheit mehr Informationen über das dreidimensionale Objekt 48. Die
Einbaupositionen der Kameras, d.h. der Einbauort 36 der Frontkamera 34 ist im System ebenso bekannt, wie der Einbauort der ersten Seitenkamera 38, nämlich im Außenspiegel auf der Fahrerseite des Fahrzeugs 32. Da die Aufnahmezeitpunkte der von den beiden
Monokameras 34, 38 gelieferten Bilder ebenso bekannt sind, kann eine Ebenenschätzung erfolgen um das gleichzeitig von beiden Kameras 34, 38 detektierte dreidimensionale Objekt zeitlich und örtlich miteinander zu korrelieren. Die in verschiedenen Blickwinkeln 50 bzw. 52 orientierten Kameras lassen sich Informationen halten, aus denen sich eine Aussage über eine geschätzte Tiefe 62 des dreidimensionalen Objektes 48 bzw. hinsichtlich von dessen Breite 60 mit einer größeren Aussagekräftigkeit herleiten lassen, im Vergleich zu einer Aufnahme einer Szenerie vor dem Fahrzeug 32 mit lediglich einer Monokamera.
Da die Lage der Kameras bzw. deren Einbauorte im Fahrzeug 32 bekannt sind, vergleiche Einbauort 36 der Frontkamera 34, Einbauorte der ersten und zweiten Seitenkameras 38, 42 in den Außenspiegel 40 sowie ein Einbauort 46 der Heckkamera 44, kann bei einem derartigen Multikamerasystem möglicherweise nur bedingt eine Stereoberechnung erfolgen, da die beiden Seitenkameras 38 bzw. 42 in den Außenspiegeln 40 in der Regel nach unten orientiert sind und somit trotz 180° Optik oft einen anderen Blickwinkel aufweisen. Hier besteht die Möglichkeit, dass keine Korrelation für eine Stereoberechnung möglich ist, was zu einer Nachverarbeitung, wie oben stehend skizziert, führt, um einen Mehrgewinn zu erreichen.
Durch die Verwendung mindestens zweier Kameras im vorliegenden Falle zumindest der Frontkamera 34 und der ersten Seitenkamera 38 an dem Fahrzeug 32, und deren
Anordnung mit unterschiedlichem Blickwinkel 50 bzw. 52 wie in Zusammenhang in Figur 2 erklärt, lassen sich auch zu den Monokameras 34, 38 verdrehte Objekte 48 robuster schätzen, ebenso wie deren Dimensionen bezüglich auf die Breite 60 bzw. die Tiefe 62, welche zur räumlichen Erfassung eines dreidimensionalen Objektes 48 für das menschliche Wahrnehmungsvermögen unerlässlich ist. Die Objektdetektion und Schätzung der
Dimension findet dem erfindungsgemäß vorgeschlagenen Verfahren folgend auf mehreren Kameras 34, 38 mit einem gemeinsamen Überlappungsbereich 58 statt, jedoch unter unterschiedlichen Blickwinkeln 50 bzw. 52. Dadurch ist ein und dasselbe dreidimensionale Objekt 48 aus den unterschiedlichen Blickwinkeln 50 bzw. 52 der beiden Monokameras 34, 38, wie in Figur 2 dargestellt, sichtbar. Daraus wiederum lässt sich das dreidimensionale
Objekt 48 robuster bestimmen, ferner die Objektdimensionen, wobei hier insbesondere die Tiefe 62 des dreidimensionalen Objektes 48 hervorzuheben ist.
Auch andere, aus den Bildern der beiden Monokameras 34, 38 gewonnen Informationen, zum Beispiel die Bewegungsgeschwindigkeit bzw. die Bewegungsrichtung 16 des
dreidimensionalen Objektes, lassen sich durch Verwendung mehrerer Kameras 34, 38, wobei es sich um mindestens zwei handeln sollte, die in unterschiedlichen Blickwinkeln 50 bzw. 52 angeordnet sind, verbessern. Bei Fahrzeugen 32, die ein Surround View System, welches auch als Area View System bezeichnet werden kann, ein Top View System oder ein Bird's Eye View System umfassen, sind meist - wie in Figur 2 angedeutet - mehrere Kameras, vergleiche die Frontkamera 34, die erste Seitenkamera 38 und die zweite Seitenkamera 42 sowie die Heckkamera 44 vorhanden und so besteht in vorteilhafter Weise die Möglichkeit, die Kameraumgebung bei einem derartig ausgestatteten Fahrzeug 32 zur Implementierung des erfindungsgemäß vorgeschlagenen Verfahrens auszunutzen. Durch den Einsatz des erfindungsgemäß vorgeschlagenen Verfahrens werden dreidimensionale Objekte 48 robuster detektiert, da Mehrbilddaten des dreidimensionalen Objektes 48 zur Verfügung stehen. Durch die unterschiedlichen Objektansichten ein und desselben dreidimensionalen Objektes 48, aufgenommen durch die mindestens zwei unterschiedliche Erfassungsbereiche 54, 56 abtastende Kameras 34, 36, lassen sich die Dimensionen des dreidimensionalen Objektes wesentlich besser schätzen. Somit werden mehr Informationen über das Fahrzeugumfeld 10 gewonnen, wodurch sich eine bessere Modellannahme für das Umfeld treffen lässt, was zum Beispiel in Fahrassistenzsystemen zu einer verbesserten Gefahreneinschätzung sowie der Verbesserung von Ausweichstrategien genutzt werden kann.
Die Erfindung bezieht sich des Weiteren auf ein Computerprogramm, mit welchem das erfindungsgemäß vorgeschlagene Verfahren auf einer programmierbaren
Computereinrichtung ausgeführt werden kann. Des Weiteren hat die vorliegende Erfindung ein Fahrassistenzsystem zum Gegenstand, welches bereits am Fahrzeug verbaute
Komponenten in Gestalt der Frontkamera 34, der ersten Seitenkamera 38, der zweiten Seitenkamera 42 sowie der Heckkamera 44 nutzt. Die besagten Kameras sind mit einem Steuergerät des Fahrassistenzsystems verbunden, so dass die von den einzelnen
Monokameras aufgenommenen Bilder an die Steuereinheit zur weiteren Bildverarbeitung übertragen werden können. Des Weiteren sind der Steuereinheit des Fahrassistenzsystems die Aufnahmezeitpunkte der Monokameras 34, 38, 42, 44 bekannt sowie deren Einbauorte sowie deren unterschiedliche Blinkwinkel, vergleiche Bezugszeichen 50 bzw. 52 in der Darstellung gemäß Figur 2, bei der es sich um eine Wiedergabe aus der Vogelperspektive handelt. Ausgehend von den bekannten Einbauorten der Kameras 34, 38, 42, 44, in unterschiedlichen Blickwinkeln 50 bzw. 52 der mindestens zwei Monokameras, hier der
Frontkamera 34 in Bezug auf das Fahrzeug 32 sowie der ersten Seitenkamera 38 in Bezug auf die Längsachse des Fahrzeugs 32, können aus den aufgenommenen Aufnahmen Informationen hinsichtlich der Objektgeschwindigkeit und der Bewegungsrichtung des dreidimensionalen Objektes 48 geschlossen werden. Handelt es sich dabei beispielsweise um ein Kind, welches einem auf die Fahrbahn 10 gelangten Ball hinterherläuft, sind die Bewegungsrichtungen von Ball und Kind bekannt, so dass eine Ausweichstrategie - vergleiche in Figur 1 dargestellte Szenerie - in Richtung auf den hier freien Seitenstreifen 18 erfolgen könnte, in dem keine Fahrzeuge 20 abgestellt sind, so dass ein Ausweichen ohne weiteres möglich wäre.
Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegebenen Bereiches eine Vielzahl von Abwandlungen möglich, die im Rahmen technischen Handelns liegen.
Claims
Verfahren zur Überwachung eines Fahrzeugumfeldes (10) mit mindestens zwei Kameras (34, 38), insbesondere Monokameras (34, 38), mit nachfolgenden
Verfahrensschritten: a) Erfassen von Objekten (12, 14, 48), die sich im Fahrzeugumfeld (10) befinden, b) Korrelieren von Objektdaten, die eine der mindestens zwei Kameras (34, 38) aufnimmt mit Objektdaten ein und desselben Objektes (12, 14, 48), welche die andere der mindestens zwei Kameras (34, 38) aufnimmt,
c) Ermittlung der Aufnahmezeitpunkte der von den mindestens zwei Kameras (34, 38) gelieferten Bildern und Vornahme einer Ebenenschätzung, in der sich das Objekt (12, 14, 48) bewegt.
Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass die Aufnahmezeitpunkte der Bilder der mindestens zwei Kameras (34, 38) und die Ebenenschätzung zur zeitlichen und örtlichen Korrelation der Daten des Objektes (12, 14, 48) herangezogen werden.
Verfahren gemäß Anspruch 1 , dadurch gekennzeichnet, dass aus der zeitlichen und örtlichen Korrelation der Daten des Objektes (12, 14, 48) eine Breite (60) und eine Tiefe (62) des Objektes (12, 14, 48) geschätzt werden.
Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Objekt (12, 14, 48) von den mindestens zwei Kameras (34, 38) mit
unterschiedlichen Blickwinkeln (50, 52) erfasst wird. 5. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass eine Bewegungsrichtung (16) und eine Bewegungsgeschwindigkeit des Objektes (12, 14, 48) bestimmt werden.
6. Verfahren gemäß einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass aus den von den mindestens zwei Kameras (34, 38) gelieferten Bildern eine Bild- Nachverarbeitung unter Einschluss einer Stereoberechnung erfolgt.
7. Computerprogramm zur Durchführung eines Verfahrens gemäß einem der
vorhergehenden Ansprüche, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird.
8. Fahrassistenzsystem zum Überwachen eines Fahrzeugumfeldes (10) mit mindestens zwei Kameras (34, 38), insbesondere Monokameras (34, 38), die ein sich im
Fahrzeugumfeld befindendes Objekt (12, 14, 48) erfassen, dadurch gekennzeichnet, dass eine Komponente vorgesehen ist, die Objektdaten, die mindestens eine der mindestens zwei Kameras (34, 38) aufnimmt mit Objektdaten ein und desselben Objektes (12, 14, 48), welche die andere der mindestens zwei Kameras (34, 38) aufnimmt, korreliert.
9. Fahrassistenzsystem gemäß dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Komponente zur Korrelation der Objektdaten des Objektes (12, 14, 48) eine Breite (60) und eine Tiefe (62) des Objektes (12, 14, 48) bestimmbar macht.
10. Fahrassistenzsystem gemäß den beiden vorhergehenden Ansprüchen, dadurch
gekennzeichnet, dass die Komponente zur Korrelation der Objektdaten des Objektes (12, 14, 48) mit einer Frontkamera (34), einer ersten und einer zweiten Seitenkamera (38, 42) und einer Heckkamera (44) eines Surround View Systems oder eines Bird's Eye View Systems Daten austauscht.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102012200135.2 | 2012-01-05 | ||
DE102012200135A DE102012200135A1 (de) | 2012-01-05 | 2012-01-05 | Verfahren zu bildbasierenden Detektionen von Objekten |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2013102529A1 true WO2013102529A1 (de) | 2013-07-11 |
Family
ID=47594613
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/EP2012/074647 WO2013102529A1 (de) | 2012-01-05 | 2012-12-06 | Verfahren zur bildbasierten detektion von objekten |
Country Status (2)
Country | Link |
---|---|
DE (1) | DE102012200135A1 (de) |
WO (1) | WO2013102529A1 (de) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016117518A1 (de) | 2016-09-16 | 2018-03-22 | Connaught Electronics Ltd. | Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19640938A1 (de) | 1996-10-04 | 1998-04-09 | Bosch Gmbh Robert | Anordnung und Verfahren zur Überwachung von Verkehrsflächen |
DE19744694A1 (de) | 1997-10-10 | 1999-04-15 | Bosch Gmbh Robert | Videobewegungsmeldeeinrichtung |
DE10131196A1 (de) | 2001-06-28 | 2003-01-16 | Bosch Gmbh Robert | Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen |
US20070198189A1 (en) * | 2005-11-10 | 2007-08-23 | Valeo Vision | Method for evaluation, by motor vehicle, of the characteristics of a front element |
US20100148977A1 (en) * | 2008-12-15 | 2010-06-17 | Industrial Technology Research Institute | Localization and detection system applying sensors and method thereof |
US20100149333A1 (en) * | 2008-12-15 | 2010-06-17 | Sanyo Electric Co., Ltd. | Obstacle sensing apparatus |
-
2012
- 2012-01-05 DE DE102012200135A patent/DE102012200135A1/de active Pending
- 2012-12-06 WO PCT/EP2012/074647 patent/WO2013102529A1/de active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19640938A1 (de) | 1996-10-04 | 1998-04-09 | Bosch Gmbh Robert | Anordnung und Verfahren zur Überwachung von Verkehrsflächen |
DE19744694A1 (de) | 1997-10-10 | 1999-04-15 | Bosch Gmbh Robert | Videobewegungsmeldeeinrichtung |
DE10131196A1 (de) | 2001-06-28 | 2003-01-16 | Bosch Gmbh Robert | Vorrichtung zur Detektion von Gegenständen, Personen oder dergleichen |
US20070198189A1 (en) * | 2005-11-10 | 2007-08-23 | Valeo Vision | Method for evaluation, by motor vehicle, of the characteristics of a front element |
US20100148977A1 (en) * | 2008-12-15 | 2010-06-17 | Industrial Technology Research Institute | Localization and detection system applying sensors and method thereof |
US20100149333A1 (en) * | 2008-12-15 | 2010-06-17 | Sanyo Electric Co., Ltd. | Obstacle sensing apparatus |
Also Published As
Publication number | Publication date |
---|---|
DE102012200135A1 (de) | 2013-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006003538B3 (de) | Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive | |
EP3157786B1 (de) | Fahrzeug mit umfeldüberwachungseinrichtung sowie verfahren zum betreiben einer solchen überwachungseinrichtung | |
DE102016114535B4 (de) | Wegbestimmung für automatisierte Fahrzeuge | |
EP2623374B1 (de) | Sichtsystem für Nutzfahrzeuge zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels | |
EP3292510B1 (de) | Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnreflexionen | |
DE102012221563B4 (de) | Funktionsdiagnose und validierung eines fahrzeugbasierten bildgebungssystems | |
DE102011080702B3 (de) | Objekterfassungsvorrichtung für ein Fahrzeug, Fahrzeug mit einer derartigen Objekterfassungsvorrichtung | |
EP2200881B1 (de) | Verfahren zur schätzung der relativbewegung von video-objekten und fahrerassistenzsystem für kraftfahrzeuge | |
DE102012112104A1 (de) | Verfahren und vorrichtung zur befahrbarkeitsanalyse | |
DE102014205078A1 (de) | System zur Betrachtung eines Bordsteines in einem vorderen Bereich auf Basis von zwei Kameras | |
DE102017108254B4 (de) | Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem | |
DE112014007047B4 (de) | Fahrzeugkamera-Steuervorrichtung | |
EP3117399B1 (de) | Verfahren zum zusammenfügen von einzelbildern, die von einem kamerasystem aus unterschiedlichen positionen aufgenommen wurden, zu einem gemeinsamen bild | |
DE102012223481A1 (de) | Vorrichtung und Verfahren zum Verfolgen der Position eines peripheren Fahrzeugs | |
EP3409541B1 (de) | Vorrichtung zur fahrschlauchabsicherung | |
DE102013012930A1 (de) | Verfahren zum Bestimmen eines aktuellen Abstands und/oder einer aktuellen Geschwindigkeit eines Zielobjekts anhand eines Referenzpunkts in einem Kamerabild, Kamerasystem und Kraftfahrzeug | |
DE102012023060A1 (de) | Verfahren zum Detektieren eines beweglichen Objekts mithilfe eines Histogramms anhand von Bildern einer Kamera und Kamerasystem für ein Kraftfahrzeug | |
DE102010013093A1 (de) | Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs | |
EP3106349B1 (de) | Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels | |
DE102013012778A1 (de) | Verfahren zum Detektieren eines sich bewegenden Fußgängers anhand von charakteristischen Merkmalen und optischen Flussvektoren eines Bilds, Kamerasystem und Kraftfahrzeug | |
DE102009026091A1 (de) | Verfahren und System zur Überwachung eines dreidimensionalen Raumbereichs mit mehreren Kameras | |
DE102011082881A1 (de) | Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information | |
DE10049366A1 (de) | Verfahren zum Überwachen eines Sicherheitsbereichs und entsprechendes System | |
EP3833576B1 (de) | Kameraüberwachungssystem | |
DE102008041761A1 (de) | Verfahren und Vorrichtung zur Ermittlung eines relativen Gierwinkels |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 12816462 Country of ref document: EP Kind code of ref document: A1 |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 12816462 Country of ref document: EP Kind code of ref document: A1 |