DE10343406A1 - Entfernungsbestimmung eines Objektes - Google Patents
Entfernungsbestimmung eines Objektes Download PDFInfo
- Publication number
- DE10343406A1 DE10343406A1 DE10343406A DE10343406A DE10343406A1 DE 10343406 A1 DE10343406 A1 DE 10343406A1 DE 10343406 A DE10343406 A DE 10343406A DE 10343406 A DE10343406 A DE 10343406A DE 10343406 A1 DE10343406 A1 DE 10343406A1
- Authority
- DE
- Germany
- Prior art keywords
- camera
- image
- video signal
- scene
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000000007 visual effect Effects 0.000 title abstract description 3
- 238000000926 separation method Methods 0.000 title abstract 2
- 238000005259 measurement Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 15
- 238000001454 recorded image Methods 0.000 claims abstract 2
- 230000003595 spectral effect Effects 0.000 claims description 29
- 230000009466 transformation Effects 0.000 claims description 18
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000005855 radiation Effects 0.000 description 8
- 230000004297 night vision Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/02—Details
- G01C3/06—Use of electric means to obtain final indication
- G01C3/08—Use of electric radiation detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/161—Decentralised systems, e.g. inter-vehicle communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Color Television Image Signal Generators (AREA)
- Measurement Of Optical Distance (AREA)
- Traffic Control Systems (AREA)
Abstract
Es wird eine Vorrichtung mit zwei Kameras (1; 2) beschrieben, von denen eine Kamera (1) im sichtbaren Spektralbereich empfindlich ist und eine zweite Kamera (2) im infraroten Spektralbereich empfindlich ist. Die Kameras (1; 2) sind in einem definierten Abstand (a) zueinander angeordnet, um Bilder einer gleichen, wenigstens ein Objekt (4) aufweisenden Szene (3) aufzunehmen. Weiter umfasst die Vorrichtung eine Triangulationseinrichtung (7), die eine Entfernung des Objekts (4) von den Kameras (1; 2) aus dem definierten Abstand (a) und den von den zwei Kameras (1; 2) aufgenommenen Bildern berechnet.
Description
- Bei der Erfindung handelt es sich um eine Vorrichtung mit zwei Kameras, von denen eine erste Kamera im sichtbaren Spektralbereich empfindlich ist und eine zweite Kamera im infraroten Spektralbereich empfindlich ist, und die in einem definierten Abstand zueinander angeordnet sind, um Bilder einer gleichen, wenigstens ein Objekt aufweisenden Szene aufzunehmen. Die Erfindung betrifft darüber hinaus ein Verfahren zur Entfernungsbestimmung eines Objekts.
- Heutzutage werden in Kraftfahrzeugen verstärkt Kameras eingesetzt, die im infraroten Spektralbereich empfindlich sind, um einem Fahrzeuglenker eine Orientierung bei Dunkelheit zu ermöglichen und das Erkennen von Objekten zu erleichtern. Dabei wird in einem infraroten Spektralbereich ein Bild einer die Objekte aufweisenden Szene aufgenommen und aus dem Bild ein Anzeigebild der Szene abgeleitet, welches auf einem Anzeigeschirm dargestellt wird. Weil es sich bei der Strahlung im infraroten Wellenlängenbereich um Wärmestrahlung handelt, entspricht eine Helligkeitsverteilung im Anzeigebild der Szene einer Temperaturverteilung in der Szene, so dass beispielsweise eine auf Objekten der Szene wie Schildern und Hinweistafeln aufgebrachte Schrift im Anzeigebild nicht wiedergegeben wird.
- Um diesen Nachteil zu beheben, ist es beispielsweise aus den
US 5,100,558 undUS 6, 150,930 bekannt, Kameras, die im infraroten Spektralbereich empfindlich sind, mit Kameras zu kom binieren, die im sichtbaren Spektralbereich empfindlich sind. Das von der im infraroten Spektralbereich empfindlichen Kamera aufgenommene Bild der Szene wird dabei mit einem von der im sichtbaren Spektralbereich empfindlichen Kamera aufgenommenen Bild der Szene überlagert, so dass im Anzeigebild der Szene farbliche Unterschiede von im sichtbaren Spektralbereich strahlenden Bereichen der Objekte sichtbar werden. In von solchen Farbnachtsichtgeräten erzeugten Anzeigebildern lassen sich beispielsweise die Farben von Ampeln erkennen, Frontscheinwerfer entgegenkommender Kraftfahrzeuge von Heckscheinwerfern und Bremslichtern vorausfahrender Kraftfahrzeuge unterscheiden oder Schriften auf Hinweistafeln bei Dunkelheit lesbar machen. - Bei dem in der
US 5,001,558 offenbarten Farbnachtsichtgerät nimmt die Infrarotkamera ein monochromatisches Bild einer Szene auf. Die Farbkamera nimmt ein Bild derselben Szene im sichtbaren Spektralbereich auf. Beide Bilder werden überlagert, und diese Überlagerung wird einem Anzeigeschirm zugeführt, der ein Anzeigebild der Szene als Überlagerung der beiden Bilder wiedergibt. Die Anordnung ist derart, dass zwischen beiden Kameras ein Spiegel angeordnet ist, der reflektiv für Strahlung im sichtbaren Spektralbereich und durchlässig für Strahlung im infraroten Spektralbereich ist. Die vor dem Spiegel angeordnete Farbkamera nimmt vom Spiegel reflektierte sichtbare Strahlung auf, während die hinter dem Spiegel angeordnete Infrarotkamera vom Spiegel durchgelassene infrarote Strahlung aufnimmt. Dadurch ist gewährleistet, dass beide Kameras jeweils ein Bild derselben Szene aufnehmen. - Ein weiteres Farbnachtsichtgerät offenbart die
US 6,150,930 . In dieser Schrift umfasst das Farbnachtsichtgerät lediglich eine Kamera, die jedoch mit unterschiedlichen Typen von Sensoren bestückt ist. So ist ein erster Typ von Sensoren sensitiv für infrarote Strahlung und ein zweiter Typ von Sensoren ist sensitiv für Strahlung im sichtbaren Spektralbereich. Mit dieser Kamera lassen sich zwei Bilder derselben Szene erzeugen, von denen eines im infraroten Spektralbereich aufgenommen wird und das zweite im sichtbaren Spektralbereich. Beide Bilder werden zu einem Anzeigebild der Szene kombiniert, das auf einem Anzeigeschirm dargestellt wird. - Neben infraroten Kameras oder Farbnachtsichtgeräten sind in heutigen Kraftfahrzeugen auch Kollisionsschutzvorrichtungen bekannt. Diese arbeiten beispielsweise mit einem Radarsensor, um die Distanz zu einem vorausfahrenden Fahrzeug oder zu einem in Fahrtrichtung des Kraftfahrzeuges auftretenden Objektes zu bestimmen. Verringert sich die Distanz unter einen vorgegebenen Grenzwert, wird das Kraftfahrzeug automatisch leicht abgebremst. Vergrößert sie sich über den Grenzwert, wird das Kraftfahrzeug beschleunigt. Alternativ dazu kann ein akustisches Warnsignal ausgelöst werden, das einem Lenker anzeigt, wann er stark bremsen sollte.
- Im Hinblick auf generelle Bestrebungen einer Gewichtsreduktion bei Kraftfahrzeugen, die sich unter anderem günstig auf den Kraftstoffverbrauch auswirkt, sowie auf die Kostenersparnis, ist es wünschenswert, bestehende Einrichtungen in Kraftfahrzeugen derart zu vereinfachen, dass auf Komponenten möglichst verzichtet werden kann.
- Es ist daher Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zur Entfernungsbestimmung eines Objekts zu schaffen, welche in einem Kraftfahrzeug, das mit einem Nachtsichtgerät und einem Kollisionsschutzsystem bestückt ist, zu einer Einsparung von Komponenten führt.
- Gelöst wird diese Aufgabe durch eine Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch 11.
- Bei der Erfindung werden mit einer einzigen Vorrichtung zwei Bilder derselben Szene aufgenommen, eines im sichtbaren Spektralbereich, das zweite im infraroten Spektralbereich, sowie ohne zusätzliche Aufwendungen aus den Bildern eine Entfernung des Objekts in der Szene bestimmt. Die ermittelte Entfernung lässt sich für geeignete Zwecke verwenden, wie beispielsweise für eine Kollisionsschutzvorrichtung. Somit entfällt bei bekannten Kollisionsschutzvorrichtungen die Notwendigkeit eines Entfernungssensors wie z.B. eines Radarsensors. Mit den in den obengenannten Schriften beschriebenen Vorrichtungen lassen sich Entfernung von Objekten deshalb nicht bestimmen, weil jeweils beide Kameras die Szene aus demselben Blickwinkel aufnehmen, so dass der zur Entfernungsbestimmung benötigte definierte Abstand zwischen den Kameras fehlt. Für ein Fahrzeug mit einer solchen Vorrichtung ist ein zusätzlicher Entfernungssensor zum Betrieb einer Kollisionsschutzvorrichtung unerlässlich. Gegenüber der
US 5,001,558 hat die Erfindung den weiteren Vorteil, dass auch der Spiegel entfällt, was hinsichtlich notwendiger Justagearbeiten von Spiegel und Kameras und der Bruchgefahr beim Spiegel einen zusätzlichen Vorteil darstellt. Weil mit der erfindungsgemäßen Vorrichtung Komponenten wie Entfernungssensoren bzw. Spiegel eingespart werden können, ist ein Kraftfahrzeug, das mit einer erfindungsgemäßen Vorrichtung ausgestattet ist, gegenüber bekannten Kraftfahrzeugen mit Farbnachtsichtgerät und Kollisionsschutzvorrichtung generell kostengünstiger und gewichtsärmer und somit kraftstoffsparender. - Die Vorrichtung kann weiter ein Wiedergabesystem mit Anzeigeschirm zur elektronischen Erzeugung und Anzeige eines aus einer Mehrzahl von Pixeln aufgebauten Anzeigebildes der Szene umfassen, wobei das Wiedergabesystem das Anzeigebild aus Bildsignalen ableitet, die von beiden Kameras geliefert werden. Sofern es sich bei der ersten Kamera um eine Farbkamera handelt, kann die Vorrichtung als Farbnachtsichtgerät eingesetzt werden, das wie oben beschrieben im Anzeigebild farbliche Unterschiede von im sichtbaren Spektralbereich strahlenden Bereichen der Szene sichtbar macht. Es wird dadurch auch ungeübten Personen ermöglicht, die Szene auf dem Anzeigebild ohne Schwierigkeit zu erkennen und sich bei Dunkelheit zu orientieren.
- Bevorzugt umfasst das Wiedergabesystem eine Kombinationseinrichtung zur Erzeugung eines kombinierten Videosignals und leitet das Anzeigebild aus dem kombinierten Videosignal ab, wobei das kombinierte Videosignal für jeden Pixel eine aus dem Bildsignal der zweiten Kamera abgeleitete Leuchtdichteinformation und eine aus dem Bildsignal der ersten Kamera abgeleitete Farbartinformation umfasst. Eine solche Kombination kann mittels einfacher Schaltungen bewerkstelligt werden.
- Die erste Kamera kann als das Bildsignal ein mehrkomponentiges Farbvideosignal liefern, bei dem eine der Komponenten eine Leuchtdichteinformation für jeden Pixel ist. Dies entspricht der bekannten Darstellung des Pixels im YUV-Modell.
- Alternativ dazu kann die erste Kamera Sensoren, die jeweils in einem roten, einem grünen bzw. einem blauen Wellenlängenbereich empfindlich sind, umfassen, was dem bekannten RGB-Aufnahmeverfahren entspricht. Zusätzlich kann die erste Kamera eine Transformationsmatrix umfassen, die von den Sensoren gelieferte Signale in das mehrkomponentige Farbvideosignal transformiert, bei dem eine der Komponenten eine Leuchtdichteinformation für jeden Pixel ist. In einem solchen Fall kann für das Wiedergabesystem eine Rücktransformationsmatrix vorgesehen sein, die das mehrkomponentige Farbvideosignal in ein zweites Farbvideosignal rücktransformiert, das die Helligkeit jedes Pixels in einem roten, einem grünen und einem blauen Wellenlängenbereich repräsentiert, und das Anzeigebild aus dem zweiten Farbvideosignal ableitet.
- Grundsätzlich kann von dem Wiedergabesystem auch ein räumliches Bild des Objekts erzeugt werden.
- Beim erfindungsgemäßen Verfahren kann das Objekt in den beiden Bildern dadurch erkannt werden, dass in den von den bei den Kameras aufgenommenen Bildern der Szene gemeinsame Merkmale aufgefunden werden.
- Das mit der ersten Kamera aufgenommene Bild der Szene kann durch ein mehrkomponentiges Farbvideosignal repräsentiert sein, wobei wenigstens eine Komponente des mehrkomponentigen Farbvideosignals zum Auffinden der gemeinsamen Merkmale mit dem von der zweiten Kamera aufgenommenen Bild verglichen werden kann. Ein solches mehrkomponentiges Farbvideosignal kann das Bild der Szene beispielsweise nach dem bekannten RGB-Modell in einem roten, einem grünen und einem blauen Spektralbereich repräsentieren. Dann ist es möglich, für den Vergleich mit dem von der zweiten Kamera aufgenommenen Bild nur eine Repräsentation des Bildes in entweder dem roten oder dem grünen oder dem blauen Spektralbereich heranzuziehen. Es können aber auch jeweils zwei oder alle drei Repräsentationen, also das komplette mehrkomponentige Farbvideosignal, mit dem von der zweiten Kamera aufgenommenen Bild verglichen werden. Entsprechendes ist für ein mehrkomponentiges Farbvideosignal nach dem YUV-Modell möglich, dessen Komponenten eine Leuchtdichtekomponente Y und zwei Farbartkomponenten U und V darstellen, und das sich durch eine Transformation aus einem mehrkomponentigen Farbvideosignal nach dem RGB-Modell gewinnen läßt.
- Andererseits kann das mit der ersten Kamera aufgenommene Bild der Szene eine Leuchtdichteninformation der Szene wiedergeben, und dieses Bild kann nun zum Auffinden der gemeinsamen Merkmale mit dem von der zweiten Kamera aufgenommenen Bild verglichen werden. Dann muss es sich bei der ersten Kamera nicht notwendigerweise um eine Farbkamera handeln; es kann auch eine Schwarz-Weiss-Kamera als erste Kamera verwendet werden.
- Nachfolgend wird die Erfindung unter Zuhilfenahme einer figürlichen Darstellung näher erläutert.
- Es zeigt:
-
1 einen schematischen Aufbau einer Vorrichtung zur Ausführung des erfindungsgemäßen Verfahrens. - Eine in einem Kraftfahrzeug eingebaute Vorrichtung zur Ausführung des erfindungsgemäßen Verfahrens ist in
1 schematisch dargestellt. Die Vorrichtung umfasst eine erste Kamera1 und eine zweite Kamera2 , die in einem definierten Abstand a zueinander angeordnet sind. Beide Kameras1 ,2 sind auf eine Szene3 ausgerichtet, die ein Objekt4 , im vorliegenden Fall ein Fahrzeug, enthält, und nehmen jeweils ein Bild der Szene3 auf. Die erste Kamera1 ist im sichtbaren Spektralbereich empfindlich, die zweite Kamera2 ist im infraroten Spektralbereich empfindlich. Dabei umfasst die erste Kamera1 Sensoren5 , die jeweils in einem roten, einem grünen bzw. einem blauen Wellenlängenbereich empfindlich sind, und eine mit den Sensoren5 verbundene Transformationsmatrix6 . Sowohl die erste Kamera1 als auch die zweite Kamera2 sind mit einer Triangulationseinrichtung7 verbunden. Sie stehen auch mit einem Wiedergabesystem8 in Verbindung. Das Wiedergabesystem8 umfasst eine Kombinationseinrichtung9 , die über eine Leitung10 mit der ersten Kamera1 und über eine Leitung11 mit der zweiten Kamera2 verbunden ist, eine mit der Kombinationsmatrix9 verbundene Rücktransformationsmatrix12 und einen Anzeigeschirm13 zum Anzeigen eines Anzeigebildes14 . Schließlich ist eine Kollisionsschutzeinrichtung15 des Fahrzeuges dargestellt. Diese steht mit der Triangulationseinrichtung7 in Verbindung. - Zur Durchführung des erfindungsgemäßen Verfahrens nimmt die zweite Kamera
2 im infraroten Wellenlängenbereich ein Bild der Szene3 auf. Sie erzeugt daraus ein YIR-Bildsignal und gibt es an die Leitung11 aus, über welche es einerseits zur Triangulationseinrichtung7 und andererseits zur Kombinationseinrichtung9 gelangt. - Die erste Kamera
1 nimmt mit den Sensoren5 im sichtbaren Spektralbereich ebenfalls ein Bild der Szene3 auf. Von den Sensoren5 werden der Transformationsmatrix6 nach dem RGB-Aufnahmeverfahren entsprechende Signale RGB des Bildes geliefert. Die Transformationsmatrix6 transformiert die Signale RGB in ein mehrkomponentiges Farbvideosignal YUV, wobei die Komponente Y des mehrkomponentigen Farbvideosignals YUV ein Luminanzsignal ist. Für diese Transformation wird die folgende Matrix-Multiplikation durchgeführt: - Das mehrkomponentige Farbvideosignal YUV verläßt die erste Kamera
1 über die Leitung10 und erreicht wie das YIR-Bildsignal einerseits die Triangulationseinrichtung7 und andererseits die Kombinationseinrichtung9 . - Die Kombinationseinrichtung
9 kombiniert das YIR-Bildsignal mit dem mehrkomponentigen Farbvideosignal YUV, indem sie das Luminanzsignal Y des mehrkomponentigen Farbvideosignals YUV durch das YIR-Bildsignal ersetzt. Durch die Ersetzung des Y-Signals im mehrkomponentigen Farbvideosignal YUV durch das YIR-Bildsignal wird ein kombiniertes Videosignal YIRUV erhalten. In diesem mehrkomponentigen Farbvideosignal ist die Helligkeit jedes Pixels durch YIR und sein Farbwert durch U und V definiert. Dieses YIR-Bildsignal wird von der Kombinationseinrichtung an die Rücktransformationsmatrix12 ausgegeben. - Bei der Rücktransformationsmatrix
12 handelt es sich um eine Einrichtung, welche eine zu der von der Transformationsmatrix6 der ersten Kamera1 durchgeführten Transformation inverse Transformation des Videosignals ausführt. Im allgemeinen wird diese Rücktransformation durch die folgende Matrix-Multiplikation bewerkstelligt: - Das heißt, die Rücktransformationsmatrix
12 wandelt im vorliegenden Fall Signale vom YUV-Modell ins RGB-Modell um. Das kombinierte Videosignal YIRUV wird daher in der Rücktransformationsmatrix12 in ein zweites mehrkomponentiges Farbvideosignal R'G'B' umgewandelt und schließlich an den Anzeigeschirm13 ausgegeben. Vom Anzeigeschirm13 wird ein aus dem zweiten mehrkomponentigen Farbvideosignal R'G'B' abgeleitetes und aus Pixeln aufgebautes Anzeigebild14 wiedergegeben, wobei die Pixel des Anzeigebildes14 mit einer durch das zweite mehrkomponentige Farbvideosignal R'G'B' repräsentierten Farbe dargestellt werden. - Neben der Generierung des Anzeigebildes
14 werden das von der ersten Kamera1 gelieferte mehrkomponentige Farbvideosignal YUV und das von der zweiten Kamera2 gelieferte YIR-Bildsignal zur Ermittlung einer Entfernung des Objekts4 von den Kameras1 ,2 verwendet. In der Triangulationseinrichtung7 werden das durch das mehrkomponentige Farbvideosignal YUV repräsentierte Bild und das durch das YIR-Bildsignal repräsentierte Bild miteinander verglichen. Dabei wird nach gemeinsamen Merkmalen in den Bildern gesucht. Anhand solcher Merkmale wird das Objekt4 in den jeweiligen Bildern der Szene3 identifiziert. Da die Bilder infolge des definierten Abstandes a der beiden Kameras1 ,2 eine Parallaxenverschiebung aufweisen, lässt sich durch ein bekanntes einfaches Triangulationsverfahren aus dem bekannten weil definierten Abstand a und der aus den die Bilder repräsentierenden Signalen ermittelten Parallaxenverschiebung eine Entfernung zwischen dem Objekt4 und den Kameras1 ,2 , respektive dem Kraftfahrzeug, bestimmen. - Die von den Sensoren
5 erzeugten Signale RGB repräsentieren drei Bilder der Szene3 , bei denen die Szene3 jeweils in ei nem roten, in einem grünen und einem blauen Spektralbareich abgebildet ist. Daher ist es auch möglich, alternativ zu oben jeweils eines der Signale R, G oder B mit dem YIR-Bildsignal zur Auffindung gemeinsamer Merkmale und zur Identifizierung des Objekts4 durch die Triangulationseinrichtung7 zu vergleichen und auf die soeben beschriebene Weise die Entfernung des Objekts4 zu den Kameras1 ,2 zu bestimmen. Es kann aber auch das durch alle drei Signale RGB repräsentierte Bild, bei dem das Bild im roten, das Bild im grünen und das Bild im blauen Spektralbereich gemeinsam zu einem Farbbild kombiniert sind, mit dem YIR-Bildsignal verglichen werden. - Die bestimmte Entfernung wird an die Kollisionsvorrichtung
15 übermittelt. Der Kollisionsvorrichtung15 ist ein Grenzwert für die Entfernung vorgegeben, den sie mit der von der Triangulationseinrichtung7 ermittelten Entfernung vergleicht. Unterschreitet die ermittelte Entfernung den Grenzwert, so veranlasst die Kollisionsvorrichtung15 eine entsprechend vorgegebene Reaktion. - Beispielsweise kann es sich bei dem Objekt
4 wie in1 dargestellt um ein vorausfahrendes Fahrzeug handeln. Wenn die Kollisionsvorrichtung15 feststellt, dass die Entfernung des vorausfahrenden Fahrzeugs den Grenzwert unterschreitet, kann sie als Reaktion darauf ein akustisches oder optisches Signal auslösen, das als Warnung für den Kraftfahrzeuglenker bestimmt ist. Das Signal kann dem Lenker anzeigen, wann er bremsen sollte. Es sind auch derartige Vorkehrungen möglich, bei denen die Kollisionsvorrichtung14 eigenmächtig die Kontrolle über das Kraftfahrzeug übernimmt. Diese kann von einem automatischen Abbremsen oder Beschleunigen zur automatischen Abstandhaltung bis zu automatischen Ausweichbewegungen des Kraftfahrzeuges oder einem Nothalt reichen. Ein Nothalt ist vor allem dann sinnvoll, wenn in Fahrtrichtung ein Objekt4 überraschend und gefährlich nahe vor dem Kraftfahrzeug auftaucht.
Claims (14)
- Vorrichtung mit zwei Kameras (
1 ;2 ), von denen eine erste Kamera (1 ) im sichtbaren Spektralbereich empfindlich ist und eine zweite Kamera (2 ) im infraroten Spektralbereich empfindlich ist, und die in einem definierten Abstand (a) zueinander angeordnet sind, um Bilder einer gleichen, wenigstens ein Objekt (4 ) aufweisenden Szene (3 ) aufzunehmen, dadurch gekennzeichnet, dass sie weiter eine Triangulationseinrichtung (7 ) umfasst, die eine Entfernung des Objekts (4 ) von den Kameras (1 ;2 ) aus dem definierten Abstand (a) und den von den zwei Kameras (1 ;2 ) aufgenommenen Bildern berechnet. - Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass sie ein Wiedergabesystem (
8 ) mit Anzeigeschirm (13 ) zur elektronischen Erzeugung und Anzeige eines aus einer Mehrzahl von Pixeln aufgebauten Anzeigebildes (14 ) der Szene (3 ) umfasst, wobei das Wiedergabesystem (8 ) das Anzeigebild (14 ) aus Bildsignalen (RGB; YUV; YIR) ableitet, die von beiden Kameras (1 ;2 ) geliefert werden. - Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die erste Kamera (
1 ) eine Farbkamera ist. - Vorrichtung nach Anspruch 2 und 3, dadurch gekennzeichnet, dass das Wiedergabesystem (
8 ) eine Kombinationseinrichtung (9 ) zur Erzeugung eines kombinierten Videosignals (YIRUV) umfasst und das Anzeigebild (14 ) aus dem kombinierten Videosignal (YIRUV) ableitet, wobei das kombinierte Videosignal (YIRUV) für jeden Pixel eine aus dem Bildsignal (YIR) der zweiten Kamera abgeleitete Leuchtdichteninformation und eine aus dem Bildsignal (RGB; YUV) der ersten Kamera abgeleitete Farbartinformation umfasst. - Vorrichtung nach Anspruch 4, dadurch gekennzeichnet, dass die erste Kamera (
1 ) als das Bildsignal (RGB; YUV) ein mehrkomponentiges Farbvideosignal (YUV) liefert, und dass eine der Komponenten (Y) eine Leuchtdichteninformation für jeden Pixel ist. - Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die erste Kamera (
1 ) Sensoren (5 ), die jeweils in einem roten, einem grünen bzw. einem blauen Wellenlängenbereich empfindlich sind, und eine Transformationsmatrix (6 ) umfasst, die von den Sensoren (5 ) gelieferte Signale (RGB) in das mehrkomponentige Farbvideosignal (YUV) transformiert. - Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, dass das Wiedergabesystem (
8 ) eine Rücktransformationsmatrix (12 ), die das mehrkomponentige Farbvideosignal (YIRUV) in ein zweites Farbvideosignal (R'G'B') rücktransformiert, das die Helligkeit jedes Pixels in einem roten, einem grünen und einem blauen Wellenlängenbereich repräsentiert, umfasst, und das Anzeigebild (14 ) von dem zweiten Farbvideosignal (R'G'B') ableitet. - Vorrichtung nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass das Wiedergabesystem (
8 ) ein räumliches Bild des Objekts (4 ) erzeugt. - Fahrzeug mit einer Vorrichtung nach einem der vorhergehenden Ansprüche.
- Fahrzeug nach Anspruch 9, dadurch gekennzeichnet, dass es eine automatische Kollisionsschutzvorrichtung (
15 ) umfasst, welche die von der Triangulationseinrichtung (7 ) berechnete Entfernung verwendet. - Verfahren zur Entfernungsbestimmung eines Objekts (
4 ), bei dem: (a) mit einer ersten Kamera (1 ) in einem sichtbaren Spektralbereich ein Bild einer das Objekt (4 ) aufweisenden Szene (3 ) aufgenommen wird; (b) mit einer in einem definierten Abstand (a) zur ersten Kamera (1 ) angeordneten zweiten Kamera (2 ) in einem infraroten Spektralbereich ein Bild derselben Szene (3 ) aufgenommen wird; und (c) aus dem definierten Abstand (a) und den von den beiden Kameras (1 ;2 ) aufgenommenen Bildern eine Entfernung des Objekts (4 ) von den Kameras (1 ;2 ) berechnet wird. - Verfahren nach Anspruch 11, dadurch gekennzeichnet, dass durch Auffinden gemeinsamer Merkmale in den von den beiden Kameras (
1 ;2 ) aufgenommenen Bildern der Szene (3 ) das Objekt (4 ) in den beiden Bildern erkannt wird. - Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das mit der ersten Kamera (
1 ) aufgenommene Bild durch ein mehrkomponentiges Farbvideosignal (RGB; YUV) repräsentiert wird, und wenigstens eine Komponente des mehrkomponentigen Farbvideosignals (RGB; YUV) zum Auffinden der gemeinsamen Merkmale mit dem von der zweiten Kamera (2 ) aufgenommenen Bild verglichen wird. - Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass das mit der ersten Kamera (
1 ) aufgenommene Bild der Szene (3 ) eine Leuchtdichteninformation (Y) der Szene (3 ) wiedergibt, und dieses Bild zum Auffinden der gemeinsamen Merkmale mit dem von der zweiten Kamera (2 ) aufgenommenen Bild verglichen wird.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10343406A DE10343406A1 (de) | 2003-09-19 | 2003-09-19 | Entfernungsbestimmung eines Objektes |
US10/572,662 US20060268115A1 (en) | 2003-09-19 | 2004-08-31 | Determining distance to an object |
JP2006526540A JP2007506074A (ja) | 2003-09-19 | 2004-08-31 | 物体までの距離の測定 |
PCT/EP2004/009678 WO2005038393A1 (de) | 2003-09-19 | 2004-08-31 | Entfernungsbestimmung eines objekts |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE10343406A DE10343406A1 (de) | 2003-09-19 | 2003-09-19 | Entfernungsbestimmung eines Objektes |
Publications (1)
Publication Number | Publication Date |
---|---|
DE10343406A1 true DE10343406A1 (de) | 2005-04-14 |
Family
ID=34305921
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10343406A Withdrawn DE10343406A1 (de) | 2003-09-19 | 2003-09-19 | Entfernungsbestimmung eines Objektes |
Country Status (4)
Country | Link |
---|---|
US (1) | US20060268115A1 (de) |
JP (1) | JP2007506074A (de) |
DE (1) | DE10343406A1 (de) |
WO (1) | WO2005038393A1 (de) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006055905A1 (de) * | 2006-11-27 | 2008-05-29 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug |
EP2036796A2 (de) * | 2007-09-17 | 2009-03-18 | Valeo Vision | Hilfsvorrichtung zum Steuern eines Kraftfahrzeugs, die ein Stereo-Bilderfassungssystem umfasst |
WO2009133095A1 (de) * | 2008-04-29 | 2009-11-05 | Robert Bosch Gmbh | Kamera und verfahren zum steuern einer kamera |
DE102013000261A1 (de) | 2013-01-10 | 2013-08-08 | Daimler Ag | Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens |
DE102008016766B4 (de) * | 2008-04-02 | 2016-07-21 | Sick Ag | Sicherheitskamera und Verfahren zur Detektion von Objekten |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8519837B2 (en) * | 2005-09-08 | 2013-08-27 | Johnson Controls Gmbh | Driver assistance device for a vehicle and a method for visualizing the surroundings of a vehicle |
US8368741B2 (en) * | 2007-06-27 | 2013-02-05 | General Instrument Corporation | Apparatus and system for improving image quality |
KR101182188B1 (ko) | 2009-11-13 | 2012-09-12 | 엄두간 | 적외선 센서 및 이를 이용한 감지 방법 |
DE112010005765B4 (de) | 2010-07-23 | 2016-06-16 | Toyota Jidosha Kabushiki Kaisha | Abstandsmessvorrichtung und Abstandsmessverfahren |
JP5354105B2 (ja) | 2010-07-23 | 2013-11-27 | トヨタ自動車株式会社 | 距離測定装置および距離測定方法 |
KR101184124B1 (ko) | 2011-10-31 | 2012-09-18 | 인하대학교 산학협력단 | 대향 카메라를 이용한 깊이감 측정 방법 및 장치 |
JP5951785B2 (ja) * | 2012-10-04 | 2016-07-13 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
JP2015232442A (ja) * | 2012-10-04 | 2015-12-24 | アルプス電気株式会社 | 画像処理装置及び車両前方監視装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001558A (en) * | 1985-06-11 | 1991-03-19 | General Motors Corporation | Night vision system with color video camera |
DE19801884A1 (de) * | 1998-01-20 | 1999-07-22 | Mannesmann Vdo Ag | Überwachungssystem für Fahrzeuge |
US6150930A (en) * | 1992-08-14 | 2000-11-21 | Texas Instruments Incorporated | Video equipment and method to assist motor vehicle operators |
DE19945588A1 (de) * | 1999-09-23 | 2001-04-19 | Bayerische Motoren Werke Ag | Sensoranordnung |
DE10251880A1 (de) * | 2001-11-09 | 2003-06-18 | Honda Motor Co Ltd | Bilderkennungsvorrichtung |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2887039B2 (ja) * | 1993-03-26 | 1999-04-26 | 三菱電機株式会社 | 車両周辺監視装置 |
JP4615139B2 (ja) * | 2001-03-30 | 2011-01-19 | 本田技研工業株式会社 | 車両の周辺監視装置 |
DE10207039A1 (de) * | 2002-02-20 | 2003-09-04 | Bayerische Motoren Werke Ag | Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriervorrichtung zur Kalibrierung der Vorrichtung |
-
2003
- 2003-09-19 DE DE10343406A patent/DE10343406A1/de not_active Withdrawn
-
2004
- 2004-08-31 JP JP2006526540A patent/JP2007506074A/ja not_active Abandoned
- 2004-08-31 WO PCT/EP2004/009678 patent/WO2005038393A1/de active Application Filing
- 2004-08-31 US US10/572,662 patent/US20060268115A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5001558A (en) * | 1985-06-11 | 1991-03-19 | General Motors Corporation | Night vision system with color video camera |
US6150930A (en) * | 1992-08-14 | 2000-11-21 | Texas Instruments Incorporated | Video equipment and method to assist motor vehicle operators |
DE19801884A1 (de) * | 1998-01-20 | 1999-07-22 | Mannesmann Vdo Ag | Überwachungssystem für Fahrzeuge |
DE19945588A1 (de) * | 1999-09-23 | 2001-04-19 | Bayerische Motoren Werke Ag | Sensoranordnung |
DE10251880A1 (de) * | 2001-11-09 | 2003-06-18 | Honda Motor Co Ltd | Bilderkennungsvorrichtung |
Non-Patent Citations (3)
Title |
---|
KOCH,T.,u.a.: Fusion von Bildmaterial aus untrechiedlichen spek- tralen Bereichen. 8.Workshop Farbbildverarbeitung, Ilmenau, 2002, (einseitiger Abstact aus Tagungsband. www.zsb-ilmenau.de. * |
MATSUMOTO,YOSHIO,et.al.: Real-time Color Stereo Vison System for a Mobile Robot based on Field Multiplexing. In: Proc.of IEEE Int.Conf. on Robotics and Automation,S.1934-1939,1997 * |
MATSUMOTO,YOSHIO,et.al.: Real-time Color Stereo Vison System for a Mobile Robot based on Field Multiplexing. In: Proc.of IEEE Int.Conf. on Robotics and Automation,S.1934-1939,1997; |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102006055905A1 (de) * | 2006-11-27 | 2008-05-29 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug |
DE102006055905B4 (de) * | 2006-11-27 | 2020-01-30 | Adc Automotive Distance Control Systems Gmbh | Verfahren zur Fahrzeugumfelderkennung und Vorrichtung zur Umfelderkennung in einem Kraftfahrzeug |
EP2036796A2 (de) * | 2007-09-17 | 2009-03-18 | Valeo Vision | Hilfsvorrichtung zum Steuern eines Kraftfahrzeugs, die ein Stereo-Bilderfassungssystem umfasst |
FR2921027A1 (fr) * | 2007-09-17 | 2009-03-20 | Valeo Vision Sa | Dispositif d'aide a la conduite pour vehicule automobile comportant un systeme de capture d'images stereoscopique |
EP2036796A3 (de) * | 2007-09-17 | 2011-04-27 | Valeo Vision | Hilfsvorrichtung zum Steuern eines Kraftfahrzeugs, die ein Stereo-Bilderfassungssystem umfasst |
US8305431B2 (en) | 2007-09-17 | 2012-11-06 | Valeo Vision | Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images |
DE102008016766B4 (de) * | 2008-04-02 | 2016-07-21 | Sick Ag | Sicherheitskamera und Verfahren zur Detektion von Objekten |
WO2009133095A1 (de) * | 2008-04-29 | 2009-11-05 | Robert Bosch Gmbh | Kamera und verfahren zum steuern einer kamera |
DE102013000261A1 (de) | 2013-01-10 | 2013-08-08 | Daimler Ag | Verfahren und Kamerasystem zum Abbilden einer Umgebung eines Kraftwagens |
Also Published As
Publication number | Publication date |
---|---|
JP2007506074A (ja) | 2007-03-15 |
US20060268115A1 (en) | 2006-11-30 |
WO2005038393A1 (de) | 2005-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2603402B1 (de) | Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem | |
EP1211132B1 (de) | Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs | |
DE102006003538B3 (de) | Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive | |
DE10304703B4 (de) | Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit umgebungsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds | |
DE102011010624B4 (de) | Anzeigevorrichtung für Sichtfelder eines Nutzfahrzeugs | |
DE19741896C2 (de) | Vorrichtung zur bildlichen Darstellung von Bereichen der Umgebung eines Kraftfahrzeugs | |
DE102015216285A1 (de) | Elektronische Steuereinheit und fahrzeuginternes Videosystem | |
DE102017005040A1 (de) | Anzeigeapparat für ein Fahrzeug, Verfahren zum Ausbilden eines virtuellen Bilds und Computerprogrammprodukt | |
DE10348109A1 (de) | Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung | |
DE102012100002A1 (de) | Rückfahrassistenzvorrichtung | |
DE202011005102U1 (de) | Optische Sensorsysteme für Automotive Anwendung | |
DE102013209418A1 (de) | Fahrzeugkollisionswarnsystem und -verfahren | |
DE102011077143A1 (de) | Fahrzeugkamerasystem und Verfahren zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung | |
DE10343406A1 (de) | Entfernungsbestimmung eines Objektes | |
DE112018000944T5 (de) | Fahrzeuganzeigevorrichtung | |
EP1339228B1 (de) | Verfahren und Vorrichtung zur Sichtbarmachung eines Ausschnitts der Umgebung eines Fahrzeugs sowie eine Kalibriereinheit zur Kalibrierung der Vorrichtung | |
DE102012018556B4 (de) | Assistenzsystem zur Ermöglichung einer erweiterten Vorausschau für nachfolgende Verkehrsteilnehmer | |
DE102011077398A1 (de) | Fahrzeugkamerasystem zur Bereitstellung eines lückenlosen Bildes der Fahrzeugumgebung und entsprechendes Verfahren | |
DE10227171B4 (de) | Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit abstandsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds | |
WO2005028256A2 (de) | Visualisierung des toten winkels hinter einer a- säule eines fahrzeugs | |
DE10329054A1 (de) | Kollisionsobjekt-Erkennungssystem | |
DE112018000948T5 (de) | Fahrzeuganzeigevorrichtung | |
DE10218175B4 (de) | Verfahren und Vorrichtung zur Sichtbarmachung der Umgebung eines Fahrzeugs mit fahrsituationsabhängiger Fusion eines Infrarot- und eines Visuell-Abbilds | |
DE112018000952T5 (de) | Fahrzeuganzeigevorrichtung | |
DE102007042966A1 (de) | Vorrichtung zur Darstellung der Information der Einparkhilfe eines Kraftfahrzeuges |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
OM8 | Search report available as to paragraph 43 lit. 1 sentence 1 patent law | ||
8127 | New person/name/address of the applicant |
Owner name: DAIMLERCHRYSLER AG, 70327 STUTTGART, DE |
|
8127 | New person/name/address of the applicant |
Owner name: DAIMLER AG, 70327 STUTTGART, DE |
|
8130 | Withdrawal |