DE10164516A1

DE10164516A1 - Elektronisches Fahrzeugrückblicksystem

Info

Publication number: DE10164516A1
Application number: DE10164516A
Authority: DE
Inventors: Johann Stark
Original assignee: Magna Auteca AG
Current assignee: Magna Auteca AG
Priority date: 2001-12-19
Filing date: 2001-12-19
Publication date: 2003-07-10
Also published as: WO2003051671A1; AU2002361009A1

Abstract

Elektronisches Fahrzeugrückblicksystem, umfassend Vorrichtung und Verfahren zur Bereitstellung einer rückwärtigen Panoramaanschicht mit mindestens zwei Videokameras, wobei Videokameras zueinander fest räumlich zugeordnet und in direkter Nähe zueinander positioniert sind und wobei digitale Bildverarbeitungsmittel die Videobilder derart zusammenfügen, daß ein nahtloses kontinuierliches und verzögerungsfreies Panoramabild des Fahrzeugrückraumes entsteht.

Description

Die Erfindung betrifft ein elektronisches Fahrzeugrückblicksystem, das aus mindestens zwei Videokameras Bildinformation auf eine Bildanzeigeeinheit übermittelt und eine Panoramaansicht des Fahrzeugrückraumes zur Verfügung stellt.

Bekannte Fahrzeugrückblicksysteme, die gewöhnlich aus einem linken und einem rechten Außenspiegel und einem Fahrzeuginnenspiegel bestehen, weisen verschiedene Nachteile auf: So ist die Sicht häufig beschränkt durch Passagiere auf den Rücksitzen des Fahrzeugs, im Falle eines üblichen Pkw durch die B- und C-Säulen des Fahrzeugs, oder durch hintere Nackenstützen. An prominenter Stelle steht hier der berüchtigte "tote Winkel".

Um solche durch Spiegelsysteme nicht oder nur sehr schwer einsehbare Bereiche dennoch einsehen zu können, werden Videoüberwachungssysteme eingesetzt, beispielsweise zur Überwachung des Rückraumes von Lastkraftwagen, wobei ein Videobild der nicht einsehbaren Stelle auf eine Anzeigeeinrichtung übertragen wird, die durch den Fahrer oder weitere Personen überwacht werden kann.

Diese Systeme weisen jedoch Nachteile auf: Sollen Bereiche in hoher Detailgenauigkeit dargestellt werden, so ist der darstellbare Blickwinkel und somit der darstellbare Bildbereich relativ gering. Wird der Blickwinkel der Kamera stark erweitert, wie etwa durch Einsatz eines "Fischauge"-Objektivs, so ist die Darstellung in den Randbereichen des Blickfeldes sehr detailarm.

Der Erfindung liegt die Aufgabe zugrunde, eine Vorrichtung und ein Verfahren zur Verfügung stellen, die ein Panoramagesamtbild des Fahrzeugrückraumes bereitstellen, das einen weiten Blickwinkel aufweist, also der gleichzeitig erfaßte Blickraum sehr groß ist und insbesondere die "toten Winkel" des Fahrzeugrückraumes erfaßt und dabei gleichzeitig in allen Bildbereichen eine hohe Detailgenauigkeit aufweist.

Diese Aufgabe wird erfindungsgemäß durch ein Fahrzeugrückblicksystem als Vorrichtung nach Anspruch 1 und ein Verfahren nach Anspruch 17 gelöst.

Durch die Verwendung zweier oder mehr Videokameras, die jeweils um dieselbe Achse zueinander gedreht sind, so daß der darzustellende Fahrzeugrückraum in benachbarten Bildern erfaßt wird, die sich jeweils überschneiden, wird ein weites Blickfeld erfaßt und dabei eine gleichmäßig gute Bildauflösung erzielt. Unter Videokamera ist vorliegend ein beliebiger Bildsensor, der beispielsweise mit einem Linsensystem ausgerüstet sein kann, zu verstehen.

Die vorgesehenen digitalen Bildverarbeitungsmittel erlauben es, aus diesen benachbarten und sich überschneidenden Videobildern ein Panorama-Gesamtbild zu erzeugen und auf der Bild-Anzeigeeinheit darzustellen, wobei das Panorama-Gesamtbild eine zeitkontinuierliche und quasi verzögerungsfreie Gesamtdarstellung des Geschehens im Fahrzeugrückraum ist. Durch diese Eigenschaften kann das System einen vollständigen Ersatz für konventionelle Fahrzeugrückblicksysteme darstellen, so daß nicht die nur die eingangs beschriebenen Nachteile beseitigt werden, sondern darüber hinaus bei der Formgestaltung des Fahrzeugs größere Freiheit zur Verfügung steht, so daß etwa durch verbesserte aerodynamische Eigenschaften der Kraftstoffverbrauch verringert werden kann. Ferner wird eine erheblich verbesserte Übersichtlichkeit dadurch erzielt, daß eine Darstellung als Gesamtbild vorliegt, die gegenüber einem konventionellen Fahrzeuginnenrückspiegel einen noch verbesserten Blickraum bereitstellt, und dabei gleichzeitig den Vorteil einer freien Plazierbarkeit der Bildanzeigeeinheit aufweist.

Dadurch, daß die Videokameras in fester räumlicher Zuordnung angeordnet sind, wird der erforderliche Rechenaufwand für die Bildverarbeitungsmittel entscheidend reduziert; das Gleiche gilt für das Merkmal, daß die Videokameras in direkter Nähe beieinander angeordnet sind, und daß die Videokameras jeweils um dieselbe Achse gedreht sind.

Dieser Umstand ist insbesondere von Wichtigkeit für die vorteilhaften Ausbildungen der Erfindung dahingehend, daß die Bildverarbeitungsmittel so ausgestaltet sind, daß sie die Einzelbilder der mechanisch fest gekoppelten Videokameras nahtlos zu einem Panoramabild aneinanderfügen. Das Gleiche gilt, wenn die Bildverarbeitungsmittel dahingehend vorteilhaft ausgestaltet sind, daß sie vor der Aneinanderfügung der Einzelbilder der Videokameras eine Korrektur der Bildverfälschungen der mechanisch fest gekoppelten Videokameras vornehmen. Diese Verfälschungen umfassen dabei zum einen kamerabedingte, beispielsweise Linsenverzerrungen, zum anderen anordnungsbedingte, beispielsweise Positionsverschiebungen.

Ferner ist die fest räumliche Zuordnung der Videokameras von Wichtigkeit, wenn die Bildverarbeitungsmittel dahingehend vorteilhaft weitergebildet sind, daß sie Mittel zur Kalibrierung des elektronischen Fahrzeugrückblicksystems aufweisen, d. h. Funktionen bereitstellen, um Objektpunkte des darzustellenden Bereiches zu Bildpunkten in der Darstellung fest zuzuordnen. Die Funktionalität zur Kalibrierung des Systems ist auch und besonders mit Blick auf die Alterungen der beteiligten Komponenten, insbesondere der Videokameras, bedeutsam und vorteilhaft, da eine Änderung der Eigenschaften der Komponenten zu einer veränderten Darstellungsgeometrie, d. h. zu einer veränderten Abbildung von Objektpunkten im darzustellenden Bereich zu Bildpunkten in der Darstellung, führt. Eine Kalibrierung, also eine Neuzuordnung von Objektpunkten zu Bildpunkten, gleicht diese, beispielsweise altersbedingten, Veränderungen aus.

Dadurch, daß in den Bildverarbeitungsmitteln Mittel zur Auswahl und/oder Vergrößerung von Ausschnitten des Gesamtbildes vorgesehen sind, also ein Bildausschnitt des Fahrzeugrückraumes ausgewählt und näher herangeholt werden kann aufgrund der durch die Bildverarbeitungsmittel bereitgestellten Funktionalität, kann auf mechanische Komponenten, wie sie etwa für eine Verstellung der Kameraposition und/oder ein Heranzoomen durch ein optisches Linsensystem benötigt werden, verzichtet werden.

Den Rechenaufwand für die Bildverarbeitungsmittel weiter reduzierend und somit besonders vorteilhaft ist es, die räumlich fest zugeordneten Kameras so zu drehen, daß die Überschneidungen der benachbarten Video-Einzelbilder minimal ist.

Im praktischen Einsatz erscheint es weiterhin besonders günstig, die Bildverarbeitungsmittel und/oder die Videokamera mit solchen Mitteln zu versehen, die das bereitgestellte Bild auf Umweltlichtverhältnisse, wie etwa Dämmerlicht, Tageslicht, oder auf Blendwirkung, wie sie z. B. durch sich von hinten annähernde Fahrzeuge mit eingeschaltetem Fernlicht entstehen kann, anzupassen. Dazu kann etwa ein sehr großer Dynamikbereich gehören, von über 100 dB, so daß bei sehr starker Helligkeit und/oder Dunkelheit stets gute Erfassungseigenschaften gewährleistet sind.

Eine vorteilhafte Weiterbildung des Fahrzeugrückblicksystems sieht vor, die Bildverarbeitungsmittel so auszugestalten, daß sie zusätzliche Informationen und/oder Bilder weiterer Videokameras, etwa spezielle Ansichten für das Rückwärts-Einparken, in die Gesamtdarstellung einblenden und/oder einbinden.

Im praktischen Einsatz eines solchen Fahrzeugrückblicksystems wird das System häufig kostensparend und die technische Realisierung vereinfachend als Subsystem eines übergreifenden Fahrzeugüberwachungs- oder Fahrzeugmultimediasystems sein.

Zur weiteren Ausgestaltung der Bildverarbeitungsmittel ist es kostengünstig und auch technisch vorteilhaft, in den Bildverarbeitungsmitteln erste Prozessormittel vorzusehen, die besonders geeignet sind, die Bilddaten rasch zu verarbeiten und somit die daten- und rechenintensiven Arbeiten auszuführen, und zweite Prozessormittel vorzusehen, die die übrigen Aufgaben, unter anderem auch das eigentliche Zusammenfügen der Bilder, aber auch Teile der oder die vollständige Benutzerinteraktion, ausführen. Besonders eignen sich zum Einsatz als erste Prozessormittel zur daten- und rechenintensiven Bildverarbeitung DSP-Prozessoren (Digital Signal Processing) und als zweites Prozessormittel aufgrund der hohen Verbreitung und einfachen Verfügbarkeit ein Standard-PC- Prozessor.

Um eine besonders geeignete Verbindung zwischen Videokameras, Bildverarbeitungsmitteln und Bildanzeigeeinheit bereitzustellen, eignet sich besonders ein zuverlässiger Hochgeschwindigkeitsdatenbus, der beispielsweise als FireWire- oder CameraLink-Bus ausgeführt sein kann, um den hohen Anforderungen an Verfügbarkeit und Darstellungsgeschwindigkeit, z. B. im Straßenverkehr, gerecht werden zu können.

Je nach Größe und Form des Kameragehäuses und/oder der Kamera, ist es zur Realisierung der Eigenschaft, daß die in fester räumlicher Zuordnung zueinander befindlichen Videokameras in direkter Nähe, also möglichst nahe beieinander angeordnet sind, besonders vorteilhaft, die beieinander angeordneten Kameras um dieselbe Achse zueinander vertikal zu verschieben, um die sie jeweils gedreht sind. Es wird dadurch eine Anordnung erreicht, in der die Kameras (quasi) übereinander liegen und dabei so zueinander gedreht sind, daß sich nur noch ein geringer Bildanteil der jeweiligen Kamerabilder überschneidet.

Gerade im Zusammenhang mit der vorbeschriebenen Vorrichtungen des Fahrzeugrückblicksystems entfaltet das Verfahren zur Bereitstellung der Panoramaansicht des Rückraumes seine Vorteile: Dadurch, daß ständig mindestens zwei Videobilder so erfaßt werden, daß die Perspektive der Bilder voneinander wie im Vorrichtungsteil beschrieben voneinander abweicht und sich dabei ein geringer Anteil der Bilder der Videokameras überlappt, werden die Bilddaten aus möglichst gleicher Blickposition in verschiedenen Blickrichtungen so gesammelt, daß sie mit möglichst geringem Aufwand im zweiten Verfahrensschritt vorverarbeitet werden, wobei die Vorverarbeitung eine Korrektur der jeweiligen kamerabedingten geometrischen Verzerrungen der Videobilder umfassen kann und/oder eine Zylinderprojektion der Videobilder, und daß in einem dritten Schritt die Videobilder derart zusammengefügt werden, so daß ein nahtloses kontinuierliches und verzögerungsfreies Echtzeit-Panoramabild aus den Videobildern zusammengesetzt wird und schließlich dargestellt wird.

Besonders vorteilhaft ist es, daß die digitale Vorverarbeitung der Videobilder beinhaltet, diejenigen Teile der einzelnen Videobilder zu identifizieren, die ein und dasselbe Objekt darstellen, und diese von in den jeweiligen Bildern unterschiedlichen Bildteilen, also solche, die nicht ein und dieselben Objekte darstellen, zu unterscheiden.

Es wird dadurch ermöglicht, die für die Bildverarbeitung daten- und rechenintensiven Bildteile von den weniger rechenintensiven Bildteilen zu separieren, so daß diese entsprechend diesen Eigenschaft weiterverarbeitet werden können, z. B. indem den sich überschneidenden Bildbereichen mehr Rechenkapazität oder Verarbeitungspriorität eingeräumt wird als den sich nicht überschneidenden.

Besonders vorteilhaft ist eine separate Weiterverarbeitung der sich überschneidenden Teile der Videobilder und der sich nicht überschneidenden Teile der Videobilder, wobei diese Bildteile später wieder zusammengefügt werden, wenn die sich nicht überschneidenden Teile einer festen Offset-Korrektur unterzogen werden, d. h. sie in vordefinierter Art und Weise entsprechend der festen Kameraanordnung korrigiert werden und nur die sich überschneidenden Bildinhalte einander passend zusammengefügt werden, z. B. indem die Bildinhalte durch Mustererkennung abgeschätzt werden, in Übereinstimmung gebracht werden und zusammengefügt werden.

Hier wird die Vorteilhaftigkeit einer separaten Weiterverarbeitung deutlich, denn es kann der benötigte Rechenaufwand deutlich vermindert werden, wenn nur die sich überschneidenden Bildinhalte dem letztgenannten rechenintensiven Prozeß unterzogen werden und die übrigen durch eine aufwandsarme Offset-Korrektur geführt werden.

Weiter kann der Rechenaufwand dadurch reduziert werden, daß das Verfahren auf zuvor berechnete Ergebnisse, quasi als Zwischenergebnis, in einer Look-up- Table zurückgreift und damit unnötige Neuberechnungen vermeidet. Diese zuvor berechneten Ergebnisse können etwa aus einem vorausgegangenen Kalibrierungsvorgang stammen.

Ferner kann die Vorverarbeitung, also das Erfassen des Bildes, die Korrektur der kamerabedingten Verzerrungen und die Zylinderprojektion, sowie die Identifizierung der sich überschneidenden Bildbereiche für verschiedene Kameras separat und zeitgleich durchgeführt werden, wodurch die Ergebnisse der Bildvorverarbeitung insgesamt schneller zur Verfügung gestellt werden können. Dabei ist erforderlich, daß die jeweiligen Bildvorverarbeitungsprozesse miteinander kommunizieren.

Insgesamt ist ein Vorteil der Verwendung von digitalen Bildverarbeitungsmitteln, respektive eines Verfahrens, welches die Videobilder digital vorverarbeitet, daß die Wahl des Bildausschnittes oder ein Vergrößern oder Verkleinern des dargestellten Bildes völlig auf elektronischem Wege, also durch die Mittel der digitalen Bildverarbeitung ohne mechanisch bewegte Teile, erfolgen kann. Ferner kann im Vergleich zu einem konventionellen Fahrzeugrückblicksystem zwischen einer spiegelverkehrten oder einer realitätstreuen Darstellung ausgewählt werden.

Um die Ausführbarkeit der Erfindung beispielhaft zu belegen, wird im Folgenden anhand der beigefügten Zeichnungen ein möglicher Aufbau beschrieben. Insbesondere jedoch für die industrielle Serienproduktion oder den breiten praktischen Einsatz sind alternative Ausführungsformen denkbar.

Es zeigt:
Fig. 1 eine Positionierung für die den Fahrzeugrückblick erfassenden zwei Videokameras und für die das Gesamtbild des Rückblicks darstellende Bildanzeigeeinrichtung (Display),
Fig. 2 die grundsätzliche Darstellung und Einteilung von Bereichen, die durch die Kameras erfaßt werden,
Fig. 3 die Darstellung der von den Kameras erfaßten Bereichen, wenn sie vorrichtungsgemäß winkel- und/oder höhenversetzt räumlich fest zugeordnet sind,
Fig. 4 eine schematische Darstellung eines möglichen Aufbaus des elektronischen Fahrzeugrückblicksystems,
Fig. 5 eine mögliche Variante des Verfahrens zur Erfassung der Videobilder, ihrer Verarbeitung und der Darstellung,
Fig. 6 eine Übersicht über die Bildverarbeitungsmittel im Zusammenhang mit dem Verfahren in einer möglichen Ausführung für die Serienproduktion.
Fig. 1 verdeutlicht den praktischen Einsatz des Fahrzeugrückblicksystems, wenn es in einem Personenkraftwagen 1 eingesetzt wird. Im Bereich der Heckscheibe 6 sind die Videokameras 2 und 3 positioniert. Dabei sind diese Kameras so ausgerichtet, daß sie den gesamten Rückraum 5 des Fahrzeugs 1 erfassen, und zwar inklusive der toten Winkel. Dazu sind die Kameras 2 und 3 winkel- und/oder höhenversetzt zueinander angeordnet. Die Bildinformation, die von im Fahrzeug befindlichen Bildverarbeitungsmitteln verarbeitet und zu einem Gesamtpanoramabild zusammengesetzt werden, werden auf einer Bildanzeigeeinheit 4, die sich in dem vom Fahrer gut einsehbaren Bereich 7 befindet, dargestellt. Die Situation im Fahrzeugrückraum 5 wird dabei in der Anzeigeeinrichtung 4 frei von Verzerrungen und ohne wahrnehmbare Verzögerungen flüssig dargestellt. Eine fließende transversale Bewegung durch den Fahrzeugrückraum 5, also quer zur Ausrichtung des Fahrzeugs, wird auf der Anzeigevorrichtung 4 als ebenso kontinuierliche Bewegung nahtlos dargestellt, auch und gerade wenn sie vom Blickbereich der Kamera 2 in den Blickbereich der Kamera 3 wechselt.
Kommt es im Fahrzeugrückraum 5 zu Veränderungen der Helligkeitsverhältnisse, in Dämmerung oder in Blendsituationen durch Scheinwerfer anderer Fahrzeuge, so wird die Darstellung 4 automatisch den Lichtverhältnissen angepaßt.
Die Kameras 2 und 3 sind dabei fest räumlich einander zugeordnet, d. h. im laufenden Betrieb unbeweglich fixiert. Dies erlaubt die Kalibrierung des Fahrzeugrückblicksystems, das bedeutet, das System so zu justieren, daß eine feste Zuordnung von Objektpunkten im darzustellenden Fahrzeugrückraum 5 zu Bildpunkten in der Darstellung auf der Anzeigeeinheit 4 erreicht werden kann. Eine solche Kalibrierung ist, ähnlich wie bei der Scheinwerfereinstellung eines Kraftfahrzeuges, durch die Verwendung einer hierfür vorgesehenen gleichmäßig gemusterten Tafel im Fahrzeugrückbereich 5 möglich.
Soll aus dem Fahrzeugrückbereich 5 ein bestimmter Bereich zur Darstellung auf der Anzeigeeinheit 4 ausgewählt werden, gleichsam dem Verstellen des Rückspiegels in konventionellen Fahrzeugrückblicksystemen, so geschieht das durch die in Fig. 1 nicht näher dargestellten Bildverarbeitungsmittel unter Verzicht auf mechanisch bewegte Teile. Ebenso kann ein Teil der im Fahrzeugrückraum 5 befindlichen Szenerie herangezoomt oder auch verkleinert werden. Auch hier kann dank der Bildverarbeitungsmittel auf mechanisch bewegte Teile verzichtet werden. Die Darstellung des Panorama- Gesamtbildes auf der Anzeigeeinheit 4 erfolgt wahlweise spiegelverkehrt oder seitentreu. Neben der Darstellung des Gesamt-Panoramabildes können Animationen zur Information des Fahrers, Text und Symbole, eingeblendet werden, sowie zusätzliche Kameraperspektiven für bestimmte Fahrzustände. Für das Einparken kommt dabei der Bereich in Stoßstangennähe in Betracht, sowie der der Räder.
Fig. 2 zeigt, welche Bereiche bei der Erfassung eines Bildes durch zwei Videokameras 2 und 3 grundsätzlich entstehen. So existieren Bereiche 11 und 12, die jeweils nur durch eine Kamera 2 oder 3 erfaßt werden. Ein weiterer Bereich 10 wird von beiden Kameras 2 und 3 gleichzeitig erfaßt; dies ist der Bereich in dem sich die beiden Videobilder überschneiden, der Bildüberschneidungsbereich. Der Bereich 13 wird von keiner der beiden Kameras 2 und 3 erfaßt.
Um den Fahrzeugrückraum möglichst lückenlos darzustellen, werden die Videokameras 2 und 3 so positioniert, daß der Bereich 13, der von keiner der beiden Videokameras erfaßt wird, quasi nicht vorhanden ist. Ferner werden die Kameras 2 und 3 so positioniert, daß der Bereich 10, der von beiden Kameras erfaßt wird, klein ist, um für die digitale Bildverarbeitung Rechenaufwand zu vermindern und so eine sehr schnelle Darstellung, d. h. eine quasi verzögerungsfreie Echtzeitdarstellung, zu ermöglichen.
Eine solche Anordnung der Kameras 2 und 3 und die daraus resultierenden Bereiche 10, 11 und 12 sind in Fig. 3 dementsprechend dargestellt. Da die Kameras selbst eine gewisse räumliche Ausdehnung aufweisen, ist es erforderlich, die Kameras nicht nur um eine Achse auseinander zu drehen, sondern sie auch um dieselbe Achse zu verschieben, damit die Kameras in direkter Nähe beieinander angeordnet sein können. Dies vermindert den Rechenaufwand für die Bildverarbeitung abermals erheblich. Da die räumliche Zuordnung der Kameras 2 und 3 fest ist, müssen im Zuge der Bildverarbeitung nur die Bildinformationen aus dem Überschneidungsbereich 10 korreliert, d. h. in Übereinstimmung gebracht und zusammengefügt werden, während der Höhenversatz der Kameras zueinander im zuvor erwähnten Kalibrierungsvorgang fest berücksichtigt und eingestellt wird und deswegen aufwandsarm durch die Bildverarbeitungsmittel zu korrigieren ist.
Der grundsätzliche Aufbau des elektronischen Fahrzeugrückblicksystems ist in Fig. 4 dargestellt. Die Kameras 2 und 3 sind jeweils mit einer Einheit bestehend aus einem Prozessor für digitale Bildverarbeitung und Speicher 21 und 31 verbunden. Über den Fire- Wire bzw. IEEE 1394-Bus als zuverlässigen Hochgeschwindigkeitsbus kommunizieren diese Einheit 21 und 31 miteinander und mit weiterem Speicher und einer Grafikeinheit 41, die das Gesamtbild zusammengesetzt auf der Bildanzeigeeinheit 4 darstellt.
Fig. 5 stellt die Funktionsweise der Bildverarbeitung dar. Es werden zunächst die Bilder der Videokameras 2 und 3 erfaßt und vorverarbeitet. Diese Vorverarbeitung findet hier jeweils, wie schon in Fig. 4 dargestellt, für jede der Videokameras 2 und 3 auf einer separaten angeschlossenen Einheit 21 und 31 bestehend aus digitalen Signalverarbeitungsprozessor und Speicher, statt; für die Kamera 2 sind dies die Schritte 22, 23, 24, 25 und 26, für die Kamera 3 die Schritte 32, 33, 34, 35 und 36.
Zunächst werden die Videobilder der Kameras 2 und 3 in den Schritten 22 und 32 erfaßt. Durch die Kommunikation der Einheiten 31 und 21 in Fig. 4 ermöglicht, wird sogleich der Bildüberschneidungsbereich 10 identifiziert und dargestellt als ROI-Parameter (Region Of Interest) 50. Sodann wird in den Schritten 23 bzw. 33 eine Bereinigung der statischen Bildfehler durch Linsenverzerrungen oder Kamerageometrie vorgenommen. Dabei wird auf vormals berechnete Ergebnisse in Lookup-Tables 28 bzw. 38 Rückgriff genommen, um Rechenaufwand zu sparen. Im nächsten Schritt 24 bzw. 34 wird eine Zylinderprojektion der Videobilder vorgenommen.
Anhand der Bildüberlappungs-/Region-of-Interest- Parameter 50 wird nun zwischen dem Bildüberlappungsbereich 10 (Fig. 3) und den sich nicht überlappenden Bereichen 11 und 12 (Fig. 3) unterschieden und im separaten Wegen 25 bzw. 35 für den Überlappungsbereich und 26 bzw. 36 für den sich nicht überlappenden Bereich, weiterverarbeitet.
Die sich nicht überlappenden Bereiche werden durch eine einfache Festkorrektur in 27 bzw. 37 in ihrer Bildposition verschoben und stehen nach einer Speicherverschiebung zur Anzeige in 46 bereit.
Dies sich überlappenden Bildbereiche werden zunächst in 42 korreliert, in 43 durch Triangulation interpoliert, d. h. es werden die sich überschneidenden Bildinhalte schätzungsweise identifiziert, in 44 werden die gleichen Bildinhalte zugeordnet und versatzkorrigiert und in 45 zusammengefügt. Dabei bedienen sich die Schritte 43 bis 45 abermals einer Lookup-Table 51, die zuvor berechnete Ergebnisse enthält. Im Schritt 46 wird das entstandene Gesamtbild zur Darstellung auf der Bildanzeigeeinheit 4 gebracht.
Durch das Einbinden von Zusatzsensoren wie Infrarot oder Radar werden in nicht näher dargestellter Weise die Tiefenschärfe-Eigenschaften des elektronischen Fahrzeugrückblicksystems verbessert. Ferner wird vor dem Auslösen des Airbags während einer bestimmten Periode die Bildinformation abgespeichert und es können somit Bildsequenzen unmittelbar vor einem Unfall nachvollzogen werden.
Eine Übersicht über den Aufbau und den Ablauf der Bildverarbeitung in einer möglichen Ausführungsform, die für die industrielle Serienproduktion und/oder den breiten praktischen Einsatz geeignet ist, ist in Fig. 6 dargestellt. Das Bildverarbeitungssystem kann hier grob in die Subsysteme Bildvorverarbeitung 71, Bildhauptverarbeitung 72 und Anzeige und Kommunikation 73 unterteilt werden. Zum Subsystem für die Bildvorverarbeitung 71 zählen dabei die Bildgewinnungskomponenten 64 und die Skalierungskomponenten 65, zum Subsystem für die Bildhauptverarbeitung 72 zählen die Korrelationskomponente 66 und die Zusammenfügungskomponente 67, und zum Subsystem für Anzeige und Kommunikation 73 zählt die Anzeigekomponente 68, die Systemsteuerungskomponente 69 und die Netzwerkkommunikationskomponente 70.
Die Kommunikation der einzelnen Verarbeitungskomponenten findet über den zuverlässigen Hochgeschwindigkeitsbus 74 statt, hier gekennzeichnet durch die dicken Pfeilverbindungen, während die dünnen Pfeilverbindungen den Datenfluß schematisch darstellen.
In nicht näher dargestellter Weise werden die Bilder aus den Videokameras über den Datenfluß 61 und 62 an jeweils eine Komponente 64 zur Bildgewinnung und Lookup-Table-Verarbeitung übermittelt. Über den Hochgeschwindigkeitsbus 74, der als FireWire-Bus ausgeführt ist, werden die Daten an die Skalierungskomponente 65 übermittelt, die eine Bildgrößenanpassung vornimmt. Wieder über den Hochgeschwindigkeitsbus 74 wird der sich überschneidende Teil der Bilddaten an die Korrelationskomponente 66 übertragen, während der sich nicht überschneidende Teil der Bilddaten direkt über den Hochgeschwindigkeitsbus 74 an Zusammenfügungskomponente 67 übermittelt wird. Nach dem Korrelationsvorgang übermittelt die Korrelationskomponente 66 die Ergebnisdaten ebenfalls über den Bus 74 an die Zusammenfügungskomponente 67. Die von der Zusammenfügungskomponente 67 bearbeiteten Daten gelangen nun über den Bus 74 in die Anzeigekomponente 68, die die Bilddaten und Bilder weiterer Videokameras 63, deren Kommunikationsverbindung zum Bildverarbeitungssystem hier nicht näher dargestellt ist, zu dem Bild zusammenfügt und zur Anzeige bereitstellt, wie es schließlich auf der Bildanzeigeeinrichtung dargestellt werden soll.
Benutzereingaben und -einstellungen 77 werden von der Systemsteuerungskomponente 69 verarbeitet und über den Hochgeschwindigkeitsbus 74 an die Anzeigekomponente 68 weitergegeben, die über den Ausgangsdatenstrom 75 die eigentliche Bildanzeigeeinheit 4 in Fig. 1 ansteuert.
Ebenfalls über den Hochgeschwindigkeitsbus 74kommuniziert die Netzwerkkommunikationskomponente 70 mit den übrigen Komponenten des Bildverarbeitungssystems. Diese Netzwerkkommunikationskomponente schafft die Verbindung zum Fahrzeugbus, mit dem die Informationen des Datenstromes 76 ausgetauscht werden sollen.

Claims

1. Fahrzeugrückblicksystem zur Bereitstellung einer rückwärtigen (5) Panorama-Ansicht (4) mit mindestens zwei Videokameras (2, 3) und mindestens einer Bild-Anzeigeeinheit (4), wobei die Videokameras (2, 3) mit der Bild-Anzeigeeinheit (4) zur Übermittlung der Bildinformation verbunden sind, dadurch gekennzeichnet, dass mindestens zwei der Videokameras (2, 3) zueinander in fester räumlicher Zuordnung und in direkter Nähe beieinander angeordnet sind und dabei jeweils um dieselbe Achse so gedreht sind, dass sich die gelieferten Bilder überschneiden, und dass digitale Bildverarbeitungsmittel (21, 31, 41) zwischen diesen Videokameras einerseits und der Bild-Anzeigeeinheit (4) andererseits vorgesehen sind zur kontinuierlichen Erzeugung eines Gesamtbildes aus den Bildern dieser Videokameras.

2. Fahrzeugrückblicksystem nach Anspruch 1, dadurch gekennzeichnet, dass die beieinander angeordneten Kameras um dieselbe vorgenannte Achse zueinander verschoben sind.

3. Fahrzeugrückblicksystem nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das von den Bildverarbeitungsmitteln (21, 31, 41) erzeugte Gesamtbild (4) ein Panoramabild aus einer nahtlosen Aneinanderfügung der Bilder der fest räumlich zugeordneten Videokameras (2, 3) ist.

4. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das von den Bildverarbeitungsmitteln (21, 31, 41) erzeugte Gesamtbild eine verfälschungskorrigierte Aneinanderfügung der Bilder der fest räumlich zugeordneten Videokameras (2, 3) ist.

5. Fahrzeugrückblicksystem nach Anspruch 4, dadurch gekennzeichnet, dass in den Bildverarbeitungsmitteln (21, 31, 41) Mittel zur Kalibrierung des Systems in Verbindung mit der festen räumlichen Zuordnung der Videokameras (2, 3) vorgesehen sind.

6. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in den Bildverarbeitungsmitteln (21, 31, 41) Mittel zur Auswahl und/oder Vergrößerung von Ausschnitten des Gesamtbildes vorgesehen sind.

7. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die räumlich fest zugeordneten Kameras so gedreht sind, dass in Verbindung mit dem Öffnungswinkel dieser Kameras die Überschneidung der Bilder dieser Videokameras minimal ist.

8. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass Videokameras so positioniert werden, dass die bereitgestellte rückwärtige Panorama-Ansicht (4) eine gleichmäßig hohe Bildauflösung bezüglich des Darzustellenden (5) aufweist.

9. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass in den Bildverarbeitungsmitteln (21, 31, 41) und/oder in den Videokameras (2, 3) Mittel zur Anpassung des bereitgestellten Bildes auf Umweltlichtverhältnisse und Blendwirkung vorgesehen sind.

10. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass in den Bildverarbeitungsmitteln (21, 31, 41) Mittel zur Einbindung von zusätzlichen Informationen und/oder weiteren Bildern in die Darstellung (4) vorgesehen sind.

11. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 10, dadurch gekennzeichnet, dass das System und/oder die Bildverarbeitungsmittel (21, 31, 41) des Systems ein Subsystem eines weiter gefassten Überwachungs- und/oder Multimedia- Systems sind.

12. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 11, dadurch gekennzeichnet, dass die Bildverarbeitungsmittel (21, 31, 41) mindestens ein erstes Prozessormittel (21) umfassen zur schnellen digitalen Verarbeitung der Kamerabilder und mindestens ein zweites Prozessormittel umfassen zur Zusammenfügung der Kamerabilder.

13. Fahrzeugrückblicksystem nach Anspruch 12, dadurch gekennzeichnet, dass das erste Prozessormittel ein DSP-Prozessor ist.

14. Fahrzeugrückblicksystem nach einem der Ansprüche 12 oder 13, dadurch gekennzeichnet, dass das zweite Prozessormittel ein Standard-PC-Prozessor ist.

15. Fahrzeugrückblicksystem nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass die Verbindung zwischen Kameras und Bildverarbeitungsmitteln und Bild-Anzeigeeinheit als zuverlässiger Hochgeschwindigkeits-Datenbus ausgeführt ist.

16. Fahrzeugrückblicksystem nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Bild-Anzeigeeinheit (4) im Blickfeld des Fahrers positioniert ist und/oder das Bild in das Blickfeld des Fahrers projiziert.

17. Verfahren zur Bereitstellung einer rückwärtigen Panorama-Ansicht eines Fahrzeugs, dadurch gekennzeichnet, dass ständig mindestens zwei Videobilder so erfasst werden (22, 32), dass die Blickrichtung der Bilder voneinander abweicht und ein geringer Anteil der Bilder sich überschneidet, die Bilder digital vorverarbeitet (22 bis 26, 32 bis 36) werden und die Videobilder schließlich derart zusammengefügt (27, 37, 42 bis 46) werden, dass ein nahtloses, kontinuierliches und verzögerungsfreies Panoramabild aus den Videobildern entsteht.

18. Verfahren nach Anspruch 17, dadurch gekennzeichnet, dass die Vorverarbeitung eine Korrektur (23, 33) der kamerabedingten geometrischen Verzerrungen der Videobilder umfasst.

19. Verfahren nach einem der Ansprüche 17 oder 18, dadurch gekennzeichnet, dass die Vorverarbeitung eine Zylinderprojektion (24, 34) der Videobilder umfasst.

20. Verfahren nach einem der Ansprüche 17 bis 19, dadurch gekennzeichnet, dass die sich überschneidenden Teile der Videobilder identifiziert (50) und von den sich nicht überschneidenden Teilen unterschieden werden.

21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, dass die sich überschneidenden und die sich nicht überschneidenden Bildteile separat weiterverarbeitet werden (25, 26, 35, 36) und später wieder zusammengefügt (46) werden.

22. Verfahren nach Anspruch 21, dadurch gekennzeichnet, dass die sich nicht überschneidenden Teile entsprechend der festen Kameraanordnung einer festen Offset-Korrektur (27, 37) unterzogen werden.

23. Verfahren nach einem der Ansprüche 21 oder 22, dadurch gekennzeichnet, dass die sich überschneidenden Bildinhalte identifiziert (43) und in Übereinstimmung gebracht (44) werden und anschließend passend zusammengefügt werden (45).

24. Verfahren nach einem der Ansprüche 17 bis 23, dadurch gekennzeichnet, dass eine Tabelle (28, 38, 51) zur Verwendung bereits berechneter Ergebnisse verwendet wird.

25. Verfahren nach einem der Ansprüche 17 bis 24, dadurch gekennzeichnet, dass die Vorverarbeitung und/oder die Identifizierung der sich überschneidenden Bildbereiche der Videokameras je Kamera separat und zeitgleich durchgeführt wird und dass dabei die Vorgänge laufend miteinander abgestimmt werden.