DE4221015A1

DE4221015A1 - System und verfahren zur automatischen fahrzeugsteuerung

Info

Publication number: DE4221015A1
Application number: DE4221015A
Authority: DE
Inventors: Robert H Borcherts; Jacek Ludwik Jurzak; Shih-Ping Liou; Tse-Liang Alan Yeh
Original assignee: Zexel Corp
Current assignee: Bosch Corp
Priority date: 1991-06-28
Filing date: 1992-06-26
Publication date: 1993-01-14
Also published as: JPH0664548A; US5245422A

Description

Die vorliegende Erfindung betrifft ein System und ein Verfahren zur automatischen Fahrzeugsteuerung.

In der technischen Literatur wird vorgeschlagen, daß ein Steuer system zur automatischen Steuerung eines Fahrzeugs wünschenswert wäre. Repräsentative Beispiele für Versuche sind bekannt aus den europäischen Patentanmeldungen EP 0 35 456 A2 (Anmeldetag: 9. 8. 1989) und EP 03 61 914 A2 (Anmeldetag: 28. 9. 1989), Anmelder: Konda Giken Kogyo Kabushiki Kaisha, aus der japanischen Ge brauchsmusteranmeldung 62-97 935 (japanische Veröffentlichungsnr.: 1-1 06 910) und der europäischen Patentanmeldung EP 03 04 042 A2 (Anmeldetag: 17. 8. 1988), Anmelder: Kabushiki Kaisha Toshiba. Zusammengefaßt offenbaren diese Druckschriften allge mein Videoeingabevorrichtungen, wie eine Kamera, die am Fahr zeug befestigt ist und einen Computerprozessor zur Verarbeitung der Bilddaten und zum Liefern von Kontrollsignalen an Mechanis men zur Kontrolle der Fahrzeugsteuerung, zu verwenden.

In der Regel erscheinen die Vorschläge gemäß dem Stand der Technik nicht sehr kosteneffektiv zu sein. Daher ist ihre An wendung in einem Fahrzeug, das sich der normale Verbraucher leisten kann, nicht von Nutzen. Ein Kostenfaktor ist, daß die meisten Techniken die Videoeingabedaten in sehr komplizierter Weise verarbeiten. Die EP ′914 Anmeldung verwendet z. B. eine Hough-Transformation, um die Bilddaten auszuwerten. Diese Trans formationsarten sind relativ komplex und schwierig zu analy sieren, wobei teuere Computerausrüstung nötig ist, um die Aus wertung durchzuführen, da eine sehr große Datenmenge nötig ist, um diese Umwandlungen durchzuführen.

Die meisten der bekannten Systeme analysieren fortlaufend alle Videoeingabedaten, und die Mehrheit ihrer algorithmischen Para meter sind entweder fest oder vorbestimmt. Daher erhält der Prozessor die enorme Aufgabe, jene kleineren interessierende Gebiete zu isolieren, die die bedeutsamen Bilddatenpunkte bein halten. Die Systeme gemäß dem Stand der Technik benötigen normalerweise einen übermäßigen manuellen Aufwand bei der Fein abstimmung für jede besondere Verkehrsgegebenheit und -zustand. Außerdem ist es nicht sehr wahrscheinlich, daß der Prozessor die tatsächlichen Grenzlinien der Fahrbahn richtig ermittelt hat, die oft als Kriterium für die Kontrolle der Fahrzeugsteue rung angesehen werden. Der Grund dafür ist, daß es kein gutes vorbestimmtes Kriterium gibt zum Einleiten der Verarbeitung der Bilddaten, die nur mit relevanten Straßenmerkmalen gekoppelt sind. Daher werden oft die Leistungsfähigkeit und die Resourcen des Prozessors bei der Verarbeitung von Bilddaten aus Szenen, die nicht die Grenzlinien der Fahrbahn beinhalten, verschwendet. Außerdem beinhalten die Vorschläge nach dem Stand der Technik in der Regel keinen Mechanismus, der es dem Fahrzeugfahrer nur dann ermöglicht, das Kontrollsystem zur automatischen Steuerung zu betätigen, wenn die Verkehrssituation angemessen und sicher ist.

Es ist Aufgabe der Erfindung, ein System und ein Verfahren zur automatischen Fahrzeugsteuerung, das ein Fahrzeug innerhalb der Linien einer Straße automatisch steuert, zu ermöglichen, das den Aufbau des Systems vereinfachen und die Herstellungs kosten reduzieren kann.

Gemäß der vorliegenden Erfindung ist ein System zur automa tischen Steuerung eines Fahrzeugs innerhalb von Fahrbahnbe grenzungen vorgesehen, das aufweist: eine Videosensoreinrich tung, die am Fahrzeug zur Erzeugung einer Vielzahl von Video bildrahmen der Straße vor dem Fahrzeug angebracht ist; eine herkömmliche Dauergeschwindigkeitssteuereinheit zur Steuerung der Dauergeschwindigkeit des Fahrzeugs, wobei die Dauergeschwin digkeitssteuereinheit einen manuell betätigbaren Kontrollschal ter zur Aktivierung der Dauergeschwindigkeitssteuerung aufweist; eine Prozessoreinheit, die mit der Videosensoreinheit und auch mit dem Kontrollschalter für die Dauergeschwindigkeit verbunden ist zur Auswertung der Videobildrahmen; wobei die Prozessorein heit mit der Auswertung der Videobilder beginnt, wenn der Fahr zeugfahrer zumindest den Dauergeschwindigkeitskontrollschalter betätigt hat; und eine Fahrzeugsteuerungskontrolleinrichtung zum automatischen Kontrollieren der Steuerung des Fahrzeugs, um es innerhalb der Fahrbahnbegrenzungen der Straße als Funktion der Auswertung des Prozessors zu halten.

Ein manuell betätigbarer Fahrzeugsteuerungskontrollschalter ist ebenfalls vorzugsweise vorgesehen, um die automatische Steuerung des Fahrzeugs zu betätigen. Die Erfindung sieht vor teilhafterweise die Betätigung des Kontrollschalters für die Dauergeschwindigkeit und/oder des Fahrzeugsteuerungskontroll schalters für die Steuerung vor, um die Verarbeitung der Bild daten einzuleiten und eine automatische Steuerung des Fahrzeugs unter sicheren Verkehrs- und Straßenbedingungen zu gewährlei sten. Ein programmierbarer Prozessor führt die Bildbearbeitung durch und wertet die Daten aus, während die Fahrzeugsteuerungs kontrolleinheit die Fahrzeugsteuerung abhängig von der Prozes sorauswertung kontrolliert.

Außerdem ist gemäß der vorliegenden Erfindung ein Verfahren zur automatischen Fahrzeugsteuerung vorgesehen für eine auto matische Steuerung eines Fahrzeugs entlang einer Fahrbahnbe grenzung einer Straße, wobei das Verfahren umfaßt: Erzeugung einer Vielzahl von Videobildrahmen der Straße vor dem Fahrzeug; Steuerung der Fahrzeuggeschwindigkeit mit einer Geschwindig keitssteuereinheit, die einen manuell betätigbaren Schalter zum Aktivieren der Geschwindigkeitssteuerung aufweist; Verar beitung der Vielzahl von Videobildrahmen zur Auswertung und Erkennung der Fahrbahngrenzen der Straße vor dem Fahrzeug, basierend auf vorhergesagten möglichen Stellen der Fahrbahn grenzen im Bild; Bestimmen der Fahrbahnrichtung; Liefern einer Kontrollantwort, die das Fahrzeug in einer gewünschten Position innerhalb der Fahrbahn hält; Kontrolle der Fahrzeugsteuerung, um das Fahrzeug innerhalb der Fahrbahn zu halten als Funktion der Auswertung der Fahrbahngrenzen; und Starten der Verarbeitung der Videobilder und der automatischen Fahrzeugsteuerungskon trolle, wenn ein manuell betätigbarer Fahrzeugsteuerungskon trollschalter betätigt wird, während die Einheit zur Geschwin digkeitssteuerung in Betrieb ist.

Weitere Vorteile und Merkmale der vorliegenden Erfindung werden im weiteren in der Beschreibung und anhand der beiliegenden Zeichnung deutlich.

Es zeigt

Fig. 1 eine schematische Darstellung eines Fahrzeugs mit einem automatischen Fahrzeugsteuerungssystem gemäß einer Ausführung der vorliegenden Erfindung;

Fig. 2 eine schematische Darstellung, die die Erkennung der Fahrbahn der Straße vor dem Fahrzeug erläutert;

Fig. 3 ein Blockdiagramm, das die Systemanordnung der Aus führung der vorliegenden Erfindung zeigt;

Fig. 4A-4C den Betrieb der Ausführung der vorliegenden Erfindung;

Fig. 5 ein Flußdiagramm, das die Verarbeitungsschritte zeigt;

Fig. 6 schematisch die Erkennung und Vorhersage der Fahr bahngrenzen auf der Straße vor dem Fahrzeug;

Fig. 7A-7C weiterhin schematisch aufeinanderfolgend die Erkennung und Vorhersage der Fahrbahn auf der Straße;

Fig. 8 ein weiteres Schema der Erkennung und Vorhersage der Fahrbahn auf der Straße;

Fig. 9 ein Flußdiagramm der Fahrbahnerkennungsalgorithmen der Ausführung der vorliegenden Erfindung;

Fig. 10 ein Flußdiagramm der Operationen der Fahrbahnerken nungsalgorithmen; und

Fig. 11 ein Flußdiagramm, das weiter die Operationen der Fahrbahnerkennungsalgorithmen zeigt.

Fig. 1 zeigt ein Fahrzeug 10, das die wesentlichen Komponenten des automatischen Fahrzeugsteuerungssystems gemäß einer bevor zugten Ausführungsform der vorliegenden Erfindung hat. Eine Bildeingabeeinheit (Videoeingabeeinheit) 12 ist am vorderen Teil des Fahrzeugs 10 nahe der Rückspiegelanordnung angebracht. Eine solche Vorrichtung kann eine Videokamera der herkömmlichen Art oder eine Infrarotkamera sein und dient zur Überwachung der Straße und Verkehrsbedingungen vor dem Fahrzeug 10. Sie liefert eine Vielzahl von Videobildrahmen der Straße. Die Bild eingabeeinheit 12 kann in Verbindung mit dem Rückspiegel, ge trennt davon oder an jeder anderen beliebigen Stelle stehen, wo die Straße vor dem Fahrzeug 10 angemessen erfaßt wird.

Eine Bildprozessoreinheit 14 zur Bilddigitalisierung und -verar beitung kann einer von verschiedenen üblichen und im Handel erhältlichen programmierbaren Prozessoren zur Bildverarbeitung sein. Der Prozessor 14 zur Bilddigitalisierung und -verarbeitung besteht aus Hardware und Software. Die Hardware ist mit der Bildeingabeeinheit 12 verbunden und beinhaltet auch die gesamte Signalformungselektronik. Die Hardware beinhaltet Bildsignal digitalisierungschaltungen zum Umwandeln jedes Rahmens der analogen Videobilder in digitale Signale oder Impulse und Computerprozessoren zur digitalen Bildverarbeitung. Die Software kontrolliert die Bildeingabeeinheit 12, verarbeitet Bilder für die Bahnerkennung und beinhaltet eine Vorhersageeinheit zur Verbesserung der Effizienz der Bildverarbeitungsfunktion, indem sie das notwendige Suchgebiet vorgibt.

Ein Fahrzeuglenkstellglied 16 ist am Fahrzeug 10 befestigt. Das Fahrzeuglenkstellglied 16 kann entweder hydraulisch oder elektrisch arbeiten und stellt den Lenkwinkel der Räder, ent sprechend der manuellen Übersteuerung durch den Fahrer so ein, daß das Fahrzeug sich an der gewünschten Position innerhalb der Fahrbahn in der Straße befindet, wenn das automatische Fahrzeugsteuerungssystem betätigt wird.

Die Lenkkontrolleinheit 18 für das Fahrzeuglenkstellglied 16 ist ebenfalls am Fahrzeug 10 angebracht und kontrolliert das Fahrzeuglenkstellglied 16 so, daß die Fahrzeugbewegung dem gewünschten Weg folgt, der den von der Bilddigitalisierungs- und -verarbeitungseinheit 14 ausgegebenen Signalen entspricht.

Radwinkel- und Fahrerlenksensoren 20 sind am Fahrzeug 10 ange bracht. Der Radwinkelsensor mißt den Lenkwinkel. Der Fahrerlenk sensor mißt die Kraft, die der Fahrer auf das Lenkrad ausübt, um die Anstrengung des Fahrers beim Lenken zu erkennen. Die Erkennung einer bedeutenden Fahrerlenkung setzt vorübergehend das Stellglied 16 außer Kraft, so daß die automatische Fahrzeug steuerungsfunktion durch die herkömmliche Fahrersteuerung über nommen wird.

Eine herkömmliche Dauergeschwindigkeitssteuereinheit 22 wird verwendet, um eine automatische Dauergeschwindigkeitssteuerung des Fahrzeugs 10 sicherzustellen. Ein manuell betätigbarer Kontrollschalter 26 ist innerhalb des Fahrzeugs 10 angebracht, um die Dauergeschwindigkeitssteuereinheit 22 zu starten bzw. außer Betrieb zu setzen. Gewöhnlich wird die Dauergeschwindig keitssteuereinheit 22 gestartet, wenn das Fahrzeug sich unter geeigneten und sicheren Verkehrs- und Straßenbedingungen be findet.

Ein Fahrzeugsteuerungskontrollschalter 24 ist ebenfalls im Innern des Fahrzeugs 10 angebracht, mit dem der Fahrer das automatische Fahrzeugsteuerungssystem betätigt. Um das automa tische Fahrzeugsteuerungssystem in Betrieb zu setzen und das Fahrzeug 10 automatisch zu steuern, macht es das System notwen dig, daß sowohl der Dauergeschwindigkeitskontrollschalter 26 als auch der Fahrzeugsteuerungskontrollschalter 24 betätigt werden. Der Dauergeschwindigkeitskontrollschalter 26 und der Fahrzeugsteuerungskontrollschalter 24 können auch so angeordnet sein, daß wenn die Dauergeschwindigkeitssteuereinheit 22 zu nächst nicht aktiviert ist, die Betätigung des Steuerungskon trollschalters 24 auch gleichzeitig den Dauergeschwindigkeits kontrollschalter 26 betätigt, der dann auch die Dauergeschwin digkeitssteuereinheit 22 aktiviert, wodurch die Inbetriebnahme des automatischen Fahrzeugsteuerungssystems gewährleistet wird. Andererseits, wenn die Dauergeschwindigkeitssteuereinheit 22 oder der Schalter 26 außer Betrieb sind, sind sowohl der Steue rungskontrollschalter 24 und die automatische Steuerungskon trollfunktion außer Betrieb.

Zwei zusätzliche Systemkomponenten sind beinhaltet, deren Posi tionen im Fahrzeug 10 nicht von Bedeutung sind. Die erste ist ein Sensor und ein Interface 64 des Fahrzeugsystems, die einen üblichen Fahrzeuggeschwindigkeitssensor gekoppelt an die Stan dardfahrzeugausrüstung, ein Interface der Fahrzeugenergiever sorgung und ein Standardinterface für die Fahrzeugdauergeschwin digkeit beinhalten. Der Fahrzeuggeschwindigkeitssensor kann für Fahrzeugsteuerungskontrollzwecke verwendet werden, um die Kon trollreaktionszeit zu modifizieren, wobei der Betrieb des auto matischen Fahrzeugsteuerungssystems verbessert wird. Das Inter face zur Energieversorgung des Fahrzeugs und das Interface für die Fahrzeugdauergeschwindigkeitssteuerung können nötig sein, um das Videodauergeschwindigkeitssystem mit der Standardfahr zeugausrüstung zu verbinden, um sicherzustellen, daß beide Systeme richtig funktionieren.

Die zweite zusätzliche Systemkomponente ist eine Warnvorrichtung 54, die aus Audio-, visuellen und anderen sensorischen Inter aktionen bestehen kann. Solche Vorrichtungen können den Fahrer über die Leistung des automatischen Fahrzeugsteuerungssystems informieren, so daß der Fahrer die richtige Entscheidung über die Sicherheit der Fahrsituation treffen kann.

Während des Betriebs kann der Fahrer, während er das Fahrzeug 10 auf einer Straße fährt, die Fahrbahnen hat, wie z. B. eine Autobahn, das automatische Fahrzeugsteuerungssystem einschalten. Bei normalen Wetter- und Fahrbedingungen muß der Fahrer sowohl den Dauergeschwindigkeitskontrollschalter 26 und den Fahrzeug steuerungskontrollschalter 24 betätigt haben. Bei eingeschalte ter Dauergeschwindigkeitssteuereinheit 22 kann der Fahrer den Fahrzeugsteuerungskontrollschalter 24 betätigen, um das automa tische Fahrzeugsteuerungssystem einzuschalten. Wenn die Dauer geschwindigkeitssteuereinheit 22 ausgeschaltet ist, kann das System so gestaltet sein, daß die Betätigung des Fahrzeugsteue rungskontrollschalters 24 wiederum den Dauergeschwindigkeits kontrollschalter 26 betätigt, um so das automatische Steuerungs system zu betätigen. Dadurch, daß die Dauergeschwindigkeits steuereinheit 22 eingeschaltet sein muß, kann das System davon ausgehen, daß sich das Fahrzeug unter geeigneten und sicheren Verkehrs- und Straßenbedingungen befindet.

Durch die Einschaltung des automatischen Fahrzeugsteuerungs systems wird die Videoeingabeeinheit 12 gestartet. Die Videoein gabeeinheit 12 erzeugt fortlaufend Videobildrahmen von der Straße vor dem Fahrzeug 10. Die Bilddigitalisierung und -verar beitungseinheit 14 empfängt und analysiert die Videobildrahmen. Dabei wandelt die Prozessoreinheit 14 die analogen Eingaben jedes Rahmens in digitale Signale um. Die Prozessoreinheit 14 wertet dann die digitalen Signale aus und versucht die Fahr bahngrenzen zu beiden Seiten des Fahrzeugs 10 zu ermitteln. Außerdem wertet die Prozessoreinheit 14 den Weg aus und bestimmt die geeignete Richtungsreaktion, die nötig ist, um das Fahrzeug 10 in der gewünschten Position innerhalb der Fahrbahn zu halten.

Das automatische Fahrzeugsteuerungssystem verwendet die verar beiteten Daten, um das Fahrzeug 10 in einer gewünschten Position auf der Fahrbahn zu halten. Dabei liefert die Prozessoreinheit 14 ein Richtungskontrollsignal an die Kontrolleinheit 18 für das Fahrzeugsteuerungsstellglied 16, die wiederum das Stellglied 16 beaufschlagt, um das Fahrzeug in die gewünschte Richtung zu lenken. Die Radwinkel- und Fahrerlenksensoren 20 messen den Lenkradwinkel und ermitteln außerdem die Lenkanstrengung des Fahrers für die übergeordnete Steuerung des Fahrzeugsteuerungs systems. Das Ermitteln einer bedeutenden Fahrerlenkung durch den Fahrerlenksensor führt zum vorübergehenden Außerkraftsetzen des Stellglieds 16, wobei vorübergehend das automatische Fahr zeugsteuerungssystem ausgeschaltet wird. Dies kann z. B. auf treten, wenn der Fahrer des Fahrzeugs 10 die Fahrbahn wechselt. Wenn der Fahrbahnwechsel beendet ist, wird das automatische Fahrzeugsteuerungssystem wieder eingeschaltet, um die Steuerung in der neuen Fahrspur zu gewährleisten, vorausgesetzt, der Fahrer übersteuert die automatische Steuerung des Fahrzeugs 10 nicht mehr.

Fig. 2 zeigt die grundlegende Geometrie bei der Bilderzeugung der Straße für das automatische Fahrzeugsteuerungssystem. Das Fahrzeug 10 ist innerhalb der Fahrspur einer Straße 28 gezeigt, mit einer linken Spurgrenze 34 und einer rechten Spurgrenze 36. Die Videoeingabeeinheit 12 überwacht die Straßengeometrie und liefert eine Vielzahl von Videobildrahmen der Straße vor dem Fahrzeug 10, z. B. den Rahmen 66.

Fig. 3 zeigt den Aufbau des automatischen Fahrzeugsteuerungs system. Die Videoeingabeeinheit 12 liefert fortlaufend Video bildrahmen der Straße vor dem Fahrzeug zum Bildprozessor 14. Der Bildprozessor 14 beinhaltet eine Vorrichtung 42 zur Er kennung der Fahrbahn und eine Fahrbahnzentriereinheit 44, die jeweils eine Fahrbahnerkennung innerhalb des Gebiets, das durch die Suchgebietsvorhersageeinrichtung 40 bestimmt ist und eine Fahrbahnzentrierung durchführt. Die Suchgebietsvorhersagevor richtung 40 ermittelt das notwendige Suchgebiet in wirksamer Weise. Das Antwortsignal von der Fahrbahnzentrierungsvorrichtung 44 wird der Lenkkontrolleinheit 18 eingegeben, die wiederum das Lenkstellglied 16 kontrolliert. Der Lenksteller 16 stellt den Winkel der Räder 60 des Fahrzeugs 10 so ein, daß das Fahr zeug 10 in die gewünschte Richtung gelenkt wird.

Die Radwinkel- und Fahrerlenksensoren 20 messen den Lenkwinkel und erkennen die herkömmliche Fahrersteuerung. Die Lenkwinkel- und Fahrerlenksensoren 20 liefern ein Signal an die Suchge bietsvorhersagevorrichtung 40. Der Bildprozessor 14 empfängt dieses Signal und verwendet das Radwinkelsignal, um einen kon stanten Lenkwinkel, der für die Betätigung des System ausrei chend ist, zu erzeugen. Das Lenkwinkelsignal liefert außerdem Informationen über die Fahrzeugdrehung an die Verarbeitungsein heit 14. Der Bildprozessor 14 kann diese Information verwenden, um eine verbesserte Vorhersage der Fahrbahnposition zu liefern. Die Lenkwinkel- und Fahrerlenksensoren 20 sind weiterhin so ausgebildet, daß sie ein Fahrerlenksignal an die Lenkkontroll einheit 18 liefern, um das Lenkstellglied 16 auszuschalten, wenn der Fahrer das Lenkrad 32 manuell betätigt, wenn das auto matische Steuerungssystem 22 des Fahrzeugs eingeschaltet ist. Ein Lenkwinkelsignal wird ebenfalls an die Lenkkontrolleinheit 18 geliefert. Die Lenkkontrolleinheit 18 ist so ausgebildet, daß sie Eingaben vom Lenkrad 32 und vom Lenkstellglied 16 em pfängt. Außerdem ist die Lenkkontrolleinheit 18 so ausgebildet, daß sie Signale an die Warnvorrichtung 54 liefert.

Der Kontrollschalter 26 für die Dauergeschwindigkeit betätigt das Steuersystem 22, das so ausgebildet ist, daß es eine Fahr zeuggeschwindigkeitssteuerung 38 über eine Drosselklappsteuer einheit 58 ausführt, die wiederum die Drosselklappe 61 steuert. Der Kontrollschalter 26 für die Dauergeschwindigkeit, die Steuereinheit 38 für die Fahrzeuggeschwindigkeit, der Fahrzeug steuerungskontrollschalter 24 und das Lenkrad 32 sind so ausge bildet, daß sie Fahrereingaben 46 empfangen. Der Fahrzeugsteu erungskontrollschalter 24 ist weiterhin so angepaßt, daß er Kontrolleingaben über die Dauergeschwindigkeit von dem Kontroll schalter 26 für die Dauergeschwindigkeitssteuerung erhält. Der Fahrzeugsteuerungskontrollschalter 24 steht wiederum mit dem Lenkrad 32 in Verbindung. Der Kontrollschalter 26 für die Dauer geschwindigkeitssteuerung steht ferner mit einem Sensor 56 für die Pedalposition in Verbindung, die wiederum die Drosselklap pensteuerung 58 kontrolliert.

Fig. 4A-4C zeigen den Betrieb des automatischen Fahrzeugsteu erungssystems. Fig. 4A, 4B zeigen den Betrieb des Fahrzeugs 10 innerhalb der Fahrbahngrenzen der Straße. Das automatische Steuerungssystem hält das Fahrzeug 10 in der gewünschten Posi tion innerhalb der Spur, unter normalen Verkehrsbedingungen. Fig. 4C zeigt das Fahrzeug 10 beim Spurwechsel, wobei das auto matische Fahrzeugsteuerungssystem vorübergehend abgeschaltet ist, solange der Fahrer die Steuerung manuell betätigt. Nachdem die gewünschte Position in der neuen Spur erreicht ist, unter bricht der Fahrer die manuelle Steuerung, was das automatische Fahrzeugsteuerungssystem wieder einschaltet.

Das Flußdiagramm in Fig. 5 zeigt die Verarbeitungsschritte, die vom automatischen Fahrzeugsteuerungssystem ausgeführt werden. Der Fahrer des Fahrzeugs 10 schaltet zunächst den Kontroll schalter 26 für die Dauergeschwindigkeit ein, um das Steuer system 22 für die Dauergeschwindigkeit zu betätigen oder schal tet den Kontrollschalter 24 ein, um sowohl das Steuersystem 22 für die Dauergeschwindigkeit als auch das automatische Fahrzeug steuerungssystem zu aktivieren. Wenn das Steuersystem 22 für die Dauergeschwindigkeit aktiviert ist, ist nur der Kontroll schalter 26 eingeschaltet und die automatische Fahrzeugsteuerung ausgeschaltet oder nicht betriebsbereit, wobei der Steuerungs kontrollschalter 24 ausgeschaltet ist. Dann hält das Fahrzeug die Dauergeschwindigkeit, es sei denn das Steuersystem 22 für die Dauergeschwindigkeit ist oder wird ausgeschaltet. Das Steu ersystem 22 für die Dauergeschwindigkeit kann durch herkömmliche Technik, z. B. Bremsen oder Ausschalten des Kontrollschalters 26, oder vorübergehend ausgeschaltet werden, wenn das Stellglied 38 für die Fahrzeuggeschwindigkeit zur manuellen Betätigung der Drosselklappe 58 beim Durchdrücken des Gaspedals betätigt wird. Wenn sowohl das Steuerkontrollsystem 22 für die Dauerge schwindigkeit und der Kontrollschalter 24 für die automatische Fahrzeugsteuerung eingeschaltet sind, bleibt das Fahrzeug 10 in der Spur und behält die Dauergeschwindigkeit unter der Kon trolle des Dauergeschwindigkeitssteuersystems bei, bis letztere ausgeschaltet wird.

Das automatische Fahrzeugsteuerungssystem kann auf verschiedene Weise abgeschaltet werden, indem der Fahrer entweder den Kon trollschalter 26 oder den Steuerungskontrollschalter 24 betä tigt. Beim Durchdrücken des Bremspedals wird das System auch abgeschaltet. Die vorübergehende Ausschaltung resultiert aus der manuellen Steuerung durch den Fahrer. Wenn der Fahrer das Fahrzeuggeschwindigkeitsstellglied 38 und damit die Drossel klappensteuerung 58 betätigt, indem der das Gaspedal durch drückt, wird das System 22 zur Steuerung der Dauergeschwindig keit vorübergehend übersteuert, wobei das System zur automa tischen Fahrzeugsteuerung jedoch weiterhin das Fahrzeug steuert.

Wenn der Fahrer das System zur automatischen Fahrzeugsteuerung in Gang setzt, erfährt das System zuerst einen Startprozeß. Audio- und visuelle Information zeigt dem Fahrer des Fahrzeugs an, ob das System bereit ist. Während der Anlaufzeit des Systems zur automatischen Fahrzeugsteuerung, ist es nur nötig, daß der Fahrer das Fahrzeug in der gewünschten Position zwischen den Fahrbahngrenzen der Straße hält.

Die Fig. 6 bis 11 zeigen die Funktionsweise des Bildprozes sors 14, um die Videobildrahmen der Straßenbilder auszuwerten und den Weg der Fahrbahn auf der Straße vor dem Fahrzeug 10 vorherzusagen. Der Bildprozessor 14 empfängt von der Bildein gabeeinheit 12 in fortlaufender Reihe Videobildrahmen der Straße vor dem Fahrzeug 10 mit einer Geschwindigkeit von dreißig Rahmen pro Sekunde, was eine geeignete Response für Fahrzeuge mit einer normalen Geschwindigkeit auf Autobahnen möglich macht. Bei höheren Geschwindigkeiten benötigt das System eine schnel lere Rahmengeschwindigkeit.

Der Bildprozessor 14 beinhaltet Schaltkreise für die Digitali sierung jedes von der Bildeingabeeinheit 12 empfangenen analogen Bildrahmens und zum Umwandeln jedes Bildrahmens in eine Vielzahl von digitalen Signalen. Der Bildprozessor 14 beinhaltet Prozes soreinheiten, um die durch die Digitalisierungsschaltkreise gelieferten digitalen Bildsignale auszuwerten. Im Bildprozessor 14 sind Programmroutinen zum Kontrollieren der Bildeingabeein heit, Bildverarbeitungsalgorithmen zur Erkennung der Fahrbahn und Programme einer Vorhersagevorrichtung 40 zur Verbesserung der Bildverarbeitungseffizienz vorgesehen.

Um die Fahrbahngrenzen im Bild der Straßensituation zu lokali sieren, erkennt die Verarbeitungseinheit 14 zuerst alle Kanten im Bild. Dabei werden gewisse Annahmen getroffen, um das Problem zu vereinfachen. Für ein System zur automatischen Fahrzeug steuerung nehmen wir zuerst geringe Krümmungen der Fahrbahn grenzen an. Außerdem nehmen wir an, daß in den meisten Situa tionen zwei Fahrbahnbegrenzungen bestehen. Schließlich wird angenommen, daß der Boden in der Nähe des Fahrzeugs eben ist und die Bilder aufgenommen werden, während sich das Auto in der Fahrbahn befindet. Die letztere Annahme ist normalerweise richtig, weil der Fahrer wahrscheinlich den Kontrollschalter 26 für die Dauergeschwindigkeit und/oder den Kontrollschalter 24 für die automatische Steuerung nur dann betätigt, wenn sich das Auto zwischen Fahrbahngrenzen und gewöhnlich geradeaus bewegt. Unter diesen Annahmen kann der Verlauf der Bahn im Bild durch die Vorhersageeinrichtung 40 vorhergesagt werden, basierend auf der Fahrbahnkrümmung, Fahrzeugdynamik und Steuerungseingaben.

Zwei Hauptgrenzen der Spur werden nahe dem Fahrzeug angenommen, wobei zwei parallele Liniensegmente verwendet werden. Das erste Liniensegment ist die Tangente 78 zur gegenwärtigen linken Spurgrenze 34 und die zweite ist die Tangente 80 zur gegenwär tigen rechten Spurgrenze 36. Aufgrund der projizierten Geometrie des Bilds, müssen die beiden Tangenten (oder zwei sich schnei dende tangentielle Linien) in einem Punkt des Bilds zusammen laufen, dem Verschwindepunkt 84.

Die besten zwei Tangenten werden im wesentlichen aus einer Auswahl gewählt. Hier verwenden wir jedoch zwei Überschneidungs punkte 86 und 88, d. h. wo die linke Tangente 78 und die rechte Tangente 80 jeweils das ausgewählte Suchgebiet 82 überschneiden, wie in Fig. 6 gezeigt.

Genauer, wie in Fig. 7A gezeigt, wenn ein Überschneidungspunkt 86 der linken Tangente 78 an der linken Seite innerhalb eines durch die Vorhersageeinrichtung 40 bestimmten Suchgebiets 82 festgestellt wird und ein Überschneidungspunkt 88 der rechten Tangente 80 an der rechten Seite innerhalb des Suchgebiets 82 festgestellt wird, d. h. der Verschwindepunkt 84 der beiden Linien 78, 80 über dem Suchgebiet 82 liegt, wie in Fig. 7A gezeigt, wird das Suchgebiet 82 nach oben bewegt, so daß der Verschwindepunkt 84 innerhalb des Suchgebiets 82 liegt, wie in Fig. 7C gezeigt. Im Gegensatz dazu, wie in Fig. 7B gezeigt, wenn der Überschneidungspunkt 86 der linken Tangente 78 an der rechten Seite innerhalb des Suchgebiets 82 festgestellt wird und der Überschneidungspunkt 88 der rechten Tangente 80 an der linken Seite innerhalb des Suchgebiets 82 ermittelt wird, d. h. der Verschwindepunkt 84 unter dem Suchgebiet 82 liegt, wird das Suchgebiet 82 nach unten bewegt, so daß der Verschwindepunkt 84 innerhalb des Suchgebiets 82 festgestellt wird, wie in Fig. 7C gezeigt. Wie oben beschrieben, wird das Suchgebiet 82 vertikal angepaßt, so daß die zwei Überschneidungspunkte 86, 88 an denen die beiden Tangenten 78, 80 das ausgewählte Suchgebiet 82 schneiden, in einem Punkt zusammenlaufen, d. h. der Verschwinde punkt 84 liegt dann innerhalb des Suchgebiets 82.

Die Verwendung von zwei Überschneidungspunkten anstatt von einem Verschwindepunkt ermöglicht es, der Fahrspur in Situa tionen zu folgen, wenn eine Seite einer Fahrbahngrenze weniger deutlich als die andere ist oder diese völlig fehlt.

Da die Position der Überschneidungspunkte sich nicht viel zwi schen zwei aufeinanderfolgenden Bildrahmen verändert, wird angenommen, daß die Position im gegenwärtigen Rahmen der im vorherigen Rahmen ähnlich ist. Das ermöglicht es, die Ermittlung der Straßenenden und die Ermittlung der Überschneidungspunkte in einem Schritt zu verbinden.

Um die zwei besten Überschneidungspunkte auszuwählen, sammelt der Algorithmus Beweise zur Stützung für jede Auswahlmöglichkeit aus dem Bild. Der stützende Beweis, der sich aus dem Pixelniveau der lokalen Berechnung ergibt, beinhaltet die Stärke und Rich tung der Kantenpunkte und die Länge der Liniensegmente. Es sind Funktionen vorgesehen, um jeweils die Beweiskraft zu messen und sie zu einem Leistungsmaß zu verbinden, das die größte Sicherheit für einen geeigneten Überschneidungspunkt ergibt. Der Überschneidungspunkt, der am meisten geeignet scheint, wird ausgewählt, und die entsprechende Tangente wird als das Bild der Fahrbahngrenze angesehen. Fig. 8 zeigt die Merkmale eines solchen Bildes. Es werden Kantenmuster und die entsprechende Ausrichtung der verschiedenen Linienmuster gezeigt. Es ist wünschenswert, die Daten zu erhalten, die eine starke Kantenkor relation liefern, zusätzlich zu einer passenden konstanten Ausrichtung, wie die Linienmuster 90. Die gesamte Response wird dann verwendet, um den Überschneidungspunkt für die Grenz linie innerhalb des ausgewählten Suchgebiets 82 zu errechnen.

Fig. 6 zeigt eine linke Tangente 78 und eine rechte Tangente 80, die beide das ausgewählte Suchgebiet 82 passieren, um den Überschneidungspunkt 86 der linken Tangente und den Überschnei dungspunkt 88 der rechten Tangente zu erhalten. Die linke und rechte Tangente 78 und 80 schneiden den Verschwindepunkt 84. Es ist höchst wünschenswert, die Überschneidung der Überschnei dungspunkte 86 und 88 oder des Verschwindepunkts 84 innerhalb des Suchgebiets 82 zu erhalten. Dabei verwendet das System eine Vorhersageeinrichtung 40, um fortlaufend das Suchgebiet anzupassen, siehe Fig. 7. Die Vorhersagevorrichtung 40 ermittelt das zu suchende Gebiet. Wenn das System gestartet wird, sucht die Vorhersagevorrichtung 40 anfänglich ein großes Gebiet ab. Wenn die Vorhersagevorrichtung 40 die Überschneidungspunkte lokalisiert, kann sie sich dieser Position anpassen und ein kleineres Gebiet absuchen, wobei das System schneller und effi zienter arbeiten kann. In der Anlaufphase könnte die Vorhersage vorrichtung 40 angepaßt werden, um ein kleineres Gebiet, basie rend auf verschiedenen Annahmen zu überwachen oder ein Teil gebiet abdecken (d. h. jede Sekunde oder jeden dritten Pixel überwachen), um den Startprozeß zu beschleunigen. Der resul tierende Überschneidungspunkt 88, der innerhalb des Suchgebiets 82 ermittelt wird, liefert die gewünschte Richtung des Fahr zeugs.

In Fig. 9 bis 11 sind Flußdiagramme der Software-Algorithmen gezeigt. Fig. 9 ist ein Flußdiagramm, das grobe Algorithmus- Schritte zeigt. Fig. 10 ist ein genaues Flußdiagramm, das ein Algorithmus-Modul "Hypothetische Ermittlung des Überschneidungs punkt begründet auf dem Suchgebiet" zeigt. Fig. 11 ist ein genaues Flußdiagramm, das ein Algorithmus-Modul "Sammle Stützen für jeden hypothetisch ermittelten Überschneidungspunkt" zeigt. Der Prozessor 14 empfängt eine Bildeingabe. Die Gradientengröße und Gradientenrichtung in der Helligkeit eines Pixels in der Bildinformation als Funktion der jeweiligen Pixel wird berech net. Der Überschneidungspunkt wird dann hypothetisch ermittelt, basierend auf dem Suchgebiet wie in Fig. 10 gezeigt, wobei (X1, X2) ein eindimensionales Suchgebiet im Bild bezeichnen und m die Anzahl von hypothetischen Fiberschneidungspunkten innerhalb des eindimensionalen Gebiets ist. Dann sammelt die Software Stützen für jeden hypothetisch ermittelten Überschnei dungspunkt wie in Fig. 11 gezeigt. ((ipx(k), ipy), k=0, 1, . . .) stellt den Satz von Bildkoordinaten des hypothetischen Überschneidungspunkts dar. M(i, j) ist die Gradientengröße an der Pixelposition (i, j) im Bild, und x-Weite und y-Weite geben jeweils die horizontale und vertikale Größe desselben unter dem jeweiligen eindimensionalen Suchgebiet an. Außerdem werden dann rechte und linke Überschneidungspunkte und Tangenten aus gewählt und das Suchgebiet wird auf den neuesten Stand gebracht bevor die nächste Bildeingabe empfangen wird.

Claims

1. System zur automatischen Fahrzeugsteuerung eines Fahrzeugs innerhalb einer Fahrbahnbegrenzung einer Straße, das auf weist:
eine Videoeingabeeinheit (12), die am Fahrzeug (10) zur Erzeugung einer Vielzahl von Videobildrahmen der Straße vor dem Fahrzeug angebracht ist; eine herkömmliche Dauer geschwindigkeitssteuereinheit (22) zur Steuerung der Dauer geschwindigkeit des Fahrzeugs, wobei die Dauergeschwindig keitssteuereinheit (22) einen manuell betätigbaren Kon trollschalter (26) zur Aktivierung der Dauergeschwindig keitssteuerung (22) aufweist; eine Prozessoreinheit (14), die mit der Videoeingabeeinheit (12) und auch mit dem Kontrollschalter (26) für die Dauergeschwindigkeit ver bunden ist, zur Auswertung der Videobildrahmen; wobei die Prozessoreinheit (14) mit der Auswertung der Videobilder beginnt, wenn der Fahrzeugfahrer zumindest den Dauerge schwindigkeitskontrollschalter (26) betätigt hat; und
eine automatische Fahrzeugsteuerungskontrolleinrichtung (16-20, 32) zum automatischen Kontrollieren der Steuerung des Fahrzeugs, um es innerhalb der Fahrbahngrenzen der Straße als Funktion der Auswertung des Prozessors zu halten.

2. System nach Anspruch 1, wobei die Fahrzeugsteuerungskon trolleinheit (16-20, 32) einen manuell betätigbaren Steue rungskontrollschalter (24) beinhaltet, und das System die automatische Fahrzeugsteuerungskontrolleinheit (16-20, 32) aktiviert, wenn der Fahrer sowohl den Dauergeschwindig keitskontrollschalter (26) als auch den Steuerungskontroll schalter (24) betätigt hat.

3. System nach Anspruch 2, wobei die manuelle Betätigung des Steuerungskontrollschalters (24) weiterhin den Dauerge schwindigkeitskontrollschalter (26) aktiviert, wodurch das System die automatische Fahrzeugsteuerung einleiten kann.

4. System nach Anspruch 3, das weiterhin aufweist:
eine Lenkwinkelsensoreinrichtung (20) zum Ermitteln des Lenkwinkels der Fahrzeugräder; wobei die Prozessoreinheit (14) an die Lenkwinkelsensoreinheit gekoppelt ist und deren Ausgangssignale verwendet, um festzustellen, wann die Verarbeitung der Videobilder eingeleitet werden soll; und
weiterhin die Aktivierung der Videobildverarbeitung und der Kontrolleinheit steuert, wenn die Verarbeitung akti viert ist und der Fahrer das Fahrzeug innerhalb einer Fahrbahn einer Straße vor der tatsächlichen Betätigung der Steuerkontrolleinheit (16-20, 32) hält.

5. System nach Anspruch 4, wobei die Steuerungskontrolleinheit aufweist:
ein Fahrzeuglenkstellglied (16) zum Einstellen des Lenk winkels der Fahrzeugräder; und
eine Lenkkontrolleinheit (18) zum Steuern des Fahrzeuglenkstellglieds.

6. System nach Anspruch 5, wobei die Lenkkontrolleinheit (18) Signale von der Prozessoreinheit (14) und der Lenkwinkel sensoreinheit (20) empfängt und die zum Beibehalten des Fahrzeugs in der gewünschten Position innerhalb der Fahr bahnbegrenzung einer Straße notwendige Richtung feststellt.

7. System nach Anspruch 6, das weiterhin aufweist:
eine Fahrerlenksensoreinheit (20) zum Feststellen der Lenkkraft durch den Fahrzeugfahrer, wobei die Lenksensor einheit zur Abgabe eines Signals an das Fahrzeuglenkstell glied (16) zur Außerkraftsetzung des Systems, wenn eine manuelle Lenkkraft festgestellt wird, ausgebildet ist und das System wieder gestartet wird, wenn die manuelle Lenk kraft nicht mehr ermittelt wird.

8. System nach Anspruch 1, wobei die Prozessoreinheit (14) aufweist:
eine Digitalisierungseinrichtung zum Empfangen einer Viel zahl von Videobildrahmen und Umwandeln der Videobilder von analogen Signalen in digitale Signale; und
eine digi tale Bildverarbeitungseinrichtung zum Verarbeiten der digitalen Signale.

9. System nach Anspruch 8, wobei die digitale Bildverarbei tungseinheit weiterhin aufweist:
eine Fahrbahnerkenneinheit zur Bildverarbeitung für die Ermittlung einer linken und rechten Fahrbahnbegrenzung einer Straße vor dem Fahrzeug; und
eine Fahrbahnzentrier einheit zum Ermitteln der gewünschten Fahrzeugposition.

10. System nach Anspruch 9, wobei die digitale Bildverarbei tungseinrichtung weiterhin für die Auswertung der digitalen Signale jedes Rahmens vorgesehen ist, wobei die Auswertung die Ermittlung starker Linienresponsen und konsistenter Linienausrichtung beinhaltet und die Fahrbahnbegrenzungen als Funktion der Linienresponse und Linienausrichtung ermittelt werden.

11. System nach Anspruch 10, wobei die Prozessoreinheit (14) weiterhin eine Vorhersageeinheit (40) zum Ermitteln des notwendigen abzusuchenden Gebiets aufweist.

12. System nach Anspruch 10, wobei die Fahrbahnerkenneinheit jeweils eine projiizierte Tangente (78, 80) für die linke und rechte Fahrbahnbegrenzung (34, 36) innerhalb eines ausgewählten und durch die Vorhersageeinheit (40) bestimmten Suchgebiets (82) ermittelt, wobei die Fahrbahn zentriereinheit die Position der Tangenten (78, 80) zur Ermittlung der gewünschten Fahrzeugrichtung auswertet.

13. System nach Anspruch 10, wobei die Vorhersageeinheit (40) weiterhin die Anpassung des Suchgebiets zum Beinhalten des Überschneidungspunkts der Tangenten vornimmt.

14. System nach Anspruch 11, wobei die Vorhersageeinheit (40) durchführt:
eine automatische Anpassung des Suchgebiets (82) zur Er mittlung der Überschneidung und der Position der Tangenten (78, 80) für die linke und rechte Fahrbahnbegrenzung, wobei das Suchgebiet (82) zur Lieferung eines minimalen Suchgebiets angepaßt wird.

15. Verfahren zur automatischen Fahrzeugsteuerung für eine automatische Steuerung eines Fahrzeugs entlang einer Fahr bahnbegrenzung einer Straße, das aufweist:
Erzeugung einer Vielzahl von Videobildrahmen der Straße vor dem Fahrzeug; Steuerung der Fahrzeuggeschwindigkeit mit einer Dauergeschwindigkeitssteuereinheit, die einen manuell betätigbaren Schalter zum Aktivieren der Geschwindigkeits steuerung aufweist;
Verarbeitung der Vielzahl von Video bildrahmen zur Auswertung und Erkennung der Fahrbahngrenzen der Straße vor dem Fahrzeug, basierend auf vorhergesagten möglichen Stellen der Fahrbahngrenzen im Bild, Bestimmen der Fahrbahnrichtung und Liefern einer Kontrollantwort, die das Fahrzeug in einer gewünschten Position innerhalb der Fahrbahn hält;
Kontrolle der Fahrzeugsteuerung, um das Fahrzeug innerhalb der Fahrbahn zu halten als Funktion der Auswertung der Fahrbahngrenzen; und
Starten der Ver arbeitung der Videobilder und der automatischen Fahrzeug steuerungskontrolle, wenn ein manuell betätigbarer Fahr zeugsteuerungskontrollschalter betätigt wird, während die Einheit zur Geschwindigkeitssteuerung in Betrieb ist.

16. Verfahren nach Anspruch 15, das weiterhin den Schritt aufweist:
Ausschalten der automatischen Steuerungskontrolle, wenn eine Lenkkraft des Fahrers festgestellt wird und
Wiedereinschalten, wenn keine Lenkkraft des Fahrers mehr festgestellt wird.

17. Verfahren nach Anspruch 15 oder 16, wobei der Verarbei tungsschritt weiterhin die Digitalisierung der analogen Signale der Videobilder zur Lieferung einer Vielzahl von digitalen Signalen aufweist.

18. Verfahren nach einem der Ansprüche 15-17, wobei der Ver arbeitungsschritt weiterhin eine digitale Verarbeitung beinhaltet, die aufweist:
Ermitteln starker Linienresponsen und konsistenter Linien ausrichtung zur Ermittlung einer linken und rechten Fahr bahnbegrenzung;
und Feststellen der zum Beibehalten der Position des Fahrzeugs (10) in der gewünschten Position innerhalb der Fahrbahn notwendigen Richtung, wobei der Ermittlungsschritt die Lokalisierung von projiizierten Tangenten (78, 80) beide Fahrbahnbegrenzungen (34, 36), die Ermittlung der Position jeder Tangente (78, 80) inner halb des ausgewählten Suchgebiets (82) und Anpassen des Suchgebiets zur Lieferung des möglichen Überschneidungs gebiets der Tangenten beinhaltet, wobei der Überschneidungs punkt (84) der Tangenten die gewünschte Fahrzeugrichtung darstellt.

19. Verfahren nach Anspruch 18, das den weiteren Schritt auf weist:
Aktivierung der Videobildrahmenverarbeitung und Steuerungs kontrolle, wenn die Verarbeitung aktiviert ist und das Fahrzeug vor der tatsächlichen Steuerungskontrolle in einer Fahrbahn der Straße gehalten wird.