DE19938263B4

DE19938263B4 - Verfahren und Einrichtung zur elektronisch logischen Erkennung von Verkehrszeichen

Info

Publication number: DE19938263B4
Application number: DE19938263A
Authority: DE
Inventors: Rudolf Mai; Frank Pfeffer; Carsten Woche
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 1999-08-12
Filing date: 1999-08-12
Publication date: 2009-05-14
Anticipated expiration: 2019-08-13
Also published as: DE19938263A1

Abstract

Verfahren zur elektronisch logischen Erkennung von Verkehrszeichen mittels Kameraanordnung in einem Kraftfahrzeug, bei welchem die Verkehrszeichen durch Mustervergleichsverfahren elektronisch gedeutet und im Kraftfahrzeug angezeigt werden, dadurch gekennzeichnet, daß bei Erfassung von Verkehrszeichen bei entsprechenden Lichtverhältnissen eine Scheinwerfernachführung zur optimalen Ausleuchtung der Verkehrszeichen derart generiert wird, daß fahr- und fahrbahnbedingte Wipp- und Schwenkbewegungen des Fahrzeuges sowie auch der durch das Herannahen an das Verkehrszeichen sich ändernde Winkel durch entsprechende Ausgleichsbewegungen der Scheinwerferanordnung ausgeglichen werden.

Description

Die Erfindung betrifft ein Verfahren sowie eine Einrichtung zur elektronisch logischen Erkennung von Verkehrszeichen mittels Kameraanordnung in einem Kraftfahrzeug, bei welchem die Verkehrszeichen durch Mustervergleichsverfahren elektronisch gedeutet und im Kraftfahrzeug angezeigt werden, gemäß Oberbegriff des Patentanspruches 1 und 7.
Verfahren und Einrichtungen dieser Art entwickeln sich in zunehmendem Maße fort. In weiter Zukunft ist geplant, Verkehrsleitsysteme so intelligent auszustatten, daß in Ballungszentren oder an Verkehrsknotenpunkten eine automatische Fahrzeugführung ohne Eingriff des Fahrers vorgenommen werden kann. Denkbar ist auch, daß mit dem Fahrzeug beim Befahren zumindest bedeutender Strecken eine automatische Verkehrsführung vorgenommen wird.
Auf dem Wege zu diesem letztendlichen Entwicklungsziel bedarf es aber einer Weiterentwicklung im Hinblick auf eine fehldeutungssichere elektronisch logische Verkehrszeichendeutung.
So ist aus der DE 296 10 677 U1 in Bilderfassungsgerät bekannt, bei welchem am Straßenrand aufgestellte Verkehrszeichen optisch abgetastet werden und durch Mustervergleich die Verkehrszeichen erkannt werden. Hernach erfolgt eine visuelle Anzeige der erkannten Verkehrszeichen im Kraftfahrzeug.
Die DE 21 29 984 A beschreibt ein Verfahren und eine Vorrichtung zum identifizierbaren Fotografieren von Gegenständen hinter Scheiben.
Aus der DE 298 02 953 U1 ist desweiteren eine permanente optische Abtastung des rechten Fahrbahnrandes durch eine Videokamera bekannt. Die über die Videokamera erhaltenen Bilddaten werden an den Rechner innerhalb des Kraftfahrzeuges übermittelt. Danach erfolgt eine visuelle und ggf. auch eine akustische Anzeige innerhalb des Kraftfahrzeuges.
Wesentliche Aufmerksamkeit gilt im Stand der Technik der Erkennung von geschwindigkeitsbegrenzenden Verkehrszeichen. So ist aus der DE 295 20 819 U1 eine geschwindigkeitsbegrenzende Einrichtung bekannt, welche mittels einer Codeerkennung von Verkehrszeichen dieselben im Fahrzeug anzeigt oder welche ggf. sogar auf die Steuerung des Fahrzeuges automatisch eingreifen. Der dadurch bewirkte Eingriff ist in allen Fällen ein geschwindigkeitsbegrenzender.
Aus der DE 36 19 824 C2 ist eine Kamera bzw. eine Bildsensoreinrichtung bekannt, welche Bilddaten aus unterschiedlichen Blickrichtungen liefert. Die Summe aller Bilddaten wird dabei gesammelt und in Verbindung mit einer oben beschriebenen Verkehrszeichenerkennung werden Höchstgeschwindigkeitssollwerte ermittelt. Diese werden dann innerhalb des Fahrzeuges ebenfalls in der oben beschriebenen Weise angezeigt.
Für den Fall, daß es lediglich bei der Erkennung der Verkehrszeichen bleiben soll, würde eine Fehldeutung derselben lediglich zu einer fehlerhaften Anzeige innerhalb des Kraftfahrzeuges führen. Der Kraftfahrzeugführer könnte sich aber mit Blick auf das erfaßte Verkehrszeichen noch immer vergewissern, ob die ihm gegebene akustische oder optische Anzeige innerhalb des Fahrzeuges auch korrekt ist. Kritischer werden solche Situationen, in welchen geschwindigkeitsregelnde Eingriffe auf die Steuerung des Fahrzeuges, beispielsweise das elektrische Gaspedal oder die elektrische Bremse stattfinden. Hierbei könnten Fehldeutungen von Verkehrszeichen erhebliche sicherheitstechnische Konsequenzen nach sich ziehen.
Es ist aber ein bekanntes Problem, daß Verkehrszeichen entweder durch Äste oder vorstehende Sträucher teilweise verdeckt werden, beschädigt sind, verschmutzt sind oder daß besonders die Lichtverhältnisse zu bestimmten Tageszeiten und zu bestimmten Jahreszeiten durch Reflexionen eine Fehldeutung bei der elektronischen Erfassung zulassen.
Der Erfindung liegt somit die Aufgabe zugrunde, Verfahren der gattungsgemäßen Art sowie eine Einrichtung der bekannten Art dahingehend weiterzuentwickeln, daß durch ungünstige Lichtverhältnisse oder Blendungen, Spiegelungen oder Reflexionen Fehldeutungen bei der optischen Erfassung von Verkehrszeichen vermieden werden.
Die gestellte Aufgabe ist bei Verfahren der gattungsgemäßen Art erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruchs 1 gelöst.
Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Verfahren sind in den abhängigen Ansprüchen 2–6 angegeben.
Bei einer Einrichtung der gattungsgemäßen Art ist die gestellte Aufgabe erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruches 7 gelöst. Weitere vorteilhafte Ausgestaltungen der erfindungsgemäßen Einrichtung sind in den übrigen Ansprüchen angegeben.
Bei der Lösung der Aufgabe sind zwei Teilprobleme berücksichtigt. Zum einen ist das Problem einer ausreichenden Ausleuchtung des Verkehrszeichens bei entsprechenden Lichtverhältnissen bearbeitet. Hierzu ist Kern der verfahrensgemäßen Erfindung, daß bei Erfassung von Verkehrszeichen bei entsprechenden Lichtverhältnissen eine Scheinwerfernachführung zur optimalen Ausleuchtung der Verkehrszeichen derart generiert wird, daß fahr- und fahrbahnbedingte Wipp- und Schwenkbewegungen des Fahrzeuges, sowie der durch das Herannahen an das Verkehrszeichen sich ändernde Winkel, durch eine entsprechende Ausgleichsbewegung der Scheinwerferanordnung ausgeglichen wird. Es sind überdies bereits Kamerasysteme bekannt, welche Verwackelungsbewegungen elektronisch ausgleichen. Die Weiterentwicklung des erfindungsgemäßen Verfahrens besteht jedoch darin, die Ausleuchtung entsprechend verwacklungsfrei zu gestalten und zusätzlich auch den beim Herannahen sich ändernden Blickwinkel durch eine ausgleichende Nachführung zu verbessern bzw. zu kompensieren. Hierdurch kommt es zu einer optimalen Ausleuchtung in jeder Verkehrssituation, so daß die Kameraeinrichtung immer ein optimales Bild der Verkehrszeichen erfassen kann.
Ein weiteres bearbeitetes Problem ist die Ausblendung von Streulicht oder Reflexionen, die unter bestimmten Lichtverhältnissen oftmals eine Fehldeutung generieren können. Dies können Lichtverhältnisse sein, wie beispielsweise Dunkelheit, aber auch Tageslichtverhältnisse, bei denen beispielsweise die Sonne Reflexionen auf der Schildoberfläche erzeugt, die eine andere Zahl erkennen lassen, als die tatsächliche. Hierzu besteht der Kern einer erfindungsgemäßen Ausführungsform darin, daß zur Ausblendung von Streulicht oder Reflexionen und zur Vermeidung der dadurch möglichen Fehldeutung des Verkehrszeichens ein Farbblitz generiert wird und das Kamerabild entsprechend farbgefiltert wird. Die Farbfilterung kann dabei durch Einbringung oder Ad-hoc-Einschwenkung eines optischen Farbfilters vor das Kameraobjektiv erfolgen, oder aber es erfolgt eine farbselektive Filterung durch elektronische Nachbearbeitung der Kamerabildsignale. Eine solche rein elektronische Farbselektivierung oder Filterung ist demnach auch möglich. Wichtig ist hierbei lediglich, daß das erfaßte Bild durch den besagten erfindungsgemäß angegebenen Farbblitz erleuchtet wurde.
Dabei ist eine Kombination der oben beschriebenen Merkmale auch besonders vorteilhaft, da dann zum einen die optimale Ausleuchtung des Verkehrszeichens und zum anderen zusätzlich die Ausschaltung von Reflexionen und dadurch bedingte Fehldeutungen bewirkt wird.
Daher kann in weiterer vorteilhafter Ausgestaltung auch vorgesehen sein, daß die Scheinwerfer bei vager Erkennung eines Verkehrszeichens auf dasselbe ad hoc nachgeführt werden.
Weiterhin ist denkbar und auch besonders vorteilhaft ausführbar, daß die Scheinwerfernachführung mittels Ermittlung prädiktiver Streckendaten erfolgt, indem die Straßenführung als solches aus einem Navigationssystem generiert wird. So kann das Nachführsystem sich auf die durch das Navigationssystem bekannte, noch zu befahrende Strecke einstellen und so vorausschauend reagieren.
Im Hinblick auf eine erfindungsgemäße Einrichtung ist die oben gestellte Aufgabe dadurch gelöst, daß Scheinwerfernachführungsmittel vorgesehen sind, die derart mit der Bildauswertung verschaltet sind, daß es zu einer informationsmäßigen logischen Rückkopplung zwischen Kamera bzw. Kameraauswertung und Scheinwerfernachführung kommt.
Weiterhin kann die Einrichtung mit einem Farbblitzgerät versehen sein, welches von der Auswerteeinheit der Kamera gesteuert wird. Damit synchronisiert ist die Filterung des Kamerabildes auf die entsprechende Farbe des erzeugten Farbblitzes. Bei einer Synchronisierung zwischen Bilderfassungseinheit oder Auswerteeinheit und der Blitzlichtanordnung wird zur Deutung des Verkehrszeichens lediglich das durch den Farbblitz erhellte Verkehrszeichen registriert und übrige Streulichteinflüsse durch Fremdlicht werden somit ausgeblendet. Die Verkehrszeichen sind somit deutlich zu erkennen. Insbesondere ist es vorteilhaft die Blitzlichtanordnung mit einer entsprechenden Scheinwerfernachführung oder besagter Blitzlichtnachführung zu kombinieren.
Die Farbfilterung kann, wie oben bereits ausgeführt, entweder durch ein ad hoc vor das Kameraobjektiv schwenkbares Filter vorgesehen sein oder die Filterung erfolgt durch elektronische Farbfilterung des farblich ausgeleuchteten Kamerabildes.
Die Erfindung ist in der Zeichnung dargestellt und nachfolgend näher beschrieben.
Es zeigt:
1: Scheinwerfernachführung.
2: Farbblitzeinrichtung.
1 zeigt die erste Ausführungsform der verfahrensgemäßen, aber auch einrichtungsgemäßen Erfindung. Hierbei wird innerhalb des nicht weiter dargestellten Fahrzeuges eine feststehende Kamera 1 verwendet, die entweder im Bereich der Scheinwerfer oder generell in der Frontpartie im Kühlerbereich oder Kotflügelbereich des Fahrzeuges integriert angeordnet ist. Die Integration der feststehenden Kamera erfolgt dabei so, daß dieselbe weder beschädigt werden kann, noch das Objektiv verschmutzen kann. Hierzu kann eine entsprechend geschützte Anordnung hinter einer Art Abdeckglas, wie dies bei großen Scheinwerferanordnungen üblich ist, verwendet werden. Die Kamera 1 kann entweder eine feststehende Kamera sein, die einen hohen Blickwinkel, also mit kleiner Brennweite erfaßt, oder die Kamera 1 kann auch Nachführmittel enthalten, um ihre Position sowohl in der Horizontalen, als auch in der Vertikalen verändern zu können. Hierdurch kann die Kamera dem zu deutenden Objekt nachgeführt werden. Weiterhin kann die Kamera auch Autofokussysteme enthalten.
Die Kamera selbst ist informationstechnisch mit einer Auswerteeinheit 2 verschaltet. Innerhalb der Auswerteeinheit erfolgt die Auswertung des erfaßten Kamerabildes inklusive der Deutung des Verkehrszeichens durch beispielsweise Mustervergleich. Weiterhin ist die Auswerteeinheit 2 informationstechnisch und steuerungstechnisch mit einer Scheinwerfernachführungseinheit 3 verbunden. Diese Scheinwerfernachführungseinheit 3 umfaßt auch Mittel, um die Scheinwerfer 4 in vertikaler und horizontaler Position bzw. den Lichtkegel in derselben verändern zu können. Erfaßt nun die Kamera 1 ein entsprechendes Bild und erkennt sie daraus ein Verkehrszeichen, ohne es möglicherweise optimal deuten zu können, so wird dies der Auswerteeinheit 2 mitgeteilt und dieselbe führt eine optimierte Scheinwerfernachführung über die Scheinwerfernachführungseinheit 3 durch. Hierbei kommt es zu einer optimierten Ausleuchtung des Verkehrszeichens, so daß die Erfassung des Kamerabildes deutlich verbessert wird.
2 zeigt eine Ausgestaltungsform, bei der ein Farbblitz 13 verwendet wird. Auch hierbei ist eine Kamera 1 verwendet in einem Kraftfahrzeug, welches nicht weiter dargestellt ist. Die Kamera ist in der gleichen Weise angeordnet, wie oben bereits in 1 dargestellt. Die Kamera selbst übermittelt ihre Bilddaten ebenfalls an eine Auswerteeinheit 2, in der die Deutung der Verkehrszeichen durch oben beschriebenen Mustervergleich erfolgt. Im Bereich des Objektives ist in dieser Ausgestaltungsform ein Blendenrad 11 angeordnet, in welchem ein Filter 10 angeordnet ist. Die Auswerteeinheit 2 ist dabei mit einer Blendenradsteuerung 12 verbunden, die ad hoc auf Weisung der Auswerteeinheit das Filter in den optischen Erfassungswinkel der Kamera 1 einschenkt oder herausschwenkt.
Weiterhin ist die Auswerteeinheit, wie oben bereits ausgeführt, mit einem Blitz- bzw. Farbblitz 13 verbunden. Die Auswerteeinheit 2 generiert bei Erfassung einer nur schlecht deutbaren Verkehrszeichensituation im Farbblitz 13 einen entsprechenden Farbblitz zu einer entsprechenden Zeit t. Synchron damit wird über die Blendenradsteuerung 12 das Einschwenken des Farbfilters 10 über das Blendenrad 11 in den optischen Weg der Kamera 1 veranlaßt. Dabei sind Verstellwege und Verstellzeiten dem System natürlich bekannt und werden entsprechend berücksichtigt, so daß eine optimale zeitliche Synchronisation zwischen Farbblitz und Blendenradsteuerung bzw. Filterverfügbarkeit gegeben ist. Somit wird lediglich das durch den Farbblitz 13 erhellte Bild des Verkehrszeichens von der Kamera 1 registriert. Fremdlicht, Reflexionen anderen Lichtes, oder Streulicht wird hierdurch ausgeblendet und das Verkehrszeichen wird deutlich sichtbar und für das System erkennbar und somit deutbar.
Eine weitere Möglichkeit bestünde darin, auf ein Blendenrad 11 und eine entsprechende Blendenradsteuerung 12 zu verzichten, jedoch weiterhin den Farbblitz 13 zu verwenden. Hierzu müßte das Kamerabild der Kamera 1 innerhalb der Auswerteeinheit 2 elektronisch gefiltert werden. Auch dies ist möglich, jedoch mit entsprechendem elektronischen Aufwand.
In beiden Fällen wird im wesentlichen nur das direkt durch den Farbblitz erhellte Verkehrszeichen erfasst. Andere Lichtanteile und damit auch bspw. durch Sonneneinstrahlung erzeugte Reflexionen werden herausgefiltert.
Es ist nun möglich, die Ausführung gemäß 1 und 2 auch miteinander zu kombinieren und die Scheinwerfernachführung bzw. in diesem Fall dann die Nachführung des Farbblitzes 13 zusammen mit der Farbfilterung zu kombinieren. Hierdurch entsteht eine optimale Ausleuchtung des Verkehrszeichens unter allen Lichtverhältnissen und eine entsprechend sichere und zuverlässige Deutung desselben, die dann auch eine Einbindung des Systems in eine automatische Führung des Fahrzeuges ermöglicht.
Dies ist insbesondere dann vorteilhaft, wenn zusätzlich prädiktive Streckendaten aus einem Navigationssystem mit diesem System kombiniert werden.

Claims

Verfahren zur elektronisch logischen Erkennung von Verkehrszeichen mittels Kameraanordnung in einem Kraftfahrzeug, bei welchem die Verkehrszeichen durch Mustervergleichsverfahren elektronisch gedeutet und im Kraftfahrzeug angezeigt werden, dadurch gekennzeichnet, daß bei Erfassung von Verkehrszeichen bei entsprechenden Lichtverhältnissen eine Scheinwerfernachführung zur optimalen Ausleuchtung der Verkehrszeichen derart generiert wird, daß fahr- und fahrbahnbedingte Wipp- und Schwenkbewegungen des Fahrzeuges sowie auch der durch das Herannahen an das Verkehrszeichen sich ändernde Winkel durch entsprechende Ausgleichsbewegungen der Scheinwerferanordnung ausgeglichen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß zur Ausblendung von Streulicht oder Reflexionen und zur Vermeidung der dadurch möglichen Fehldeutung des Verkehrszeichens ein Farblichtblitz generiert und das Kamerabild entsprechend farbgefiltert wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Scheinwerfer bei vager Erkennung eines Verkehrszeichens auf dasselbe ad hoc nachgeführt werden.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Scheinwerfernachführung mittels der Ermittlung prädiktiver Streckendaten wie der Straßenführung aus dem Navigationssystem generiert wird.
Verfahren nach einem der vorhergehenden Ansprüche und Anspruch 2, dadurch gekennzeichnet, daß die Farbfilterung durch Einbringung oder Ad-hoc-Einschwenkung eines optischen Farbfilters vor das Kameraobjektiv erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche und Anspruch 2, dadurch gekennzeichnet, daß die farbselektive Filterung durch elektronische Nachbearbeitung der Kamerabildsignale erfolgt.
Einrichtung zur elektronisch logischen Erkennung von Verkehrszeichen mittels Kameraanordnung in einem Kraftfahrzeug, bei welchem die Verkehrszeichen in einer elektronischen Einheit durch Mustervergleichsverfahren elektronisch gedeutet werden und mittels visueller oder akustischer Anzeige innerhalb des Kraftfahrzeuges angezeigt werden, dadurch gekennzeichnet, daß bei Erfassung von Verkehrszeichen bei entsprechenden Lichtverhältnissen Scheinwerfernachführungsmittel (3) mit den Scheinwerfern (4) verbunden sind, die derart mit der Auswertungseinheit (2) der Kamera (1) verschaltet sind, daß fahr- und fahrbahnbedingte Wipp- und Schwenkbewegungen des Fahrzeuges sowie auch der durch das Herannnahen an das Verkehrszeichen sich ändernde Winkel durch entsprechende Ausgleichbewegung der Scheinwerferanordnung ausgleichbar sind.
Einrichtung nach Anspruch 7, dadurch gekennzeichnet, daß ein Farbblitz (13) zur Generierung von farbigen Lichtblitzen vorgesehen ist und daß die Auswerteeinheit (2) mit dem Farbblitz (13) auswertemäßig bzw. erfassungsmäßig synchronisiert ist.
Einrichtung nach Anspruch 8, dadurch gekennzeichnet, daß ein ad hoc vor die Kamera (1) schwenkbares Filter (10) vorgesehen ist.
Einrichtung nach Anspruch 9, dadurch gekennzeichnet, daß das Filter (10) mittels Blendenrad (11) schwenkbar ist.
Einrichtung nach Anspruch 8, dadurch gekennzeichnet, daß das farblich ausgeleuchtete Kamerabild elektronisch farbgefiltert wird.