WO2018177954A1

WO2018177954A1 - Method and device for recording traffic signs

Info

Publication number: WO2018177954A1
Application number: PCT/EP2018/057510
Authority: WO
Inventors: Abdelkarim Belhoula
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive GmbH
Priority date: 2017-03-31
Filing date: 2018-03-23
Publication date: 2018-10-04
Anticipated expiration: 2019-09-30
Also published as: DE102017205534A1

Abstract

The invention relates to a method for electronically identifying traffic signs. The method comprises the capturing of a traffic sign by means of a camera located or mounted in a vehicle from a distance between the camera lens and the traffic sign at which identification of the traffic sign by a driver of the vehicle is not possible with the naked eye. The method also comprises the storing of the captured traffic sign in a storage device in the vehicle and the determining of whether there is occlusion of the traffic sign at a distance between the vehicle and the traffic sign at which identification of the traffic sign by the driver would be possible with the naked eye. The method then comprises the displaying of the captured and stored traffic sign on a display located in the vehicle at least if it was determined that there is occlusion.

Description

Verfahren und Einrichtung zum Aufzeichnen von Verkehrszeichen Method and device for recording traffic signs

TECHNISCHES GEBIET TECHNICAL AREA

Die Erfindung betrifft das Gebiet der Fahrassistenzsysteme. Die Erfindung betrifft im Besonderen ein Verfahren und eine Einrichtung zum Aufzeichnen von Verkehrszeichen in verdeckten Situationen . The invention relates to the field of driver assistance systems. More particularly, the invention relates to a method and apparatus for recording traffic signs in covert situations.

TECHNISCHER HINTERGRUND TECHNICAL BACKGROUND

Moderne Fahrzeuge weisen eine Vielzahl verschiedener Fahras^¬ sistenzfunktionen auf, die den Fahrer bei der Routenplanung oder bei der Führung des Fahrzeuges unterstützen. Es sind insbesondere Verfahren und Systeme zur Verkehrszeichenerkennung durch eine Kamera bekannt. Die Verkehrszeichenerkennung kann von Bedeutung sein, um einem Fahrer frühzeitig Warnhinweise zu geben, wenn es dieser verpasst hat, ein Verkehrszeichen zu registrieren. Von besonderer Bedeutung ist die Erkennung von Verkehrszeichen, wenn diese nur temporär aufgestellt, mithin nicht in einer Navigationsdatenbank oder auf einem Server vorliegen. Modern vehicles have a variety of different Fahras ^¬ assistance functions that support the driver in the route planning or in the management of the vehicle. In particular, methods and systems for traffic sign recognition by a camera are known. Traffic sign recognition may be important to give early warnings to a driver if he has missed to register a traffic sign. Of particular importance is the recognition of traffic signs, if they are only temporarily installed, and therefore not available in a navigation database or on a server.

Die DE 199 38 267 B4 betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem über eine Videokamera Verkehrszeichen erfasst, nachfolgend gedeutet und innerhalb des Fahrzeugs angezeigt werden, wobei die erkannten Verkehrszeichen in einer navigierten elektronischen Streckenkarte standortbezogen abgespeichert werden. Damit wird die elektronische Streckenkarte um die Verkehrszeichen ergänzt. Um hierbei eine zweifelsfreie Abspeicherung zu gewährleisten, sind die erkannten Verkehrszeichen vor entsprechender standortkorrelierter Abspeicherung über eine Korrektureingabemöglichkeit durch den Fahrer verifizierbar bzw. korrigierbar. Bei Wiederbefahrung der Strecke werden dem Fahrer die Verkehrszeichen auf einer Anzeige optisch oder akustisch aus der elektronischen Streckenkarte generiert und zwar innerhalb des Fahrzeuges, insbesondere für den Fall, dass ein verdecktes Verkehrszeichen vorliegt. Proble^¬ matisch bei diesem Verfahren ist jedoch ein verdecktes Verkehrszeichen beim erstmaligen Befahren. DE 199 38 267 B4 relates to a method for the electronic detection of traffic signs, in which detected by a video camera traffic signs, interpreted below and displayed within the vehicle, the recognized traffic signs are stored location-related in a navigated electronic route map. This complements the electronic route map with the traffic signs. In order to ensure unambiguous storage, the recognized traffic signs can be verified or corrected by the driver before the corresponding location-correlated storage via a correction input option. When re-examining the route, the traffic signs on a display are generated visually or acoustically from the electronic route map to the driver, namely within the vehicle, in particular for the driver Case that there is a covered traffic sign. However proble ^¬ cally in this method is a face-down road signs during the initial driving.

Liegt ein verdecktes Verkehrszeichen vor, d.h. ist ein Ver- kehrszeichen für einen Fahrer nicht erkennbar, weil sich dieses in einem Bereich befindet, wo es optisch von der Entfernung her für den Fahrer erkennbar wäre, durch einen Lastkraftwagen verdeckt ist, so kann keine Verifikation oder Korrektur durch den Fahrer erfolgen, da dieser einen Vergleich zwischen dem direkt wahrgenommenen Verkehrszeichen und dem zur Anzeige gebrachten Verkehrszeichen wegen der Verdeckung nicht vornehmen kann. Folglich funktioniert obiges Verfahren nicht für den Fall, dass beim erstmaligen Befahren das Verkehrszeichen nicht zweifelsfrei erkannt werden kann. In diesem Fall kann die elektronische Streckenkarte um das Verkehrszeichen nicht ergänzt werden und somit liegt das Verkehrszeichen auch für zukünftige verdeckte Situationen noch nicht vor. Es kann mithin sein, dass das Verkehrszeichen für den Fahrer überhaupt nicht wahrnehmbar ist, entweder weil es zu weit entfernt ist oder weil es verdeckt ist oder weil die elektronische Streckenkarte dieses noch nicht beinhaltet und es dem Fahrer nicht im Fahrzeug akustisch oder visuell angezeigt werden kann. If there is a covered traffic sign, i. If a traffic sign is not recognizable to a driver because it is located in an area where it would be visually recognizable to the driver from a distance, covered by a truck, then no verification or correction by the driver can take place this can not make a comparison between the directly perceived traffic sign and the displayed traffic sign due to the occlusion. Consequently, the above method does not work in the event that the traffic sign can not be recognized beyond doubt when first driving on. In this case, the electronic route map can not be supplemented by the traffic sign and thus the traffic sign is not yet available for future covert situations. It may thus be that the traffic sign is imperceptible to the driver at all, either because it is too far away or because it is obscured or because the electronic route map does not yet include it and the driver can not be acoustically or visually displayed in the vehicle ,

OFFENBARUNG DER ERFINDUNG DISCLOSURE OF THE INVENTION

Es ist daher Aufgabe der Erfindung, ein Verfahren und eine Einrichtung zur elektronischen Erfassung von Verkehrszeichen anzugeben, welche zu verlässig sind und sicher arbeiten. It is therefore an object of the invention to provide a method and a device for the electronic detection of traffic signs, which are too reliable and work safely.

Diese Aufgabe wird mit einem Verfahren gemäß dem unabhängigen Verfahrensanspruch und einer Vorrichtung gemäß dem unabhängigen Vorrichtungsanspruch gelöst. Die abhängigen Ansprüche betreffen vorteilhafte Ausgestaltungen. Ein Aspekt betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen. Das Verfahren beinhaltet das Erfassen eines Verkehrszeichens mittels einer in einem Fahrzeug befindlichen oder angebrachten Kamera aus einer Entfernung zwischen Kame- ralinse und dem Verkehrszeichen, bei der ein Erkennen desThis object is achieved by a method according to the independent method claim and a device according to the independent device claim. The dependent claims relate to advantageous embodiments. One aspect relates to a method for the electronic detection of traffic signs. The method involves detecting a traffic sign by means of a camera located or mounted in a vehicle from a distance between the camera lens and the traffic sign, in which a recognition of the

Verkehrszeichens durch einen Fahrer des Fahrzeugs mittels bloßen Auges nicht möglich ist. Das Verfahren beinhaltet des Weiteren das Speichern des erfassten Verkehrszeichens in einer Spei^¬ chereinrichtung im Fahrzeug sowie das Feststellen, ob eine Verdeckung des Verkehrszeichens vorliegt bei einer Entfernung zwischen Fahrzeug und dem Verkehrszeichen, bei der ein Erkennen des Verkehrszeichens durch den Fahrer mittels bloßen Auges möglich wäre. Das Verfahren beinhaltet sodann dass das Darstellen des erfassten und gespeicherten Verkehrszeichens auf einem im Fahrzeug befindlichen Display zumindest dann, wenn festgestellt wurde, dass eine Verdeckung vorliegt. Traffic sign by a driver of the vehicle by means of naked eye is not possible. The method further includes storing the detected traffic sign in a Spei ^¬ chereinrichtung in the vehicle as well as determining whether a concealment of the traffic sign is present at a distance between the vehicle and the traffic sign, in which a recognition of the traffic sign by the driver by means of naked eye would be possible , The method then includes displaying the detected and stored traffic sign on an in-vehicle display, at least when it is determined that there is occlusion.

Mithin wird eine Früherfassung eines Verkehrszeichens zu einem Zeitpunkt vorgenommen, in welchem es für den Fahrer nicht erkennbar ist. Unter erkennbar ist hier gemeint, dass das Verkehrszeichen durch den Fahrer zweifelsfrei identifiziert werden kann. Die Früherfassung kann jedoch frühestens zu einem Zeitpunkt, mithin bei einer entsprechenden Entfernung zwischen Kameralinse und Fahrzeug vorgenommen werden, bei der das Verkehrszeichen durch Zoomen und Fokussieren erkennbar wird, sei es mittels automatischer Verkehrszeichenerkennung oder manuell durch den Fahrer. Die Früherfassung dient für den Fall, dass eine Verdeckung des Verkehrszeichens, bspw. durch große Fahrzeuge wie Lastkraftwagen zu einem Zeitpunkt erfolgt, in welchem das Verkehrszeichen ohne die verdeckenden Fahrzeuge für den Fahrer zweifelsfrei erkennbar wäre. Da das Verkehrszeichen durch die Früherfassung in einem Speicher abgelegt wurde kann es auf einem Display innerhalb des Fahrzeugs, bspw. auf einem Display eines Kombigeräts oder auf einem Display eines Navigationsgerätes zur Anzeige gebracht werden. Insbesondere wird das Verkehrszeichen zumindest dann zur Anzeige gebracht, wenn festgestellt wurde, dass eine Verdeckung vorliegt. Alternativ kann durch eine Voreinstellung des Fahrers das Verkehrszeichen unabhängig von einer Verdeckung auf dem Display dargestellt werden. Thus, an early detection of a traffic sign is made at a time in which it is not recognizable to the driver. Under recognizable here means that the traffic sign can be identified by the driver beyond doubt. The early detection can, however, at the earliest at a time, and thus be made at a corresponding distance between camera lens and vehicle, in which the traffic sign by zooming and focusing is recognizable, be it by means of automatic traffic sign recognition or manually by the driver. The early detection is used in the event that a concealment of the traffic sign, for example, by large vehicles such as trucks takes place at a time in which the traffic sign without the concealing vehicles for the driver would be unambiguously recognizable. Since the traffic sign has been stored by the early detection in a memory, it can be displayed on a display within the vehicle, for example. On a display of a Kombigeräts or on a display of a navigation device Display. In particular, the traffic sign is displayed at least when it has been determined that there is occlusion. Alternatively, by presetting the driver, the traffic sign can be displayed on the display independently of occlusion.

Eine Verdeckung kann dadurch festgestellt werden, dass zunächst ein Abstand zwischen der Kameralinse der im Fahrzeug befindlichen oder einer am Fahrzeug angebrachten Kamera und dem Verkehrs^¬ zeichen ermittelt wird. Wenn dieser Abstand einen Schwellwert unterschreitet, kann sodann festgestellt werden, dass eineAn obstruction can be determined by first, a distance between the camera lens of the in-vehicle or vehicle-mounted camera and the traffic sign ^¬ is determined. If this distance falls below a threshold, it can then be determined that a

Verdeckung vorliegt, wenn kein Verkehrszeichen mittels einer Verkehrszeichenerkennung erkannt werden konnte. Obfuscation exists if no traffic sign could be detected by means of a traffic sign recognition.

Durch die Früherfassung mittels der Kamera und das unmittelbare Speichern ist es auch nicht notwendig, dass das Verkehrszeichen bereits in einer elektronischen Streckenkarte vorliegt. Es kann jedoch eine elektronische Streckenkarte um mittels der Früh^¬ fassung und anschließender automatischer Erkennung identifizierte Verkehrszeichen erweitert werden, auch dann wenn eine Verdeckung des Verkehrszeichens bei erstmaligem Befahren einer Strecke mit dem Verkehrszeichen vorliegt. Die automatische Erkennung kann mittels eines Verfahrens zur Muster- und Due to the early detection by means of the camera and the immediate storage, it is also not necessary that the traffic sign already exists in an electronic route map. However, it can be extended to an electronic route map identified by the early version ^¬ and subsequent automatic recognition of traffic signs, even if an occlusion of the road sign is present at initial driving on a route with the traffic signs. The automatic recognition can by means of a pattern and pattern

Farberkennung erfolgen. Eine Früherfassung des Verkehrszeichens ist insbesondere bei temporär zum Einsatz gebrachten Verkehrszeichen relevant, da diese regelmäßig in keiner elekt- ronischen Streckenkarte vorliegen und eine Verdeckungssituation für einen Fahrer jederzeit möglich ist. Color detection done. An early detection of the traffic sign is particularly relevant for temporarily used traffic signs, as they are regularly present in any electronic route map and a concealment situation for a driver is always possible.

Die Früherfassung des Verkehrszeichens kann insbesondere durch Zoomen und Fokussieren erfolgen. Auf diese Weise kann das Verkehrszeichen, welches zunächst mit bloßem Auge nicht lesbar ist durch die Kamera herangezoomt , erkannt und lokal gespeichert werden, bspw. in der Head-Unit im Fahrzeug. Das Heranzoomen und die Fokussierung haben den Effekt, dass das Verkehrszeichen für _n The early detection of the traffic sign can be done in particular by zooming and focusing. In this way, the traffic sign, which is initially unreadable by the naked eye can be zoomed in by the camera, detected and stored locally, for example. In the head unit in the vehicle. Zooming in and focusing have the effect that the traffic sign for _n

5 den Fahrer zweifelsfrei erkennbar ist, wenn es auf einem Display dargestellt wird. Das Heranzoomen und die Fokussierung haben darüber hinaus den Effekt, dass das Verkehrszeichen mittels automatischer Erkennung besser erkannt werden kann. Die 5 the driver is clearly recognizable when it is displayed on a display. In addition, the zoom in and the focus have the effect that the traffic sign can be better recognized by means of automatic detection. The

Früherfassung des Verkehrszeichens sollte mithin aus einer Entfernung zwischen Verkehrszeichen und Linse der Kamera erfolgen, bei der durch Heranzoomen und Focussierung eine Erkennung des Verkehrszeichens möglich ist. Die Entfernung sollte aber auch so gewählt werden, dass das Verkehrszeichen nicht verdeckt werden kann. Early detection of the traffic sign should therefore take place from a distance between the traffic sign and lens of the camera, in which by zooming in and focussing a recognition of the traffic sign is possible. The distance should also be chosen so that the traffic sign can not be hidden.

Das Erfassen des Verkehrszeichens kann das Aufnehmen einer Sequenz von Einzelbildern beinhalten. Die Verarbeitung kann mithin auf der Sequenz basieren. Das Darstellen des erfassten und gespeicherten Verkehrszeichens kann das Auswählen eines Bildes aus der Sequenz von Bildern entsprechend eines Auswahlkriteriums erfolgen. Das Auswahlkriterium kann ein bestimmter Qualitätsmaßstab sein. So kann bspw. das beste Bild ausgewählt werden. Capturing the traffic sign may include capturing a sequence of frames. The processing can therefore be based on the sequence. Presenting the detected and stored traffic sign may be done by selecting an image from the sequence of images according to a selection criterion. The selection criterion can be a specific quality standard. For example, the best picture can be selected.

Um nur die Verkehrszeichen von Interesse zu erfassen und dadurch die Bildverarbeitung gezielter und effizienter zu machen, können auch nur bestimmte Verkehrszeichen, die sich im Blickfeld der Kamera befinden, berücksichtig werden. Mithin kann das Erfassen eines Verkehrszeichens das Filtern von Verkehrszeichen nach einem oder mehreren Filterkriterien beinhalten. Die Filterkriterien können insbesondere sein der Ort, an welchem sich ein Verkehrszeichen befindet. Bspw. können nur Verkehrszeichen, die sich an der rechten Seite der Fahrbahn befinden oder nur die in Fahrrichtung Berücksichtigung finden. Es können Verkehrszeichen nach der Form der Verkehrszeichen oder nach der Form der Schilder, auf denen Sie angebracht sind, gefiltert werden. Bspw. können nur rechteckige Verkehrszeichen oder Schilder Berücksichtigung finden. Die Verkehrszeichen können nach der Größe der Verkehrszeichen oder nach der Größe der Schilder, auf denen sie sich befinden, gefiltert werden. Ein weiteres Filterkriterium ist der überwiegende im Bild vorhandene Farbanteil. To capture only the traffic signs of interest and thereby make the image processing more targeted and efficient, only certain traffic signs that are in the field of view of the camera can be considered. Thus, detecting a traffic sign may include filtering traffic signs according to one or more filter criteria. In particular, the filter criteria may be the location at which a traffic sign is located. For example. Only traffic signs located on the right side of the road or only those in the direction of travel can be considered. Traffic signs can be filtered according to the shape of the traffic signs or the shape of the signs on which they are attached. For example. only rectangular traffic signs or signs can be considered. The traffic signs may vary according to the size of the traffic signs or according to the size of the signs on which they are be filtered. Another filter criterion is the predominant color component present in the image.

Es kann auch eine Filterung der Darstellung des Verkehrszeichens auf dem Display erfolgen. Hierbei können zunächst erfasste und gespeicherte Verkehrszeichen mit einer Vielzahl von in einer Datenbank gespeicherten relevanten Verkehrszeichen verglichen werden. Ergibt dieser Vergleich, dass es sich um ein relevantes Verkehrszeichen handelt, so wird dieses auf dem Display dar^¬ gestellt. Ein weiterer Aspekt betrifft ein Fahrassistenzsystem. Dieses hat eine Kamera und ist eingerichtet zum Erfassen eines Ver^¬ kehrszeichens aus einer Entfernung zwischen Fahrzeug und dem Verkehrszeichen, bei der ein Erkennen mittels bloßen Auges nicht möglich ist. Dieses hat darüber hinaus eine Speichereinrichtung eingerichtet zum Speichern des erfassten Verkehrszeichens ; sowie einen Prozessor, eingerichtet zum feststellen, ob eine Ver- deckung des Verkehrszeichens vorliegt bei einer Entfernung zwischen Fahrzeug und dem Verkehrszeichen, bei der ein Erkennen mittels bloßen Auges möglich ist; und ein It is also possible to filter the presentation of the traffic sign on the display. In this case, initially detected and stored traffic signs can be compared with a plurality of relevant traffic signs stored in a database. If this comparison shows that it is a relevant road signs, so this is on the display of set ^¬. Another aspect concerns a driver assistance system. This has a camera and is configured to detect Ver ^¬ periodic character from a distance between the vehicle and the road signs, in which a detecting means of the naked eye is not possible. This has also set up a memory device for storing the detected traffic sign; and a processor configured to determine whether there is concealment of the traffic sign at a distance between the vehicle and the traffic sign, in which recognition by means of a naked eye is possible; and a

Display, eingerichtet zum Darstellen des erfassten und ge^¬ speicherten Verkehrszeichens zumindest dann, wenn festgestellt wurde, dass eine Verdeckung vorliegt. Display, configured to display the detected and ge ^¬ stored traffic sign at least when it was determined that there is a masking.

KURZFASSUNG DER FIGUREN Die Erfindung wird im Folgenden an Hand von Ausführungsbeispielen mit Bezug auf Figuren beschrieben. Es zeigen BRIEF DESCRIPTION OF THE FIGURES The invention will be described below with reference to embodiments with reference to figures. Show it

Fig. 1 eine schematische Darstellung einer Verkehrssitua^¬ tion, in der ein Verkehrszeichen für einen Fahrer aufgrund der Entfernung nicht erkennbar ist; Fig. 2 eine schematische Darstellung einer Verkehrssituation, in der ein Verkehrszeichen für einen Fahrer aufgrund einer Verdeckung durch Lastkraftwagen nicht erkennbar ist ; Fig. 3 eine schematische Darstellung eines Autobahnabschnitts mit einer Wechselzeichen-anlage und einem temporär aufgestellten Verkehrsschild; und Figure 1 is a schematic representation of a Verkehrssitua ^¬ tion in which a traffic sign for a driver due to the distance is not recognizable. FIG. 2 shows a schematic illustration of a traffic situation in which a traffic sign for a driver can not be recognized due to a masking by trucks; FIG. 3 shows a schematic representation of a motorway section with a change sign system and a temporarily erected road sign; and

Fig. 4 ein Flussdiagramm für ein Verfahren zur elektronischen 4 shows a flow chart for a method for electronic

Erkennung von Verkehrszeichen. Detection of traffic signs.

DETAILLIERTE BESCHREIBUNG DETAILED DESCRIPTION

Fig. 1 zeigt eine schematische Darstellung einer Verkehrssi^¬ tuation 100 auf einem Autobahnabschnitt 102 mit zwei Fahrspuren. Auf der rechten Fahrspur fährt ein Fahrzeug 110. Dem Fahrzeug 110 fahren auf der rechten Fahrspur zwei Lastkraftwagen 106, 108 voraus. In Sichtverbindung zu dem Fahrzeug 104 befindet sich in ein Verkehrsschild 104 in einer Entfernung, bei der das auf dem Verkehrsschild angebrachte Verkehrszeichen für den Fahrer des Fahrzeuges noch nicht erkennbar ist. Allerdings befindet sich das Verkehrsschild in einer Entfernung, bei der eine Sichtverbindung zwischen Fahrzeug und Verkehrsschild besteht. Aus diesem Grund kann bei dieser Entfernung eine Früherfassung des Verkehrsschildes mittels einer Kamera erfolgen. Dies wird in Zusammenhang mit dem Flussdiagramm in Fig. 4 beschrieben. Die Früherfassung des Verkehrsschildes 104 erfolgt durch fortlaufendes Erfassen mit einer Kamera 402. Hierbei wird der Raum vor dem Fahrzeug oder seitlich davon erfasst. Die Kamera weist einen Prozessor auf oder ist mit einem Prozessor verbunden. In dem Prozessor befindet sich ein Softwaremodul zum Erkennen von Verkehrsschildern 404, bspw. basierend auf einem Mustervergleichsverfahren. Wird beim fortlaufenden Erfassen der Umgebung ein Verkehrsschild 104 erkannt, so steuert das Softwaremodul die Kamera so an, dass ein Zoomen 406 des Verkehrsschildes 104 erfolgt. Das so herangezoomte Verkehrsschild wird in Schritt 408 aufgenommen und in Schritt 410 gespeichert . Fig. 2 zeigt eine Verdeckungssituation 200 auf dem Autobahnabschnitt 202. Das Fahrzeug 210 befindet sich in einer Entfernung zu dem Verkehrsschild 204 bei der ein Erkennen des sich auf dem Verkehrsschildes 204 abgebildeten Verkehrszeichens für den Fahrer mit bloßem Auge möglich wäre, wenn das Verkehrsschild 204 nicht durch die beiden Lastkraftwagen 206, 208 verdeckt wäre. Es wird angenommen, dass diese Verdeckungssituation zumindest seit einem Zeitpunkt bestand, wo ein Erkennen mittels bloßen Auges noch nicht möglich war. Folglich war es für den Fahrer des Fahrzeuges 210 überhaupt nicht möglich, das Verkehrszeichen zu erkennen. Allerdings hat zum Zeitpunkt der Verdeckung eineFig. 1 shows a schematic representation of a situation Verkehrssi ^¬ 100 on a section of highway 102 having two lanes. In the right lane, a vehicle 110 drives. The vehicle 110 is preceded by two lorries 106, 108 in the right lane. In visual contact with the vehicle 104 is in a traffic sign 104 at a distance at which the traffic sign mounted on the road sign for the driver of the vehicle is not yet recognizable. However, the road sign is located at a distance where there is a line of sight between the vehicle and the traffic sign. For this reason, at this distance an early detection of the traffic sign can be done by means of a camera. This will be described in connection with the flowchart in FIG. The early detection of the traffic sign 104 is carried out by continuous detection with a camera 402. Here, the space in front of the vehicle or laterally detected. The camera has a processor or is connected to a processor. In the processor is a software module for recognizing traffic signs 404, for example, based on a pattern matching method. If the environment is detected continuously a traffic sign 104 detected, the software module controls the camera so that zooming 406 of the road sign 104 is done. The traffic sign zoomed in this way is recorded in step 408 and stored in step 410. FIG. 2 shows a concealment situation 200 on the freeway section 202. The vehicle 210 is located at a distance from the traffic sign 204, in which recognition of the traffic sign shown on the traffic sign 204 would be possible for the driver with the naked eye, if the traffic sign 204 is not would be covered by the two trucks 206, 208. It is assumed that this occlusion situation existed at least since a time when detection using a mere eye was not yet possible. Consequently, it was not at all possible for the driver of the vehicle 210 to recognize the traffic sign. However, at the time of occlusion a

Früherfassung des Verkehrszeichens wie in Zusammenhang mit Fig. 1 beschrieben, bereits stattgefunden, so dass in diesem Zeitpunkt das frühzeitig erfasste und gespeicherte Verkehrszeichen dem Fahrer zur Anzeige gebracht werden kann. Dies wird wieder in Zusammenhang mit dem Flussdiagramm in Fig. 4 beschrieben. Early detection of the traffic sign as described in connection with FIG. 1, already taken place, so that at this time the early detected and stored traffic sign can be brought to the driver for display. This will be described again in connection with the flowchart in FIG.

In dem Prozessor befindet sich ein Softwaremodul zur Identi^¬ fikation von Lastkraftwagen 412. Das Softwaremodul kann einen Algorithmus zur Mustererkennung beinhalten. Werden Lastkraftwagen auf fortlaufend mit der Kamera aufgenommenen Bildern identifiziert, so wird in Schritt 414 untersucht, ob eineIn the processor is a software module for Identi ^¬ fication of trucks 412. The software module may include an algorithm for pattern recognition. If trucks are identified on images taken continuously with the camera, it is examined in step 414 whether a

Verdeckung durch Lastkraftwagen vorliegt. Wird in Schritt 414 ein Verdeckung bspw. dadurch festgestellt, dass keine Erkennung des Verkehrszeichen durch eine algorithmische Verkehrszeichenerkennung mehr erfolgen kann, obwohl dies von der Entfernung her noch möglich sein müsste, so wird das durch die Früherfassung gespeicherte Verkehrszeichen dem Fahrer in Schritt 416 ange^¬ zeigt. Wird hingegen festgestellt, dass keine Verdeckung vorliegt, so wird das Verkehrszeichen in Schritt 418 dem Fahrer nur angezeigt, wenn dies vor vom Fahrer so vorabeingestellt wurde. Hierfür kann eine Ein/Ausgabeschnittstelle vorgesehen sein, welche mit dem Prozessor und mit der Kamera mittelbar verbunden ist, mit welcher die Fahrer die Vorabeinstellung vornehmen kann. Die Anzeige des Verkehrszeichens kann dabei optisch sein, oder aber auch akustisch unterstützt sein durch eine Lautsprecheransteuerung. Es kann vorgesehen sein, dass nur bestimmte Verkehrszeichen angezeigt oder aber überhaupt erst gespeichert werden. Dies wird weiter unten in Zusammenhang mit Fig. 3 erläutert. Covering by truck is present. In step 414, a masking example. Thereby determined that no recognition of road signs by an algorithmic traffic sign recognition can be done more, although this would still be possible on the distance here, so that is saved by the early detection of traffic signs the driver is in step 416 ^¬ shows. On the other hand, if it is determined that there is no occlusion, the traffic sign becomes the driver in step 418 only displayed if this has been set in advance by the driver. For this purpose, an input / output interface can be provided, which is indirectly connected to the processor and to the camera, with which the driver can make the pre-adjustment. The display of the traffic sign can be optical, or be supported acoustically by a speaker control. It can be provided that only certain traffic signs are displayed or even stored. This will be explained below in connection with FIG.

Der Prozessor, welcher die Softwaremodule zum Erkennen von Verkehrsschildern, zur Identifikation von Lastkraftwagen und zum Feststellen einer Verdeckung ausführt, muss sich nicht in der Kamera befinden. Er kann alternativ an beliebiger Stelle im Fahrzeug installiert sein und mit der im Fahrzeug verbauten Kamera verschaltet sei. The processor, which executes the software modules for recognizing traffic signs, for identifying trucks and for detecting obstruction, need not be in the camera. Alternatively, it can be installed anywhere in the vehicle and connected to the camera installed in the vehicle.

Ein auf diese Weise durch Früherfassung erkanntes Verkehrs^¬ zeichen kann in einer elektronischen Streckenkarte ergänzt werden. Die elektronische Streckenkarte kann in einem Navi- gationsrechner abgelegt sein, welcher mit dem Prozessor, welcher die Softwaremodule zum Erkennen von Verkehrsschildern oder Verkehrszeichen ausführt, verbunden sein kann. Durch eine Korrelation von Verkehrszeichenerkennung und Navigationssystem erfolgt eine ortsbezogene Verkehrszeichenzuordnung in Hinblick auf die elektronisch gespeicherte Streckenkarte. A sign in this way recognized by early detection of traffic ^¬ may be supplemented in an electronic route map. The electronic route map can be stored in a navigation computer which can be connected to the processor which executes the software modules for recognizing traffic signs or traffic signs. By a correlation of traffic sign recognition and navigation system is a location-related traffic sign assignment with regard to the electronically stored route map.

Fig. 3 zeigt eine schematische Darstellung eines Autobahnab^¬ schnitts 302 mit einer Wechselzeichenanlage 304 mit Wechsel^¬ zeichen 306 und 308 und einem temporär aufgestellten Verkehrsschild 310. Im Softwaremodul zum Erkennen von Verkehrs- schildern kann ein Filterverfahren ausgeführt werden, mit welchem bestimmte Verkehrsschilder oder Verkehrszeichen gefiltert werden. Dabei kann ein Abgleich mit einer in einem Speicher befindlichen Datenbank von relevanten Verkehrsschildern erfolgen. Bei einer über der Fahrbahn befindlichen Wechselzeichenanlage 304 kann davon ausgegangen werden, dass deren Verkehrszeichen 306, 308 grundsätzlich nicht durch einen Lastkraftwagen verdeckt werden können. Deswegen können Verkehrszeichen von Wechselzeichenanlagen herausgefiltert werden. Alternativ können dennoch bestimmte Verkehrszeichen von Fig. 3 shows a schematic representation of a Autobahnab ^¬ section 302 with an alternating mark exchange 304 with exchange ^¬ sign 306 and 308, and a temporarily erected traffic sign 310 may describe the software module for recognizing traffic a filter process are performed, with which certain traffic signs or traffic signs be filtered. This can be a comparison with one in one Store database of relevant traffic signs done. In an over-the-road sign system 304 can be assumed that their traffic signs 306, 308 can not be covered by a truck in principle. That is why traffic signs can be filtered out of billboards. Alternatively, certain traffic signs of

Wechselzeichenanlagen zu einer optischen oder akustischen Anzeige gebracht werden, bspw. wenn es sich um Geschwindig- keitsbegrenzungen handelt und festgestellt wird, dass eine Geschwindigkeitsüberschreitung des Fahrzeugs vorliegt. Verkehrszeichen von Wechselzeichenanlagen werden jedoch nicht mit der elektronischen Streckenkarte verknüpft. For example, when it comes to speed limits and it is determined that there is a vehicle overspeed. However, traffic signs of billboards are not linked to the electronic route map.

Das temporäre Verkehrsschild 310 kann hingegen entsprechend seiner Form und Farbe ebenfalls einem Filterverfahren unterworfen werden. Hierbei können Verkehrszeichen herausgefiltert werden, die für die gegenwärtige Streckenplanung irrelevant sind, bspw. Umleitungsschilder, die zu einem Zielort umleiten, welcher nicht angefahren wird. Derartige Verkehrszeichen werden weder gespeichert, noch zur Anzeige gebracht noch in einer Datenbank hinterlegt. The temporary traffic sign 310, on the other hand, can likewise be subjected to a filtering process in accordance with its shape and color. This traffic signs can be filtered out, which are irrelevant to the current route planning, for example. Diversion signs that redirect to a destination that is not approached. Such traffic signs are neither stored nor displayed or stored in a database.

Ein Aspekt betrifft ein Computerprogrammprodukt zum Ausführen des Verfahrens. One aspect relates to a computer program product for carrying out the method.

Claims

A method for electronic detection of traffic signs, comprising:

Detecting a traffic sign by means of a camera located or mounted in a vehicle from a distance between the camera lens and the traffic sign, in which a recognition of the traffic sign by a driver of the vehicle by means of naked eye is not yet possible and in which there is a line of sight between the camera lens and the traffic sign ;

Storing the detected traffic sign in a memory device in the vehicle;

Determine whether there is a concealment of the traffic sign at a distance between the vehicle and the traffic sign, in which a recognition of the traffic sign by the driver of the vehicle by means of mere eye would be possible by:

Determining a distance between a camera lens of the vehicle mounted or mounted camera and the traffic sign; and

if this distance falls below a threshold:

Determining that there is occlusion if no traffic sign could be detected by traffic sign recognition; and

Presenting the detected and stored traffic sign on a display in the vehicle at least when it has been determined that there is a concealment.

2. The method of claim 1, wherein the distance between camera lens and traffic sign is a distance at which the traffic sign can be detected by zooming and focusing and wherein the detection of the traffic sign is effected by zooming and focusing.

The method of claim 1 or 2, wherein detecting the traffic sign includes capturing a sequence of images.

4. The method of claim 3, wherein presenting the detected and stored traffic sign is to select an image from the sequence of images according to a selection criterion.

5. The method of claim 1, wherein detecting the traffic sign includes filtering traffic signs according to one or more filter criteria.

6. The method of claim 5, wherein the filter criteria comprise at least one of the following: location of the traffic sign, shape of the traffic sign, size of the traffic sign, on ^¬ weighing color component.

The method of any one of claims 1 to 6, wherein the method further comprises:

Comparing the detected and stored traffic sign with a plurality of relevant traffic signs stored in a database for identification as a relevant traffic sign; and

Display the traffic sign on the display only if the detected and stored traffic sign has been classified as relevant.

8. The method of claim 1, further comprising: displaying the detected and stored traffic sign on an in-vehicle display even if it has been determined that there is no occlusion if this has been preset.

9. Driver assistance system comprising:

Camera for use in or on a vehicle, wherein the camera is adapted to detect a traffic sign from a Distance between the camera lens and the traffic sign, in which detection by means of a naked eye by a driver of the vehicle is not yet possible and in which there is a line of sight between the camera lens and the traffic sign;

Memory means adapted to store the detected traffic sign;

Processor arranged to determine whether the traffic sign is obscured at a distance between the vehicle and the traffic sign, in which recognition of the traffic sign by the driver by means of a naked eye would be possible by:

if this distance falls below a threshold:

Display configured to display the detected and stored traffic sign at least when it has been determined that there is occlusion.