-
Die
Erfindung betrifft ein Verfahren zur Kalibrierung von Bilderfassungseinrichtungen
in Fahrzeugen.
-
Moderne
Fahrzeuge umfassen Kameras zur Erfassung von Umgebungsinformationen,
welche mittels einer Rechnereinheit ausgewertet werden, um den Fahrer
bei seiner Fahrtätigkeit
zu unterstützen.
Beispielsweise werden Kameras in Verbindung mit Fahrerassistenzsystemen
zur Kollisionsvermeidung, bei Stop-and-Go-Assistenten oder bei Nachtsichtsystemen
eingesetzt. Im Rahmen einer zuverlässigen Auswertung ist dabei
die Kenntnis der genauen räumlichen
Lage der jeweiligen Kamera zum Fahrzeug oder beim Einsatz mehrerer
Kameras deren genaue räumliche
Lage zueinander erforderlich. Aufgrund von konstruktions- und/oder
montagebedingten Toleranzen beim Kameraeinbau muss daher eine Kamerakalibrierung
durchgeführt
werden, wobei die Position und/oder Orientierung der jeweiligen
Kamera(s) möglichst
genau bestimmt werden. Bei den aus dem Stand der Technik bekannten
Kamerakalibrierverfahren werden zu diesem Zweck meist speziell ausgeführte Kalibrierkörper, deren
Geometrie genau bekannt ist und welche in Bildaufnahmen eine gute Erkennbarkeit
erlauben, herangezogen. Dabei stellen die Kalibrierkörper aufgrund ihrer
bekannten Geometrie ein Messnormal für die Kalibrierung dar. Je nach
Art der verwendeten Kamera und der Größe des Kalibrierkörpers werden
bei der Kamerakalibrierung ein oder mehrere Bildaufnahmen ausgewertet. Die
Auswahl der zur Kalibrierung von Kameras im Fahrzeug verwendeten
Kalibrierungsverfahren hängt dabei
auch wesentlich vom verwendeten Kameratyp ab. Für eine erfolgreiche Kalibrierung
einer Kamera im Fahrzeug muss dabei der ungefähre Einbauort der Kamera bekannt
sein. Die Kalibrierung erfolgt vorzugsweise automatisch, ohne spezielle
Hilfsmittel und ohne spezielle Fachkenntnisse über die Kamerakalibrierung.
-
In
der
DE 102004062275
A1 werden ein Verfahren und eine Vorrichtung zum Ermitteln
eines Kalibrierparameters einer Stereokamera gezeigt. Bei der Ermittlung
eines Kalibrierparameters wird dabei die Relativbewegung der Stereokamera
und eines weiteren Objekts zueinander analysiert. Die Stereokamera
wird bei bekanntem Nick- und Wankwinkel automatisch sehr genau kalibriert,
wobei auch eine on-the-fly Kalibrierung des Stereokamerasystems während der
Fahrt mit einem Fahrzeug, in welches die Stereokamera integriert
ist, möglich
ist.
-
DE 102005000650 A1 beschreibt
eine Vorrichtung zur Erfassung visueller Daten in einem Kraftfahrzeug.
Hierbei ist eine Kamera mit dazugehöriger Optik im Innenrückspiegel
des Kraftfahrzeugs angeordnet. Für
die Kamera ist neben einer mechanischen Kalibrierungsmöglichkeit
auch eine softwaregesteuerte Kalibrierung vorgesehen. Bei der softwaregesteuerten
Kalibrierung wird der optisch aktive Bereich in Abhängigkeit
von einem Kalibriermuster auf dem Kamerachip ausgewählt. Als
Kalibriermuster wird dabei ein an der Wand befestigtes Poster vorgeschlagen.
Daneben wird für
die Kamerakalibrierung auch eine statisch ausgewertete Bildszene
vorgeschlagen, insbesondere eine längere Fahrt auf einer Straße mit durchgehenden
Linien oder regelmäßig wiederkehrenden
Objekten sowie ein erkannter Fluchtpunkt und daraus abgeleitete
Fluchttrajektorien der erkannten Linien oder Objekte.
-
Der
Erfindung liegt die Aufgabe zu Grunde, ein weiteres Verfahren zur
Kalibrierung von Bilderfassungseinrichtungen bei Fahrzeugen bereitzustellen, womit
eine einfache und zuverlässige
Kalibrierung möglich
ist.
-
Die
Aufgabe wird gemäß der Erfindung
durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen werden in den Unteransprüchen aufgezeigt.
-
Gemäß der Erfindung
wird ein Verfahren zur Kalibrierung von Bilderfassungseinrichtungen
bei Fahrzeugen bereitgestellt. Im Rahmen des Verfahrens findet eine
Erfassung von Bildinformation aus der Fahrzeugumgebung mittels wenigstens
einer dem Fahrzeug zugeordneten Bilderfassungseinrichtung statt,
wobei anhand der erfassten Bildinformation mehrere in der Umgebung
des Fahrzeugs befindliche Objekte lokalisiert werden. Anhand der
lokalisierten Objekte wird sodann die Lage der wenigstens einen
Bilderfassungseinrichtung in Bezug auf das Fahrzeug und/oder wenigstens
eine weitere dem Fahrzeug zugeordnete Bilderfassungseinrichtung bestimmt.
In einer erfinderischen Weise werden dabei geometrische Beziehungen
der in den Bildinformationen lokalisierten Objekte zueinander ausgewertet.
Durch eine Auswertung der geometrischen Beziehungen lokalisierter
Objekte zueinander wird eine einfache und zuverlässige Kalibrierung erst möglich. Hierbei
ist lediglich die Lokalisierung der für die Kalibrierung heranzuziehenden
Objekte innerhalb der Bilddaten erforderlich. Das Verfahren basiert dabei
auf einer einfachen Verarbeitungsmethode, welche schnell ist und
sich für
Echtzeitanwendungen eignet, da hierbei neben den lokalisierten Objekten keine
zusätzlichen
Größen, wie
z.B. Fluchtpunkte, Fluchttrajektorien oder andere geometrische Größen zur
Beschreibung von Objektbeziehungen in aufwendiger Weise aus den
Bilddaten abgeleitet werden müssen.
Das erfindungsgemäße Verfahren
zeichnet sich somit durch seinen geringen Verarbeitungsaufwand und
seine Schnelligkeit, wobei die Kalibrierung mit einer hohen Genauigkeit
durchgeführt
wird.
-
In
einer besonders gewinnbringenden Weise der Erfindung werden Vorgabewerte
bei der Auswertung der geometrischen Beziehungen lokalisierter Objekte
berücksichtigt.
Bei einem Vorgabewert handelt es sich hierbei insbesondere um einen
Wert bzw. eine Größe oder
einen Parameter, womit ein oder mehrere in der Umgebung eines Fahrzeugs üblicherweise
vorkommende(s) Objekt(e) oder Objektbeziehungen beschrieben werden.
Falls ein Objekt in der Fahrzeugumgebung erkannt wird, findet eine
Zuordnung des erkannten Objekts mit einem dieser Art von Objekt
zuzuordnenden Vorgabewert statt. Aufgrund der Kenntnis des Objekts
und der Zuordnung zu einem Vorgabewert wird sodann in vorteilhafter
Weise eine Kalibrierung der Bilderfassungseinrichtung durchgeführt, wobei
im Rahmen der Kalibrierung neben der Lokalisierung des/der Objekt(e)
keine weiteren Auswertungen anhand der Bildinformationen benötigt werden.
Beispielsweise handelt es sich bei derartigen Objekten um Objekte,
welche der Verkehrsinfrastruktur zuzuordnen sind (z.B. Verkehrsschilder, Leitpfosten,
Laternenmasten, Bordsteine etc.) und welche eine genormte Größe aufweisen
oder in bestimmten Abständen
zueinander angeordnet sind. Neben Objekten der Verkehrsinfrastruktur
können
zu diesem Zweck darüber
hinaus auch beliebige andere Objekte aus der Fahrzeugumgebung herangezogen werden.
-
In
einer weiteren gewinnbringenden Weise der Erfindung handelt es sich
bei einem Vorgabewert um einen in einer Speichereinheit hinterlegten
Wert. Dabei werden zu beliebigen Objekten, welche in der Fahrzeugumgebung
vorkommen können,
Vorgabewerte abgespeichert. Zu einem Objekt können auch mehrere Vorgabewerte
abgespeichert sein. Beispiele für
Vorgabewerte sind: Objekthöhe,
-breite, -tiefe, -abstände,
Oberflächenbeschaffenheit
usw., welche die Objekte beschreiben. Dabei findet die Zuordnung von
Vorgabewerten zu Objekten vorzugsweise automatisch statt. Sobald
innerhalb der Bilddaten ein Objekt lokalisiert wird, findet auch
eine eindeutige Objektidentifikation statt. Bei der Objektidentifikation kommen
hauptsächlich
Mustererkennungsalgorithmen und/oder Klassifikationsverfahren zum
Einsatz. Aufgrund der Zuordnung von normierten Vorgabewerten zu
Objekten, sind die exakten Objektgrößen oder Objektabstände bekannt
und eine genaue Kalibrierung kann ohne weitere aufwendige Bildauswertungen
durchgeführt
werden.
-
Auch
besteht im Zusammenhang mit der Erfindung in einer vorteilhaften
Weise die Möglichkeit, dass
Vorgabewerte durch einen Benutzer eingegeben werden. Im Falle einer
teilautomatischen Auswertung werden dem Fahrer in Bezug auf lokalisierte Objekte
vom System Vorgabewerte zur Zuordnung vorgeschlagen. Bei den Vorgabewerten
handelt es sich dabei einerseits um Objektvorschläge, wie
z.B. Bordstein, Laternenmast usw. und andererseits um solche Vorgabewerte,
welche das jeweilige Objekt in seinen Abmaßen und/oder Eigenschaften
spezifiziert, wie z.B. die Straßenbreite
als Abstand zwischen den Bordsteinen. Der Fahrer hat dabei die Möglichkeit
die vom System vorgeschlagenen Vorgabewerte zu korrigieren und/oder
zu bestätigen.
Auch hat der Fahrer in diesem Zusammenhang die Möglichkeit selbst Vorgabewerte
in das System einzugeben, welche sodann mittels des erfindungsgemäßen Verfahrens
verarbeitet werden. Darüber
hinaus ist es im Zusammenhang mit der Erfindung vorgesehen, dass
die Kalibrierung vollautomatisch ohne Eingaben durch den Fahrer
durchgeführt
wird.
-
Weiterhin
ist es von Vorteil, falls es sich bei einem Vorgabewert um einen
fahrzeugexternen Vorgabewert handelt. Fahrzeugexterne Vorgabewerte werden
dabei mittels einer geeigneten Kommunikationsverbindung z.B. per
Funk oder optisch in das Fahrzeug übermittelt. Eine Übermittlung
von fahrzeugexternen Vorgabewerten ist beispielsweise dann von Vorteil,
falls die Kalibrierung wiederholt am selben Ort ausgeführt wird,
z.B. mit mehreren Fahrzeugen am Bandende einer Fahrzeugfertigungsstraße oder
in der Werkstatt. Die Vorgabewerte sind in diesem Zusammenhang beispielsweise
in einem Bedienrechner hinterlegt und werden mittels der Kommunikationsverbindung
von Fahrzeug zu Fahrzeug übermittelt.
-
Bei
einem Vorgabewert kann es sich auch um eine metrische Größe handeln.
Mittels der metrischen Größe wird
beispielsweise die Objekthöhe, -breite,
-tiefe oder der Abstand zwischen Objekten beschrieben. Aufgrund
des Vorgabewerts ist die Objektgröße bekannt und durch zusätzliche
Auswertung wenigstens einer Bildaufnahme, welche das Objekt enthält, kann
in vorteilhafter Weise auf den Abstand zwischen dem Objekt und dem
Fahrzeug geschlossen werden.
-
Weiterhin
handelt es sich bei einem Vorgabewert um einen Parameter, welcher
Eigenschaften der Fahrzeugumgebung beschreibt. Mittels des Parameters
werden hauptsächlich
solche Eigenschaften angegeben, welche deren Aufbau näher beschreiben.
Beispielsweise wird dabei angegeben, dass Bordsteine und Straßen parallel
zueinander sind und Laternenmasten senkrecht dazu stehen und ebenfalls
parallel zueinander sind. Diese Information wird sodann bei der
Auswertung lokalisierter Objekte mit einbezogen.
-
Besonders
vorteilhaft ist es, falls bei der Auswertung geometrischer Beziehungen
lokalisierter Objekte ein virtueller 3-dimensionaler Körper gebildet wird.
Aufgrund der Information über
erkannte Objekte und/oder objektbezogener Vorgabewerte bzw. Parameter
ist eine besonders erfolgreiche Kalibrierung möglich, indem aus diesen Informationen
ein virtueller 3-dimensionaler Körper
mit bekannten bzw. genormten Abmessungen gebildet wird. Eine Referenzmessung
mittels eines Kalibrierkörpers
wird hierbei nicht benötigt.
Beispielsweise wird ein virtueller 3-dimensionaler Körper aus
Laternenmasten, Bordsteinen und dazugehörigen Vorgabewerten, wie z.B.
der Straßenbreite,
gebildet.
-
Auch
kann die Auswertung in vorteilhafter Weise über eine Sequenz erfasster
Bilder erfolgen. Neben einer Auswertung einer statischen Bildszene ist
es im Zusammenhang mit der Erfindung auch möglich, dass mehrere Bildaufnahmen
zum Kalibrieren der Bilderfassungseinrichtung herangezogen werden.
Hierbei werden zusätzlich
Odometriedaten des Fahrzeugs berücksichtigt,
um die zwischen zwei Bildaufnahmen zurückgelegte Wegstrecke zu ermitteln.
Damit lässt
sich sodann in einer vorteilhaften Weise das Kalibrierungsergebnis
weiter verbessern.
-
Bei
der Auswertung werden ein oder mehrere Objekt(e) in jeweils unterschiedlichen
Ansichten berücksichtigt.
In Abhängigkeit
der zu ermittelnden Kameraparameter bzw. der Parameter der Bilderfassungseinrichtung
kann es erforderlich sein, dass der Kalibrierkörper, welcher im Rahmen dieser
Erfindung durch die lokalisierten Objekte gebildet wird, in unterschiedlichen
Orientierungen und/oder unterschiedlichen Positionen gesehen werden
muss. Durch die Auswertung unterschiedlicher Ansichten wird in vorteilhafter
Weise eine genaue Kalibrierung möglich. Üblicherweise
wird dazu der Kalibrierkörper
bewegt. In der vorliegenden Erfindung wird die Bewegung des Fahrzeugs
vorzugsweise durch die beim Produktions- oder Wartungsprozess nötige Bewegung
ausgenutzt, um diese unterschiedlichen Ansichten zu erhalten.
-
Vorteilhaft
ist es auch, falls bei der Auswertung die Eigenbewegung des Fahrzeugs
und/oder der Bilderfassungseinrichtung berücksichtigt wird. Hierzu gehören beispielsweise
auch Nick-, Gier- und Wankbewegungen des Fahrzeugs. So kann beispielsweise
die Nickbewegung des Fahrzeugs beim Anhalten genutzt werden, um
Aufnahmen einer Bildszene zu erhalten, welche um die Fahrzeugquerachse
gedreht sind. Die mittels der Bilderfassungseinrichtung aufgezeichneten
Bilder werden dabei beispielsweise von einem Steuergerät des Fahrzeugs oder
einem Zusatzgerät,
beispielsweise einem Werkstatt-Laptop ausgewertet.