DE102014206704B4

DE102014206704B4 - Aktualisierung der kalibrierung einer verkehrskamera unter verwendung einer szenenanalyse

Info

Publication number: DE102014206704B4
Application number: DE102014206704.9A
Authority: DE
Inventors: Wencheng Wu; Edul N. Dalal; Raja Bala
Original assignee: Conduent Business Services LLC
Current assignee: Conduent Business Services LLC
Priority date: 2013-04-23
Filing date: 2014-04-07
Publication date: 2024-05-02
Anticipated expiration: 2034-04-08
Also published as: DE102014206704A1; US9185402B2; JP2014217052A; US20140313347A1; JP6464337B2

Abstract

Verfahren zum Aktualisieren der geometrischen Kalibrierung einer Kamera unter Verwendung einer Szenenanalyse, wobei das Verfahren folgende Schritte umfasst:- Empfangen ursprünglicher Parameter der geometrischen Kalibrierung mit Bezug auf die Kamera;- Auffinden von Referenzinteressenpunkten aus einem ursprünglichen Referenzeinzelbild in einer Szene, die von der Kamera erfasst wird;- Anwenden der Parameter der geometrischen Kalibrierung auf Bildkoordinaten der aufgefundenen Referenzinteressenpunkte, um Echtwelt-Koordinaten der aufgefundenen Referenzinteressenpunkte bereitzustellen;- Analysieren einer Teilmenge eines Videodatenstroms von der Kamera, um Merkmalspunkte einer aktuellen Szene zu identifizieren, die von der Kamera aufgenommen wird, die mit den aufgefundenen Referenzinteressenpunkten übereinstimmen;- Bereitstellen einer aktuellen Aktualisierung der Parameter der geometrischen Kalibrierung mit Bezug auf die aktuelle Szene, und- Messen der Änderungen zwischen der aktuellen Szene und der erfassten Szene, um eine ursprüngliche Kalibrierung der Kamera abzuleiten, unter Verwendung mindestens eines von:- einem Unterschied zwischen den Bildpixelkoordinaten der identifizierten Merkmalspunkte einer aktuellen Szene und den Bildpixelkoordinaten der aufgefundenen Referenzinteressenpunkte;- einem Unterschied zwischen den Echtwelt-Koordinaten der identifizierten Merkmalspunkte einer aktuellen Szene und den Echtwelt-Koordinaten der aufgefundenen Referenzinteressenpunkte; und- einem Unterschied zwischen den Kamerakalibrierungsparametern, die aus den Bildpixelkoordinaten und den Echtwelt-Koordinaten identifizierter Merkmalspunkte einer aktuellen Szene abgeleitet werden, und den ursprünglichen Kalibrierungsparametern, um Beurteilungsdaten zu generieren, um mindestens eine von Neukalibrierung, Wartung und Diagnose der Kamera auszulösen.

Description

GEBIET DER ERFINDUNG
Die Ausführungsformen betreffen im Allgemeinen Verfahren und Systeme zur Bildverarbeitung. Ferner betreffen die Ausführungsformen Verfahren und Systeme zur videobasierten Überwachung. Die Ausführungsformen betreffen auch Verkehrs- und Videokameras.
ALLGEMEINER STAND DER TECHNIK
Die geometrische Kalibrierung einer Kamera, insbesondere die Umwandlung von Bildpixelkoordinaten in Echtwelt-Koordinaten, ist ein kritischer Schritt für diverse bildbasierte und videobasierte Transportanwendungen, wie etwa Geschwindigkeitskontrolle, Parken auf der Straße usw. Die einfachste Vorgehensweise besteht darin, zeitweilig sichtbare Markierungen mit bekannten Echtwelt-Abmessungen aufzustellen, manuell ein Foto/Video von der Szene aufzunehmen, manuell die Pixelkoordinaten dieser Markierungen zu identifizieren und dann standardmäßige Kamerakalibrierungstechniken zu verwenden, um geeignete Transformationen abzuleiten. Ein derartiges Verfahren kann arbeitsaufwendig und/oder für den Verkehrsfluss störend sein. Eine andere Möglichkeit besteht darin, ein Testfahrzeug zu fahren, das Zielobjekte mit bekannten Dimensionen durch das Blickfeld der Kamera trägt.
Unabhängig davon, wie die ursprüngliche Kamerakalibrierung vorgenommen wird, verschlechtert sich die Genauigkeit der Kalibrierung mit der Zeit und ist schließlich nicht mehr in der Lage, die verlangte Funktion angemessen zu erfüllen. Es werden Systeme und Verfahren zum Korrigieren und Pflegen der Kamerakalibrierung benötigt.
KURZDARSTELLUNG
Die geometrische Kalibrierung einer Kamera, insbesondere die Umwandlung von Bildpixelkoordinaten in Echtwelt-Koordinaten, ist ein kritischer Schritt für diverse bildbasierte und videobasierte Transportanwendungen, wie etwa Geschwindigkeitskontrolle, Parken auf der Straße usw. Da im Moment so viele Kameras im Gebrauch sind, wird die effektive und effiziente Kamerakalibrierung mit minimaler Unterbrechung des normalen Verkehrs zu einer Herausforderung.
Es ist demnach ein Aspekt der offenbarten Ausführungsformen, eine Reihe von Bildern, die jeweils zu einem anderen Zeitpunkt aufgenommen werden, von einer Verkehrskamera zu empfangen, die positioniert ist, um eine Szene abzubilden, die eine Straße, einen Weg oder eine Kreuzung umfasst. In der Szene gibt es zahlreiche abgebildete Punkte.
Es ist ein weiterer Aspekt der Ausführungsformen, einen Satz rechnerunabhängiger Kalibrierungsdaten zur Verwendung als Kalibrierungsdatensatz des Systems zur Verkehrsanalyse und Verkehrsüberwachung zu speichern. Eine spätere rechnerabhängige Kalibrierung kann Aktualisierungen oder Ersatzdaten für den Kalibrierungsdatensatz bereitstellen. Ein Modul zum Analysieren der Szenenposition kann bei einigen Ausführungsformen verwendet werden, um für eine Teilmenge der abgebildeten Punkte aus dem Kalibrierungsdatensatz und einem oder mehreren Einzelbildern der Bildreihe dreidimensionale Positionsdaten zu erzeugen.
Es ist noch ein weiterer Aspekt der Ausführungsformen, einen Algorithmus zum Auffinden von Referenzpunkten umzusetzen, der einen Satz von Referenzpunkten aus den abgebildeten Punkten identifiziert. Die Referenzpunkte können im Hinblick auf Referenzpunkt-Teilbilder in den Bilddaten aufgefunden werden. Eine Referenzpunktbeschreibung kann die Referenzpunkte beschreiben und wird an ein Modul zum Identifizieren von Referenzpunkten weitergegeben. Das Modul zum Identifizieren von Referenzpunkten kann die Referenzpunkte in den Bilddaten ausfindig machen und Referenzpunkt-Bildpositionsdaten erzeugen, die beschreiben, wo in den Bildern jedes der Referenzpunkt-Teilbilder zu finden ist. Das Modul zum Analysieren der Szenenposition kann Referenzpunkt-Positionsdaten bestimmen, welche die dreidimensionale Position jedes der Referenzpunkte beschreiben.
Es ist noch ein weiterer Aspekt der Ausführungsformen, dass ein rechnerabhängiges Kalibrierungsmodul einen rechnerabhängigen Kalibrierungsdatensatz aus den Referenzpunkt-Positionsdaten und den Referenzpunkt-Bildpositionsdaten bestimmt. In diesem Zusammenhang bezieht sich eine „Position“ auf Echtwelt-Koordinaten und eine „Bildposition“ bezieht sich auf Pixelkoordinaten. Ein Modul zum Aktualisieren der Kalibrierung kann den rechnerabhängigen Kalibrierungsdatensatz zur Verwendung als Kalibrierungsdatensatz annehmen, um dadurch das System im Verlauf der Zeit automatisch neu zu kalibrieren.
Generell werden Verfahren und Systeme zum Aktualisieren der geometrischen Kalibrierung einer Kamera, die eine Szenenanalyse verwenden, offenbart. Es können geometrische Kalibrierungsparameter mit Bezug auf eine oder mehrere Kameras und ausgewählte Interessenpunkte mit bekannten Echtwelt-Koordinaten in einer Szene, die von einer oder mehreren dieser Kameras erfasst wird, abgeleitet werden. Die geometrischen Kalibrierungsparameter der Kamera können auf Bildkoordinaten der ausgewählten Referenzinteressenpunkte angewendet werden, um Echtwelt-Koordinaten zu einem Zeitpunkt der ursprünglichen Kalibrierung der Kamera(s) bereitzustellen. Eine Teilmenge des Videodatenstroms von der oder den Kamera(s) kann dann analysiert werden, um Merkmale einer aktuellen Szene, die von der oder den Kamera(s) aufgenommen wird, die den ausgewählten Referenzinteressenpunkten entsprechen, zu identifizieren und eine aktuelle Aktualisierung der geometrischen Kalibrierungsparameter der Kamera mit Bezug auf die aktuelle Szene bereitzustellen.
KURZE BESCHREIBUNG DER FIGUREN
Es zeigen:

- 1 eine Verkehrskamera, die eine Szene überwacht, gemäß den Aspekten der Ausführungsformen;
- 2 ein höheres Blockdiagramm eines Systems zur Verkehrsanalyse und Verkehrsüberwachung gemäß den Aspekten der Ausführungsformen;
- 3 einen Bediener, der Referenzpunkte bestätigt, gemäß den Aspekten der Ausführungsformen;
- 4 gewisse verwaltungstechnische Aktivitäten für Kalibrierungsdaten, gemäß den Aspekten der Ausführungsformen;
- 5 die Referenzpunktverwaltung gemäß den Aspekten der Ausführungsformen;
- 6 einen Bediener, der mit einem System zur Verkehrsanalyse und Verkehrsüberwachung interagiert, gemäß den Aspekten der Ausführungsformen;
- 7 ein höheres Ablaufschema für die Kamerakalibrierung, gemäß den Aspekten der Ausführungsformen;
- 8 eine beispielhafte Kalibrierungsabbildung gemäß den Aspekten der Ausführungsformen;
- 9 eine Fahrbahn mit Referenzinteressenpunkten, gemäß den Aspekten der Ausführungsformen;
- 10 eine Grafik, die das Blickfeld (FOV) der Kamera in Echtwelt-Koordinaten für mehrere Werte der Höhe Z über einer Straßenoberfläche darstellt; und
- 11 eine Grafik, die Daten abbildet, welche die sich ergebenden RPI aus einer Umsetzung unter Verwendung von SURF-Merkmalen in einem Einzelbild eines Testvideos, das an einem Live-Testort erfasst wird, angeben.

AUSFÜHRLICHE BESCHREIBUNG
Eine einfache Vorgehensweise zur Kamerakalibrierung umfasst das zeitweilige Aufstellen von sichtbaren Markierungen mit bekannten Echtwelt-Abmessungen, das manuelle Aufnehmen eines Fotos/Videos der Szene, das manuelle Identifizieren der Pixelkoordinaten dieser Markierungen und dann das Verwenden standardmäßiger Kamerakalibrierungstechniken, um geeignete Transformationen für die geometrische Kalibrierung der Kamera abzuleiten. Ein derartiges Verfahren kann arbeitsaufwendig und/oder für den Verkehrsfluss störend sein. Eine bessere Lösung wird in der US-Patentanmeldung 13/371,068 besprochen, wobei ein Testfahrzeug, das Zielobjekte mit bekannten Dimensionen trägt, durch das Blickfeld der Kamera gefahren werden kann, und wobei dann diverse automatisierte Verarbeitungsalgorithmen auf die erfassten Daten angewendet werden, um die Kamerakalibrierung abzuleiten. Die US-Patentanmeldung 13/371,068 wird hiermit zur Bezugnahme vollständig übernommen und nachstehend mit Wu bezeichnet.
Unabhängig davon, wie die ursprüngliche Kamerakalibrierung erfolgt, verschlechtert sich die Genauigkeit der Kamerakalibrierung mit der Zeit und ist schließlich nicht mehr in der Lage, die verlangte Funktion angemessen zu erfüllen. Diese Verschlechterung kann allmählich sein, oder sie kann plötzlich sein, und kann auf Ursachen zurückzuführen sein, wie etwa auf eine unbeabsichtigte Einwirkung auf das Kameragehäuse. Ein vollständiges Versagen (z.B. ein unterbrochenes Kabel) ist durch automatische Mittel ohne Weiteres zu ermitteln, doch die Ermittlung von fast unmerklichen Verschlechterungen ist schwieriger, insbesondere ohne manuelle Kontrolle. Es ist somit die Aufgabe der vorliegenden Erfindung, ein Verfahren zum Aktualisieren der Kalibrierung vorzuschlagen, das nur Szenenmerkmale verwendet, und zwar unabhängig davon, wie die ursprüngliche Kalibrierung erfolgt.
Es sei zu beachten, dass die folgenden Begriffe definiert und hier wie folgt verwendet werden können:

Referenzpunkte = Punkte (z.B. ein Ende eines Laternenpfahls oder Straßenmarkierungen), deren Echtwelt-Koordinaten bestimmt werden, während die ursprüngliche Kalibrierung als gültig bekannt ist; und die durch SIFT, SURF usw. entdeckt werden.
Merkmalspunkte = ähnliche Punkte zum aktuellen Zeitpunkt (z.B. wenn eine ursprüngliche Kalibrierung vielleicht nicht mehr gültig ist) - und eine Teilmenge dieser Punkte, die mit den Referenzpunkten übereinstimmt, ist auswählbar.
Auffinden = erstmaliges Finden der Referenzpunkte.
Identifizieren = Finden der Merkmalspunkte, die mit den Referenzpunkten übereinstimmen.

1 bildet ein Blockdiagramm eines Systems ab, das eine Verkehrskamera 101 (z.B. eine Videokamera) zum Überwachen einer Szene 102 umfasst, gemäß den Aspekten der offenbarten Ausführungsformen. Wie in 1 gezeigt, kann die Szene 102 beispielsweise eine Straße, einen Weg oder eine Kreuzung usw. mit Verkehr 107 umfassen. Es gibt zahlreiche abgebildete Punkte in der Szene 102, von denen einige als Referenzpunkte 122 zum Kalibrieren der Verkehrskamera 101 verwendet werden können. Die Verkehrskamera 101 kann eine abgebildete Zeitreihe erzeugen, wie etwa einen Videodatenstrom. Die abgebildete Zeitreihe 108 besteht aus einer gewissen Anzahl von Einzelbildern oder Bilddaten 109, 110, 111, die jeweils zu einem anderen Zeitpunkt aufgenommen werden. Die Bilder werden der Bilddateneingabe eines Systems zur Verkehrsanalyse und Verkehrsüberwachung 113 zugeführt.
Das System zur Verkehrsanalyse und Verkehrsüberwachung 113 kann eine gewisse Anzahl von Modulen und Datensätzen umfassen. Unter den Modulen befindet sich ein Modul zum Aktualisieren der Kalibrierung 121, das rechnerabhängige Kalibrierungsdaten 115 zur Verwendung bei der Aktualisierung eines Kalibrierungsdatensatzes 114 annehmen kann. Es handelt sich um den Kalibrierungsdatensatz, der verwendet wird, um die Echtwelt-Koordinaten zu bestimmen, die den einzelnen Pixeln oder Teilbildern innerhalb der abgebildeten Zeitreihe entsprechen. Ein rechnerunabhängiger Kalibrierungsdatensatz 112 kann als Kalibrierungsdatensatz 114, insbesondere als ursprüngliche Kalibrierung, verwendet werden.
Das System zur Verkehrsanalyse und Verkehrsüberwachung 113 kann ein Kalibrierungsprotokoll 116, Verkehrsdaten 117, Verkehrsstatistik 118 und Beweise für Verkehrsübertretungen 119 erzeugen. Es sei zu beachten, dass sich die vorliegende Beschreibung auf typische Verkehrsinformationen konzentriert, die für die Verwendung der Kalibrierung zur Geschwindigkeitsmessung/ Geschwindigkeitskontrolle relevant sind. Ein Kalibrierungsprotokoll 116 kann die Kalibrierungsdatensätze, die während diversen Zeitintervallen verwendet werden, zur späteren Verwendung bei der Fehlersuche und als Beweismaterial aufzeichnen. Die Verkehrsdaten 117 können das Vorliegen oder Fehlen von Verkehr sowie die Geschwindigkeiten und die Richtung der Fahrzeuge angeben. Die Verkehrsstatistik 118 kann die Anzahl von Fahrzeugen, die während diverser Zeitintervalle durch die Szene fahren, durchschnittliche Geschwindigkeiten, Höchstgeschwindigkeiten, Mindestgeschwindigkeiten, ein Geschwindigkeitshistogramm, zusammengefasste Bewegungsrichtungen und andere Informationen angeben. Die Beweise für Verkehrsübertretungen 119 können Videodaten eines verkehrswidrigen Fahrzeugs, Kalibrierungsdaten, Geschwindigkeitsschätzungen und andere Daten umfassen, die notwendig sein können, um die Beobachtungen einer Maschine in Überführungen der Verletzung von Verkehrsregeln umzuwandeln.
2 bildet ein höheres Blockdiagramm eines Systems zur Verkehrsanalyse und Verkehrsüberwachung gemäß den Aspekten der Ausführungsformen ab. Andere Elemente, die in Zusammenhang mit dem System zur Verkehrsanalyse und Verkehrsüberwachung 113 enthalten sein können, umfassen beispielsweise ein Modul zum Auffinden von Referenzpunkten 205, ein Modul zum Analysieren der Szenenposition 203, ein Referenzpunkt-Bildpositionsmodul 209 und ein Kalibrierungsmodul 222. Das Modul zum Auffinden von Referenzpunkten 205 kann einen Algorithmus zum Auffinden von Referenzpunkten 206 verwenden, der die Bilddaten 201 analysiert, um Referenzpunkt-Teilbilder 207 zu erzeugen oder ausfindig zu machen und um Referenzpunkt-Positionsdaten 208 zu generieren.
Das Modul zum Identifizieren von Referenzpunkten 209 kann die Referenzpunktbeschreibungsdaten 206 und/oder die Referenzpunkt-Teilbilder 207 verwenden, um ReferenzpunktPositionen in den Bilddaten 201 zu bestimmen. Der Unterschied zwischen dem Modul zum Auffinden von Referenzpunkten 205 und dem Modul zum Identifizieren von Referenzpunkten 209 besteht darin, dass das erstgenannte neue Referenzpunkte auffindet, während das letztgenannte Bilder nach zuvor aufgefundenen Referenzpunkten absucht, um Referenzpunkt-Bildpositionsdaten 210 zu erzeugen.
Das Modul zum Analysieren der Szenenposition 203 betrifft hauptsächlich das Bestimmen der dreidimensionalen oder Echtweltpositionen von Dingen, die in den Bildern erscheinen, wie etwa von Referenzpunkten. Es kann mit dem Modul zum Identifizieren von Referenzpunkten interagieren (oder eine ähnliche Kapazität umfassen), um zu bestimmen, wo sich die Referenzpunkte in den Bildern befinden. Das Modul zum Analysieren der Szenenposition 203 kann dann den Kalibrierungsdatensatz verwenden, um die Echtwelt-Koordinaten der abgebildeten Punkte zu bestimmen. Die Positionen von Interessenelementen, wie etwa Autonummernschildern, können als dreidimensionale Positionsdaten 204 ausgegeben werden, während die Positionen der Referenzpunkte als Referenzpunkt-Positionsdaten 211 ausgegeben werden können. Es sei zu beachten, dass sich hier die Referenzpunkt-Positionsdaten 211 auf die Kameraposition beziehen, so dass eine Kamerabewegung zu einer sichtbaren Verschiebung der Referenzpunkte führt.
Das Kalibrierungsmodul 222 erzeugt einen Kalibrierungsdatensatz 115. Bei bestimmten Ausführungsformen, können die Referenzpunkt-Positionsdaten 211, welche die dreidimensionalen Positionen der abgebildeten Referenzpunkte sind, und die Referenzpunkt-Bildpositionsdaten 210 analysiert werden, um den rechnerabhängigen Kalibrierungsdatensatz 115 zu ergeben.
3 bildet ein Blockdiagramm ab, das die Bestätigung von Referenzpunkten gemäß den Aspekten einiger Ausführungsformen der Erfindung darstellt. Es versteht sich, dass die in 3 gezeigten Operationen automatisiert werden können, oder dass in manchen Fällen ein Bedienereingriff enthalten sein kann. Bei einer bevorzugten Ausführungsform sind jedoch die meisten oder sogar alle der diversen Module und/oder der in 3 gezeigten logischen Operationen automatisiert. Wie in 3 angegeben, können die Bilddaten 201 von dem Modul zum Auffinden von Referenzpunkten 205 analysiert werden, und ein Satz von möglichen Referenzpunkten wird an ein Modul zum Bestätigen von Referenzpunkten 301 weitergegeben.
Das Modul zum Bestätigen von Referenzpunkten 301 kann bewirken, dass für einen Bediener 304 erweiterte Bilddaten 302 angezeigt werden. Die erweiterten Bilddaten 302 können Referenzpunktindikatoren 303 enthalten, die den Bilddaten 201 überlagert werden, um dadurch die Referenzpunkte für den Bediener 304 zu markieren. Der Bediener 304 beobachtet die erweiterten Bilddaten 302 und kann Referenzpunkte bestätigen oder zurückweisen. Beispielsweise kann das System nicht dauerhafte Objekte, wie etwa Fahrzeuge, die zeitweilig auf der Fahrbahn anhalten, als Referenzpunkte deuten. Ein Bediener kann solche Referenzpunkte entfernen.
4 bildet gewisse verwaltungstechnische Aktivitäten für Kalibrierungsdaten gemäß den Aspekten der Ausführungsformen ab. Die bekannten Referenzpunkt-Positionsdaten 401 sind zuvor berechnete oder hochgeladene Daten, welche die dreidimensionalen Positionen bekannter Referenzpunkte angeben. Das System kann zu einem späteren Zeitpunkt diese Positionen erneut berechnen, um neue Referenzpunkt-Positionsdaten 402 zu erzeugen. Das Kalibrierungstestmodul 403 bestimmt die Unterschiede der Positionen und kann, falls die Unterschiede groß genug sind, eine Neukalibrierungsaktivität auslösen. Beispielsweise hat sich die Kamera vielleicht genug bewegt, damit die neuen Positionen gegenüber den alten Positionen um mehr als einen Schwellenbetrag versetzt sind.
Auf Grund des Rauschens kann der Versatz der Referenzpunktposition mit dem Referenzpunkt variieren. Folglich kann man ein statistisches Maß (z.B. Mittelwert oder Medianwert oder 95-Perzentil-Wert) einer Vielzahl von Referenzpunktpositionen verwenden. Das Kalibrierungstestmodul 403 kann dann bewirken, dass ein rechnerabhängiger Kalibrierungszyklus die in Block 405 gezeigten Anweisungen/Operationen ausführt, bei denen eine neue Kalibrierung erzeugt und geladen wird. Ein Modul zum Protokollieren der Kalibrierung 406 kann ein Kalibrierungsprotokoll 407 pflegen, das angibt, wann das System neu kalibriert wird. Das Kalibrierungsprotokoll 407 kann auch die neuen und alten Kalibrierungswerte enthalten.
5 bildet die Verwaltung der Referenzpunkte gemäß den Aspekten der Ausführungsformen ab. Es sei zu beachten, dass nicht unbedingt immer alle Referenzpunkte in der Szene zu sehen sind. Ein System zur Verkehrsanalyse und Verkehrsüberwachung verwendet einen Satz Referenzpunkte, wenn es ursprünglich in Betrieb genommen wird. Einige dieser Referenzpunkte können für längere Zeit während der Konstruktion der Fahrbahn, der Wartung der Fahrbahn oder aus anderen Gründen, oder für kürzere Zeit, wie etwa durch kurzfristige Verdeckung durch ein Fahrzeug, das durch die Szene fährt, verschwinden. Ähnliche Aktivitäten können auch neue, eventuell bessere, Referenzpunkte innerhalb einer abgebildeten Szene erstellen. Ein Referenzverfolgungsmodul 501 kann das Vorliegen, das Fehlen und eventuell die Qualität der Referenzpunkte verfolgen. Das Modul zum Verfolgen von Referenzpunkten kann ein Bild der Szene 201 und Referenzpunkt-Teilbilder 207 annehmen und versuchen, die Referenzpunkte in dem Bild zu finden. Falls ein oder mehrere Referenzpunkte nicht gefunden wird bzw. werden, kann das Modul zum Verfolgen von Referenzpunkten 501 einen Auslöser zum Auffinden weiterer Referenzpunkte 502 an das Modul zum Auffinden von Referenzpunkten 205 senden. Da das Modul zum Verfolgen von Referenzpunkten 501 viele Fähigkeiten mit dem Modul zum Identifizieren von Referenzpunkten 209 teilt, kann es die gleichen oder ähnliche Eingaben verwenden, um seine Aufgabe zu erfüllen.
6 bildet einen Bediener ab, der mit einem System für Verkehrsanalyse und Verkehrsüberwachung gemäß den Aspekten der Ausführungsformen interagiert. Es versteht sich, dass die in 6 gezeigten Operationen automatisiert werden können, oder dass in manchen Fällen ein Bedienereingriff enthalten sein kann. Bei einer bevorzugten Ausführungsform sind jedoch die meisten oder sogar alle der diversen Module und/oder der in 6 gezeigten logischen Operationen automatisiert. Die in 6 gezeigten Operationen sind ähnlich wie diejenigen, die in 3 gezeigt werden, wobei der Unterschied darin liegt, dass 3 die Bestätigung von Referenzpunkten abbildet, wohingegen in 6 der Bediener 304 mit dem Teilsystem zum Auffinden von Referenzpunkten 601 interagieren kann, um auch Referenzpunkte vorzuschlagen, hinzuzufügen und zu bearbeiten. Beispielsweise kann der Bediener 304 eine Zeigevorrichtung verwenden, um Referenzpunkte auszuwählen oder um ein Teilbild vorzuschlagen, das aussieht, als ob es ein gutes Referenzpunktbild enthält. Andere Möglichkeiten bestehen darin, dass der Bediener Referenzpunkte löschen kann oder die Größe und Form von Teilbildern ändern kann. Das Teilsystem zum Auffinden von Referenzpunkten 601 kann Referenzpunkt-Teilbilder 207 und Referenzpunkt-Beschreibungsdaten ausgeben.
7 bildet ein höheres Ablaufschema zur Kamerakalibrierung gemäß den Aspekten der Ausführungsformen ab. Die geometrische Kalibrierung einer Verkehrskamera kann unter Verwendung einer Szenenanalyse aktualisiert werden. Insbesondere können geeignete Referenzinteressenpunkte (RPI), die in der Szene identifiziert werden, im Verlauf der Zeit überwacht und analysiert werden, um die Kamerakalibrierung je nach Bedarf zu aktualisieren. Der Prozess kann zwei Zeitskalen umfassen: einen rechnerunabhängigen Prozess (weniger häufig) zum Erheben von Referenzdaten und Merkmalen, und einen rechnerabhängigen Prozess (häufiger) zum Vergleichen der aktuellen Szenenmerkmale mit Referenzen und zum Aktualisieren der Kalibrierungsparameter. Bei dem rechnerunabhängigen Prozess können Parameter der ursprünglichen Kamerakalibrierung unter Verwendung bekannter Verfahren 701 abgeleitet werden.
Ein oder mehrere Bilder der Szene werden dann zum Zeitpunkt oder sehr zeitnah zu der Kalibrierung erfasst und analysiert, um geeignete RPI 702 aufzufinden (z.B. Punkte auf der Straßenoberfläche, den oberen oder unteren Teilen von feststehenden senkrechten Strukturen, wie etwa Gebäudeecken oder Zäune). Das Anwenden der abgeleiteten Kalibrierung auf die Bildkoordinaten der ausgewählten RPI ergibt ihre entsprechenden Echtwelt-Koordinaten 703 zum Zeitpunkt der ursprünglichen Kamerakalibrierung. Die sich ergebenden Bildkoordinaten, Echtwelt-Koordinaten und Höhen der ausgewählten RPI können als Referenzdaten für eine zukünftige rechnerabhängige Aktualisierung der Kalibrierung gespeichert werden. Dies beendet den rechnerunabhängigen Prozess. Die zuvor erwähnten Echtwelt-Koordinaten können in einer Form von XYZ mit Bezug auf die Kamerakoordinaten vorliegen oder noch praktischer in einer Form von XYZ mit Bezug auf die Straßenebene für viele Verkehrsanwendungen vorliegen. Im erstgenannten Fall beziehen sich die XYZ-Koordinaten alle auf die Kamera; und Z wird häufig als Tiefe bezeichnet. Im letztgenannten Fall sind XY die Achsen der Straßenebene, während Z die Höhe des Interessenpunktes über der Straßenebene ist.
In dem rechnerabhängigen (z.B. Laufzeit-) Prozess, kann eine gewisse Teilmenge des Videodatenstroms aus der Verkehrskamera analysiert werden, um die Merkmale der aktuellen Szene zu finden, die mit den gespeicherten RPI 704 übereinstimmen. Die ausgewählte Teilmenge des Videodatenstroms enthält bevorzugt Einzelbilder mit sehr wenig ermittelter Bewegung. Die aktuellen Bildkoordinaten aller oder einer Teilmenge dieser abgeglichenen RPI zusammen mit ihren Referenzdaten werden dann verwendet, um die geometrische Kalibrierung der Kamera für die aktuelle Szene 705 zu aktualisieren.
Zusätzlich und optional wird eine Beurteilung vorgenommen, um die Änderungen zwischen der aktuellen aktualisierten Kamerakalibrierung und der ursprünglichen abgeleiteten Kamerakalibrierung 706 zu messen. Diese Beurteilung kann verwendet werden, um die Wartung oder Diagnose der Kamera auszulösen. Die Vorzüge der Ausführungsformen umfassen das Bereitstellen von videobasierten Systemen, bei denen die geometrische Messung kritisch ist, wie etwa Geschwindigkeitskontrolle und Parken auf der Straße, um die geometrische Kalibrierung der Kamera rechtzeitig und nahezu kostenlos zu aktualisieren.
Ohne an Allgemeinheit zu verlieren, kann man die geometrische Kalibrierung der Kamera im Hinblick auf eine Reihe von Projektionsmatrizen für jede Höhe Z über der Straßenebene beschreiben, die als M_z: (i, j ) → (X, Y) bezeichnet werden, wobei M_Z einzigartig definiert werden kann durch eine 3x3 Projektionsmatrix T_Z, die für Punkte auf einer Ebene auf der Höhe Z den Zusammenhang zwischen den Bildpixelkoordinaten (i,j) und den Echtwelt-Koordinaten (X,Y) herstellt durch: $f_{Z} [\begin{array}{l} X \\ Y \\ 1 \end{array}] = T_{Z} [\begin{array}{l} i \\ j \\ 1 \end{array}] .$
Dies wird in der US-Patentanmeldung 13/411,032 für ein videobasiertes System zur Geschwindigkeitskontrolle verwendet. Es kann jedoch auch im Hinblick auf intrinsische und extrinsische Matrizen zur Kamerakalibrierung oder andere Formen beschrieben werden. Die US-Patentanmeldung 13/411,032 wird hiermit zur Bezugnahme vollständig übernommen.
Das Ableiten einer ursprünglichen geometrischen Kalibrierung 701 der Kamera kann rechnerunabhängig erfolgen. Rechnerunabhängig bedeutet, dass das Verkehrsanalysesystem den Verkehr gerade nicht analysiert. Eine ursprüngliche geometrische Kalibrierung der Kamera, M_Z: (i, j) → (X, Y), für Z = 0, 1, 2, ... (Fuß), kann unter Verwendung bekannter Verfahren, wie etwa denjenigen, die bei Wu beschrieben werden, abgeleitet werden. Eine beispielhafte Ausgabe wird in 8 bis 10 gezeigt, die bei einem Test erzeugt wurden, bei dem die Kamera auf einem Pfosten auf einer Höhe von 25 Fuß über dem Boden, ungefähr 3 Fuß von der Straßenseite entfernt und in einer Entfernung von 90 Fuß auf die Straße abzielend montiert war. Die XYZ-Koordinaten in 8 bis 10 verwenden einen willkürlichen Punkt auf dem Boden als (0,0,0) und verwenden dann die Höhe über dem Boden als Z-Achse, die Straßenrichtung als Y-Achse und die Richtung orthogonal zur Straße als X-Achse.
10 bildet eine Grafik ab, welche das Blickfeld (FOV) der Kamera in Echtwelt-Koordinaten in einer Einheit von Fuß für mehrere Werte der Höhe Z über der Straßenoberfläche darstellt. Wie in 10 gezeigt, legt das Extrapolieren entlang der Z-Achse offen, dass die Punkte bei -25 Fuß (in Z) zusammenlaufen, wobei es sich um die tatsächliche Position der Kamera bei dem Test handelt. Die hier beobachteten Phänomene sind bei der Kameramodellierung wohl bekannt. Wenn beispielsweise Z zunimmt, sollte sich das FOV zusammenziehen und verschieben. Wenn Z die Montagehöhe der Kamera (-25 Fuß) erreicht, sollte das FOV in einem einzigen Punkt zusammenlaufen.
Bei einem anderen Beispiel ist auf Grund der Eigenschaft der Projektionsverzerrung der Kamera das FOV bei Echtweltanwendungen (z.B. wie bei denen in 8) für Pixel, die näher an der Kamera liegen kleiner (d.h. die Objekte erscheinen größer), und für Pixel, die von der Kamera weit entfernt sind, größer. Dies ist der Grund dafür, dass das FOV eine vierseitige Form aufweist, die oben breiter als unten ist. Für Anwendungen zur Geschwindigkeitskontrolle reicht es aus, einen Höhenbereich von 2 bis 5 Fuß für Z abzudecken (wie in 9 gezeigt), da dies die übliche Montagehöhe von Nummernschildern ist, die häufig das bevorzugte Merkmal für Geschwindigkeitsmessungen sind. Zusätzlich geht aus 9 oder 10 hervor, dass die Abbildung in Z recht linear ist (außer wenn eine wesentliche optische Verzerrung der Linse vorliegt), da die lineare Extrapolation der Ecken des FOV in einem einzigen Punkt auf ungefähr 25 Fuß zusammenläuft. Somit kann eine lineare Interpolation über Z ohne Verlust an Genauigkeit ausgeführt werden. Als Konsequenz dieser Beobachtung ist es möglich, die Kalibrierungsabbildung mit Referenzszenenmarkierungen aus nur einer Ebene (z.B. der Bodenebene) oder relativ wenigen Höhenebenen zu aktualisieren, was nachstehend besprochen wird.
Das Identifizieren geeigneter Referenzpunkte aus einer Referenzszene 702 kann auch rechnerunabhängig erfolgen. Geeignete RPI können aus der Referenzszene identifiziert werden. Dabei kann die Referenzszene ein Einzelbild oder eine Reihe von Einzelbildern der Szene nach dem Entfernen provisorischer Orientierungspunkte sein (bei Wu bedeutet dies, dass das Testfahrzeug mit den geometrischen Referenzzielobjekten die Szene verlassen hat). Ein Deskriptor, der für einen RPI geeignet ist (d.h. die Merkmalsdaten, die verwendet werden, um den RPI zu beschreiben, z.B. ein Farbhistogramm der 25x25 Bilddaten, die um den RPI zentriert sind), sollte ausgeprägt und gegenüber dem Skalieren und einer mäßigen geometrischen Verzerrung robust sein, so dass er über die Einzelbilder hinweg robust ermittelt und abgeglichen werden kann, wenn die Kamera eine gewisse Verschiebung erfahren hat (ein Grund zum Aktualisieren der Kalibrierung).
Des Weiteren sollte die Höhe Z eines RPI über der Straßenebene entweder bekannt sein, oder sie kann genau aus der ursprünglichen geometrischen Kalibrierung der Kamera bestimmt werden. Es sei zu beachten, dass jeder RPI eine unterschiedliche Länge und Art von Merkmalsdaten aufweisen kann. Beispielsweise kann ein RPI ein Farbhistogramm der 25x25 Bilddaten verwenden, die um den RPI zentriert sind, während ein anderer das Farbhistogramm der 50x50 Bilddaten, die um den RPI zentriert sind, oder die unbearbeiteten Farbstärken von 25x25 Bilddaten, die um den RPI zentriert sind, verwenden kann.
Skaleninvariante RPI können unter Verwendung von Algorithmen, wie etwa SIFT oder SURF, ausgewählt werden. Der SIFT wird bei David G. Lowe, „Object recognition from local scale-invariant features", Proceedings of the International Conference on Computer Vision. 2. 1150-1157 (1999) (nachstehend „Lowe“) gelehrt. Der SURF wird bei Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool „SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), 110(3), 346-359 (2008) (nachstehend „Bay“) gelehrt. Lowe und Bay werden hier zur Bezugnahme vollständig übernommen. Experimentell hat der SURF ausgezeichnete Ergebnisse erbracht. Die RPI-Höhe kann dadurch eingeschränkt werden, dass die Referenzpunkte darauf begrenzt werden, sich auf dem Boden (Z = 0) oder oben oder unten an einer festen senkrechten Struktur befinden, so dass ihr Z ohne Weiteres aus den ursprünglichen geometrischen Kameraabbildungen M_Z geschätzt werden kann.
Zur automatisierten Schätzung der Straßenebene kann man ein Verfahren verwenden, das ähnlich wie die Vorgehensweise ist, die bei T.N. Schoepflin und D.J. Dailey, „Dynamic camera calibration of roadside traffic management cameras for vehicle speed estimation", IEEE Trans. on Intelligent Transportation Systems, 4(2), 90-98 (2003) (nachstehend „Schoepflin“), besprochen wird. Um eine Straßenoberfläche zu identifizieren, offenbart Schoepflin das Überwachen einer Bewegung in der Verkehrsszene über einen Zeitraum, und dann werden die Pixel mit hoher Aktivität als Straße bezeichnet (da ständig Fahrzeuge darüber fahren), und/oder man kann eine Straßengrenzendetektion verwenden. Eine experimentelle Umsetzung verwendete ein automatisches Verfahren zum Auffinden der Straßenebene, um RPI auf dem Boden automatisch auszuwählen, verwendete jedoch ein manuelles Verfahren (mit einer einfachen MATLAB-GUI) zum Auswählen von RPI an festen senkrechten Strukturen. 11 bildet eine Grafik ab, die Daten darstellt, welche die RPI angeben, die sich aus einer Umsetzung unter Verwendung von SURF-Merkmalen in einem Einzelbild eines Testvideos ergeben, das von einem Live-Teststandort erfasst wird. Die Umsetzungseinzelheiten werden nachstehend besprochen.
Die Berechnung der Echtwelt-Referenzkoordinaten der geeigneten Referenzpunkte 703 aus einer Referenzszene 702 kann auch rechnerunabhängig erfolgen. Geeignete RPI können aus der Referenzszene identifiziert werden. Sobald die Abbildung der ursprünglichen geometrischen Kalibrierung der Kamera M_Z und die Bildkoordinaten und Höhen der ausgewählten RPI bestimmt wurden, kann ein Referenzdatensatz, der die Bildkoordinaten (i^(k),j^(k)), die Echtwelt-Koordinaten (X^(k), Y^(k), Z^(k)) und die Merkmalsdeskriptoren D^(k) für jeden ausgewählten RPI k umfasst, berechnet und zur späteren Verwendung gespeichert werden. Dabei sind D^(k) Merkmalsdeskriptoren von RPI, die zum späteren Abgleichen von RPI verwendet werden. Schoepflin offenbart auch Einzelheiten über die SURF-Deskriptoren und den Abgleich. Diese berechneten Echtwelt-Koordinaten (X^(k), Y^(k), Z^(k)) und wahlweise die ursprünglichen Bildkoordinaten (i^(k), j^(k)) der abgeglichenen RPI aus der aktuellen Szene (nachstehend besprochen) können zur Aktualisierung der Kamerakalibrierung auf M'_Z verwendet werden.
Das Finden abgeglichener Referenzpunkte in der aktuellen Szene 704 kann rechnerabhängig erfolgen. Der Begriff rechnerabhängig bedeutet, dass das System gerade Daten erfasst und den Verkehr analysiert. Dabei werden Übereinstimmungen von RPI in der aktuellen Szene gefunden. In Abhängigkeit von dem ausgewählten Verfahren und den Merkmalen zum Identifizieren der RPI können verschiedene Abgleichverfahren und Kriterien verwendet werden. Falls beispielsweise die Harris-Kantendetektion zum Identifizieren der RPI verwendet wird, dann kann man eine normierte Kreuzkorrelation an Bildstücken (z.B. 25x25) verwenden, die um die RPI zentriert sind, um die beste Übereinstimmung zu finden. Für den Fall eines SURF-Algorithmus ist ein standardmäßiger Abgleichalgorithmus basierend auf seinen Deskriptoren in MATLAB verfügbar (siehe z.B. „MATLAB SURF feature matching“, das hiermit zur Bezugnahme vollkommen übernommen wird). Auf jeden Fall kann auf Grund von Rauschen eine gewisse Schwellenwertbildung angewendet werden, so dass nur Übereinstimmungen behalten werden, die über ein vorbestimmtes Konfidenzniveau hinausgehen. Die Ausgabe dieses Schritts ist ein Satz neuer Bildkoordinaten (i' ^(k'),j'^(k')) der abgeglichenen RPI. Die neuen Bildkoordinaten können die gleichen sein wie die des entsprechenden abgeglichenen RPI; wenn es keine Änderung für alle RPI gibt, ist es nicht notwendig, die Kalibrierung zu aktualisieren, so dass das Änderungsausmaß der Bildkoordinaten verwendet werden kann, um zu bestimmen, wann eine Aktualisierung auf die Kalibrierung anzuwenden ist.
Das Aktualisieren der geometrischen Kalibrierung der Kamera 705 kann auch rechnerabhängig erfolgen. Die geometrische Kalibrierung der Kamera kann basierend auf den sich ergebenden Bildkoordinaten der abgeglichenen RPI in dem aktuellen Einzelbild oder in mehreren vorhergehenden Einzelbildern aktualisiert werden.
Bei einer beispielhaften Ausführungsform ergibt eine vollständige Wiederholung der Abbildung der geometrischen Kalibrierung der Kamera M'_Z. D.h. die Abbildung der geometrischen Kalibrierung der Kamera wird basierend auf den neuen Bildkoordinaten (i'^(k'), j'^(k')) und den entsprechenden Echtwelt-Referenzkoordinaten (X^(k'), Y^(k'), Z^(k')) der abgeglichenen k' RPI neu aufgebaut. Es sei zu beachten, dass die (alten) Referenzbildkoordinaten (i^(k'), j^(k')) gar nicht verwendet werden, daher die Bezeichnung „Wiederholen“. Dies bedingt eine große Anzahl abgeglichener RPI und eine Abdeckung diverser Höhenwerte über der Bodenebene (d.h. diverse Werte von Z), damit das Wiederholen gegenüber Rauschen robust ist. Da es für eine typische Verkehrsszene zahlreiche RPI mit Z = 0 geben kann, jedoch sehr wenige andere Z-Werte aus der statischen Szene, kann eine gute Strategie darin bestehen, M'_Z=0 unter Verwendung aller abgeglichener Punkte mit Z = 0 zu wiederholen und dabei andere M'_Z, Z = 1, 2, ... basierend auf der gleichen linearen Beziehung zu M'_Z=0 aus den ursprünglichen Modellen M_Z, Z = 1, 2, ... mit M_Z=0 zu wiederholen.
Eine weitere beispielhafte Ausführungsform kann eine gewichtete Anpassung (Verfeinerung) der Abbildung der geometrischen Kalibrierung der Kamera aus der vorhergehenden M'_Z verwenden. Dies bedeutet, dass kleine Anpassungen an der ursprünglichen Abbildung der geometrischen Kalibrierung der Kamera M_Z vorgenommen werden, um jedes Mal eine neue M'_Z zu erhalten, wenn eine neue Messung (d.h. ein neuer Satz von Bildkoordinaten von den abgeglichenen RPI in dem aktuellen Einzelbild) erzielt wird. Eine übliche Vorgehensweise für eine derartige Anpassung besteht darin, ein (erweitertes) Kalman-Filter zu verwenden. Da diese Vorgehensweise zu dem Konzept der Regelungstheorie passt, können hier viele bekannte Algorithmen zur Regelung der Rauschunterdrückung angewendet werden. Die Vorteile dieses Verfahrens gegenüber dem Wiederholverfahren sind folgende: (1) es kann das Modell aktualisieren, auch wenn nur ein abgeglichener RPI gefunden wird; (2) es kann abgestimmt werden, um gegenüber dem Abgleichrauschen robust zu sein, z.B. unter Verwendung einer geringeren Regelverstärkung, obwohl dies unter einer langsameren Aktualisierung leiden kann; und (3) viele bekannte Regelungsalgorithmen sind bereits verfügbar. Falls jedoch das Messrauschen sehr gering ist und die Anzahl von Abgleichpunkten groß ist, kann ein vollständiges Wiederholen die beste Lösung im Hinblick auf Genauigkeit und Recheneffizienz sein.
Es kann jedoch auch noch ein weiteres Ausführungsbeispiel verwendet werden, das eine hybride Vorgehensweise verwendet, die das Wiederholen und Verfeinern über die Zeitskala kombiniert, basierend auf der Anzahl aufgefundener Referenzpunkte und der berechneten Änderungsrate der Kalibrierungsparameter.
Ein zeitlicher Aspekt der obigen Ausführungsformen ist noch nicht ausdrücklich besprochen worden. Die geläufigste und einfachste Vorgehensweise besteht darin, das obige Verfahren für jedes ausgewählte Einzelbild separat anzuwenden, wobei es sich zum Beispiel um alle N Einzelbilder handeln kann, oder jedes Mal, wenn ein Einzelbild mehr als 5 Übereinstimmungen aufweist, oder um das Einzelbild, das die meisten übereinstimmenden RPI unter den N Einzelbildern aufweist, usw. Eine bessere Lösung besteht darin, alle abgeglichenen RPI über einen vorbestimmten Zeitraum zu verfolgen und die zeitlich gefilterten (z.B. Glätten oder Medianfiltern, um Ausreißer zu entfernen) gleichmäßigen Trajektoriendaten zum Aktualisieren der Kalibrierungsabbildung zu verwenden statt die nicht geglätteten Daten direkt zu verwenden. Es ist ebenfalls möglich, eine An/Aus-Art der Aktualisierung bereitzustellen, wobei die Aktualisierung nur angewendet wird, wenn ein erhebliches Änderungsausmaß der sich ergebenden neuen Bildkoordinaten der abgeglichenen RPI ermittelt wird. Andere Arten der zeitlichen Behandlung können ebenfalls zusammen mit den zuvor erwähnten Aktualisierungsverfahren verwendet werden.
Das Beurteilen der Kalibrierungsänderungen 706, das optional sein kann, kann auch rechnerabhängig erfolgen. Dabei kann man das Ausmaß der Kalibrierungsänderungen (genauer gesagt das Ausmaß der Änderung im Blickfeld) zum Zweck der Aktualisierung, der Diagnose und der Wartung beurteilen und überwachen. Eine einfache Vorgehensweise besteht darin, den Durchschnitt der absoluten Änderungen der Bildkoordinaten, d.h. $\frac{1}{n'} \sum_{k'} (| i'^{(k')} - i^{(k')} | + | j'^{(k')} - j^{(k')} |),$

als Maß der Kalibrierungsänderungen zu verwenden. Andere statistische Messungen der Differenz, wie etwa die mittlere quadratische Abweichung (MSE), der Medianwert usw., können ebenfalls verwendet werden.
Eine weitere Möglichkeit besteht darin, den Unterschied im Hinblick auf die Verschiebung der Echtwelt-Koordinaten zu beurteilen, d.h. Abbilden sowohl von (i'^(k'), j'^(k')) als auch von (i^(k'), j^(k')) auf Echtwelt-Koordinaten unter Verwendung der ursprünglichen Kamerakalibrierungsabbildung M_Z, und dann Berechnen der durchschnittlichen absoluten Differenz (oder der MSE oder anderer statischer Werte) in Echtwelt-Koordinaten. Man geht davon aus, dass sich die Referenzmarkierung nicht bewegt, doch dass sich die Kamera bewegen kann. In diesem Fall ist diese Beurteilung eine Messung der Echtwelt-Dimensionsabweichungen, die auf eine nicht kompensierte Bewegung der Kamera zurückzuführen sind. Eine andere Verbesserung dieser Beurteilung besteht darin, einen Satz Punkte in Bildkoordinaten (z.B. ein Raster, das alle 100 Pixel in den Richtungen i und j beabstandet ist) vorzuwählen und die Unterschiede der Echtwelt-Koordinaten dazwischen unter Verwendung von M_Z und M'_Z zu berechnen. Sobald die Beurteilung zur Verfügung steht, kann sie verwendet werden, um zu bestimmen, ob die Aktualisierung anzuwenden ist (z.B. falls der Unterschied gering ist, kann man entscheiden, nicht zu aktualisieren), oder sie kann zur Diagnose und Wartung verwendet werden (ein Anruf beim Kundendienst kann notwendig sein, falls sich die Kamera zu viel bewegt hat).
Einige Einzelheiten aus der geplanten Umsetzung gewisser Aspekte einer beispielhaften und nicht einschränkenden Ausführungsform werden hier zu Erläuterungszwecken besprochen.
Ein kurzer Video-Clip (~20 Sek.) des Teststandorts kann analysiert werden, um die Straßenoberfläche aus diesen Einzelbildern, die nahezu statisch sind, zu identifizieren. Dies kann durch ein einfaches Hintergrund-Subtraktionsverfahren erreicht werden, bei dem der Hintergrund rechnerabhängig erlernt wird, beispielsweise unter Verwendung der Formel I_bg = 0,95 I_bg+0,05 I_current. Bei einem Beispiel können die ersten N = 99 Einzelbilder nur verwendet werden, um den Hintergrund zu erlernen. Nach N Einzelbildern wird die kumulative Aktivitätsabbildung (die gleiche Größe wie I) jedes Pixels jedes Mal um 1 erhöht, wenn sich der Intensitätswert des aktuellen Einzelbildes von dem aktuellen Hintergrundeinzelbild beispielsweise um mehr als η₁ = 5 Einheiten (auf einer Skala von 0 bis 255) unterscheidet. Die gesamte Aktivität dieses Einzelbildes (die Anzahl der Pixel, die aktiv sind) wird ebenfalls berechnet und wird verwendet, um später nahezu statische Einzelbilder zu identifizieren. Da nur eines oder einige dieser nahezu statischen Einzelbilder für jeden Teststandort zu identifizieren sind, besteht eine sehr hohe Wahrscheinlichkeit, dass sie gefunden werden.
Sobald mindestens ein statisches oder nahezu statisches Einzelbild gefunden wurde, kann eine standardmäßige SURF-Detektion angewendet werden, um beispielsweise die obersten M = 100 Interessenpunkte in diesem Einzelbild zu finden. Wahlweise kann eine standardmäßige SURF-Detektion auf zwei derartige statische Einzelbilder (die im Idealfall zeitlich beabstandet statt aufeinanderfolgend sind) angewendet werden, und es kann ein RANSAC-Algorithmus angewendet werden, um die obersten M = 100 RPI zu entnehmen, die sowohl gegenüber der Detektion als auch dem Abgleich zwischen den beiden Einzelbildern im Rahmen des Projektionsabbildungsmodells robust sind. RANSAC ist eine Abkürzung für „RANdom SAmple Consensus“, wobei es sich um ein iteratives Verfahren handelt, das man verwenden kann, um die Parameter eines mathematischen Modells aus einem Satz beobachteter Daten, der Ausreißer enthält, zu schätzen. Der RANSAC ist insofern ein nicht deterministischer Algorithmus, dass er ein vernünftiges Ergebnis nur mit einer gewissen Wahrscheinlichkeit ergibt, wobei diese Wahrscheinlichkeit zunimmt, wenn eine größere Anzahl von Iterationen zugelassen wird.
Bei bestimmten Ausführungsformen werden nur die RPI behalten, die sicher als Straßenebene bezeichnet werden. Dies kann den RPI-Satz bilden. Dabei wird „sicher bezeichnet“ durch das Berechnen der Anteils der Pixel innerhalb eines Fensters, das um die Position aller möglichen RPI zentriert ist, die als Straßenpixel klassifiziert sind, und das Vergleichen desselben mit einem vorbestimmten Schwellenwert bestimmt. Diese Aktivität kann vor oder nach dem Finden statischer Einzelbilder erfolgen.
Falls ein manueller Schritt vorgesehen ist, dann kann eine einfache GUI bereitgestellt werden, die es einem Bediener ermöglicht, die Straßengrenze einzuzeichnen, die möglichen RPI zu bearbeiten oder zu entfernen, usw. Ferner würde eine manuelle Auswahl die Auswahl von Punkten auf einer festen senkrechten Struktur jedoch nicht auf der Straßenebene ermöglichen. Diese Punkte bei Z ≠ 0 können verwendet werden, um die lineare Beziehung zwischen M_Z und M₀ zu verfeinern. Da dieser Schritt nur bei der Einrichtung benötigt wird und nur sehr selten vorkommen würde, könnte es sich lohnen, eine derartige Option in das System einzubeziehen.

Claims

Verfahren zum Aktualisieren der geometrischen Kalibrierung einer Kamera unter Verwendung einer Szenenanalyse, wobei das Verfahren folgende Schritte umfasst: - Empfangen ursprünglicher Parameter der geometrischen Kalibrierung mit Bezug auf die Kamera; - Auffinden von Referenzinteressenpunkten aus einem ursprünglichen Referenzeinzelbild in einer Szene, die von der Kamera erfasst wird; - Anwenden der Parameter der geometrischen Kalibrierung auf Bildkoordinaten der aufgefundenen Referenzinteressenpunkte, um Echtwelt-Koordinaten der aufgefundenen Referenzinteressenpunkte bereitzustellen; - Analysieren einer Teilmenge eines Videodatenstroms von der Kamera, um Merkmalspunkte einer aktuellen Szene zu identifizieren, die von der Kamera aufgenommen wird, die mit den aufgefundenen Referenzinteressenpunkten übereinstimmen; - Bereitstellen einer aktuellen Aktualisierung der Parameter der geometrischen Kalibrierung mit Bezug auf die aktuelle Szene, und - Messen der Änderungen zwischen der aktuellen Szene und der erfassten Szene, um eine ursprüngliche Kalibrierung der Kamera abzuleiten, unter Verwendung mindestens eines von: - einem Unterschied zwischen den Bildpixelkoordinaten der identifizierten Merkmalspunkte einer aktuellen Szene und den Bildpixelkoordinaten der aufgefundenen Referenzinteressenpunkte; - einem Unterschied zwischen den Echtwelt-Koordinaten der identifizierten Merkmalspunkte einer aktuellen Szene und den Echtwelt-Koordinaten der aufgefundenen Referenzinteressenpunkte; und - einem Unterschied zwischen den Kamerakalibrierungsparametern, die aus den Bildpixelkoordinaten und den Echtwelt-Koordinaten identifizierter Merkmalspunkte einer aktuellen Szene abgeleitet werden, und den ursprünglichen Kalibrierungsparametern, um Beurteilungsdaten zu generieren, um mindestens eine von Neukalibrierung, Wartung und Diagnose der Kamera auszulösen.
Verfahren nach Anspruch 1, ferner umfassend das Speichern der Bildpixelkoordinaten und der Echtwelt-Koordinaten der aufgefundenen Referenzpunkte für zukünftige rechnerabhängige Kalibrierungsaktualisierungen der Kamera.
Verfahren nach Anspruch 1, ferner umfassend das Identifizieren der Merkmalspunkte einer aktuellen Szene, die von der Kamera aufgenommen wird, die mit den aufgefundenen Referenzinteressenpunkten übereinstimmen, unter Verwendung mindestens einer der folgenden Techniken: SIFT-Abgleich, SURF-Abgleich, Kreuzkorrelationsabgleich oder Abgleich von Interessenobjekten.
Verfahren nach Anspruch 1, wobei die aufgefundenen Referenzinteressenpunkte unter Verwendung mindestens einer der folgenden Detektionstechniken aufgefunden werden: SIFT, SURF, Harris-Kantendetektion, Shi-Tomasi-Kantendetektion, Interessenobjekt-Detektion, RANSAC und manueller Vorgabe unter Verwendung einer grafischen Benutzerschnittstelle.
System zum Aktualisieren der geometrischen Kalibrierung einer Kamera unter Verwendung einer Szenenanalyse, wobei das System umfasst: einen Prozessor, und ein computerverwendbares Medium, das einen Computerprogrammcode enthält, wobei das computerverwendbare Medium in der Lage ist, mit dem Prozessor zu kommunizieren, wobei der Computerprogrammcode Anweisungen umfasst, die von dem Prozessor ausgeführt werden können und die konfiguriert sind zum: - Empfangen der Parameter der geometrischen Kalibrierung mit Bezug auf die Kamera; - Auffinden von Referenzinteressenpunkten aus einer Szene, die von der Kamera erfasst wird; - Anwenden der Parameter der geometrischen Kalibrierung auf Bildkoordinaten der aufgefundenen Referenzinteressenpunkte, um Echtwelt-Koordinaten der aufgefundenen Referenzinteressenpunkte bereitzustellen; - Analysieren einer Teilmenge eines Videodatenstroms aus der Kamera, um Merkmalspunkte einer aktuellen Szene zu identifizieren, die von der Kamera aufgenommen wird, die mit den aufgefundenen Referenzinteressenpunkten übereinstimmen; - Bereitstellen einer aktuellen Aktualisierung der Parameter der geometrischen Kalibrierung mit Bezug auf die aktuelle Szene, und - Messen der Änderungen zwischen der aktuellen Szene und der erfassten Szene, um eine ursprüngliche Kalibrierung der Kamera abzuleiten, unter Verwendung mindestens eines von: - einem Unterschied zwischen den Bildpixelkoordinaten der identifizierten Merkmalspunkte einer aktuellen Szene und den Bildpixelkoordinaten der aufgefundenen Referenzinteressenpunkte; - einem Unterschied zwischen den Echtwelt-Koordinaten der identifizierten Merkmalspunkte einer aktuellen Szene und den Echtwelt-Koordinaten der aufgefundenen Referenzinteressenpunkte; und - einem Unterschied zwischen den Kamerakalibrierungsparametern, die aus den Bildpixelkoordinaten und den Echtwelt-Koordinaten identifizierter Merkmalspunkte einer aktuellen Szene abgeleitet werden, und den ursprünglichen Kalibrierungsparametern, um Beurteilungsdaten zu generieren, um mindestens eine von Neukalibrierung, Wartung und Diagnose der Kamera auszulösen.
System nach Anspruch 5, wobei die Echtwelt-Koordinaten durch die Anwendung der ursprünglichen geometrischen Kalibrierung der Kamera auf Bildpixelkoordinaten bestimmt werden.
System nach Anspruch 5, wobei die Anweisungen ferner konfiguriert sind, um die Bildpixelkoordinaten und die Echtwelt-Koordinaten der aufgefundenen Referenzpunkte für zukünftige rechnerabhängige Kalibrierungsaktualisierungen der Kamera zu speichern.
System zur Verkehrsanalyse und Verkehrsüberwachung, wobei das System Folgendes umfasst: - eine Verkehrskamera, wobei eine geometrische Kalibrierungsfunktion einen Zusammenhang zwischen den Bildpixelkoordinaten der Verkehrskamera und Echtwelt-Koordinaten herstellt; - eine Datenbank, die einen Referenzdatensatz speichert, der aus den Echtwelt-Koordinaten von aufgefundenen Referenzpunkten besteht, die in einem Blickfeld der Verkehrskamera vorliegen; - ein Modul zum Identifizieren von Merkmalspunkten, das mit der Datenbank kommuniziert und das die Bildpixelkoordinaten von Merkmalspunkten eines neuen Einzelbildes identifiziert, die mit den aufgefundenen Referenzpunkten übereinstimmen, wie sie von der Verkehrskamera abgebildet werden; - ein Kalibrierungstestmodul, das mit dem Modul zum Identifizieren von Referenzpunkten und der Datenbank kommuniziert und mindestens eines berechnet von: - einem Unterschied zwischen den Bildpixelkoordinaten der Merkmalspunkte in dem neuen Einzelbild, die durch das Modul zum Identifizieren von Merkmalspunkten identifiziert werden, und den Bildpixelkoordinaten der aufgefundenen Referenzpunkte, die in der Datenbank gespeichert sind; und - einem Unterschied zwischen den Echtwelt-Koordinaten der aufgefundenen Referenzpunkte, die aus dem Referenzdatensatz entnommen werden, und den Echtwelt-Koordinaten der entsprechenden Merkmalspunkte in dem neuen Einzelbild, die aus der geometrischen Kalibrierungsfunktion berechnet werden, die auf die Bildpixelkoordinaten der Merkmalspunkte in dem neuen Einzelbild angewendet wird, die durch das Modul zum Identifizieren von Merkmalspunkten bestimmt werden; und - ein Modul zum Aktualisieren der Kalibrierung, das mit dem Kalibrierungstestmodul, dem Modul zum Identifizieren von Merkmalspunkten und der Datenbank kommuniziert und das die geometrische Kalibrierungsfunktion aktualisiert, falls der Unterschied, der von dem Kalibrierungstestmodul berechnet wird, größer als ein vordefinierter Schwellenwert ist.