EP2254104B1

EP2254104B1 - Verfahren zum automatischen Erkennen einer Situationsänderung

Info

Publication number: EP2254104B1
Application number: EP10004126.8A
Authority: EP
Inventors: Frederik Meysel
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 2009-05-18
Filing date: 2010-04-19
Publication date: 2014-06-11
Anticipated expiration: 2030-04-19
Also published as: EP2254104A3; DE102009021765A1; EP2254104A2

Description

Die Erfindung betrifft ein Verfahren zum automatischen Erkennen einer Situationsänderung innerhalb eines mittels Sensoren zu überwachenden räumlichen Gebietes. Die Erfindung betrifft ebenfalls eine Vorrichtung hierzu.
Häufig wird unter dem Aspekt der Sicherheit die mitunter sehr komplexe Anforderung gestellt, Orte oder Gebiete, in denen sich viele Akteure oder Objekte bewegen und miteinander interagieren, mittels entsprechender Sensoren zu überwachen. Beispiele für solche Orte oder Gebiete sind Straßen, Parks, Bahnhöfe, öffentliche Plätze, Flughäfen, Autobahnen oder Einkaufszentren. Innerhalb dieser Orte oder Gebiete interagieren die sich daran befindlichen Akteure oder Objekte miteinander, die beispielsweise Fußgänger, Fahrradfahrer, PKWs, Schiffe, Flugzeuge, Sportler oder Kunden sein können. Dabei wird meist bei der Überwachung insbesondere darauf abgestellt, dass die in dem Gebiet befindlichen Objekte oder Akteure innerhalb der festgelegten Rahmenbedingungen bewegen, so dass atypische oder gar bedrohliche Ereignisse durch die jeweiligen Überwacher (z. B. Fluglotsen, Sicherheitsdienste) schnell erkannt werden können,
Die zur Überwachung am häufigsten verwendeten Sensoren sind dabei Kameras, die das zu überwachende räumliche Gebiet aufnehmen. Das so aufgenommene Bild einer Kamera wird dann in den meisten Fällen an eine Zentrale weitergeleitet, wo es dann auf einem Bildschirm für einen Operator dargestellt wird. Gerade bei Gebieten mit einer sehr großen räumlichen Ausdehnung kommt es sehr schnell zu einer großen Anzahl von benötigten Kameras, um alle Bereiche des zu überwachenden Gebietes erfassen und abdecken zu können. Für den Operator stellt sich dabei das Problem, dass mit einer Erhöhung der Anzahl der Kameras auch die Anzahl der Bilder, die überwacht werden müssen, erhöht werden. Dies führt letztlich zu einer gesteigerten Komplexität, die im ungünstigsten Fall zu Lasten der Sicherheit geht.
Um diese Überwachungskomplexität zu verringern, gibt es zum Einen die Möglichkeit, die Anzahl der zu überwachenden Bilder bzw. allgemein gesprochen, die Anzahl der zur Überwachung benötigten Informationen, zu reduzieren, was letztlich zum Verlust von Informationen führen kann. Zum Anderen gibt es die Möglichkeit, mit Hilfe von Bilderkennungsverfahren die Bildsignale zu analysieren und auf entsprechend programmierte Signaturen hin zu filtern.
So beschreibt beispielsweise die US 2003/0107650 A1 ein Überwachungs- und Sicherheitssystem, welches automatische eine Warnung herausgibt, wenn entsprechende Ereignisse, die zuvor programmiert wurden, bei der Überwachung eines Gebietes auftreten. So kann mit diesem System beispielsweise auf einen möglichen Ladendiebstahl aufmerksam gemacht werden, wenn eine Person innerhalb des zu überwachenden Gebietes (hier ein Laden) eine Plastiktüte öffnet. Dazu ist das System derart eingerichtet, dass es die Geräusche innerhalb des Ladens aufnimmt und nach dem charakteristischen Akustikmuster einer sich öffnenden Plastiktüte hin untersucht.
Nachteilig dabei ist insbesondere die Tatsache, dass dieses System nur solche Ereignisse erkennt, auf die es speziell programmiert wurde. So ist dieses System nicht ohne Weiteres auf eine andere Szenerie oder Umgebung übertragbar.
Auch bei der Verkehrskontrolle bzw. bei der Verkehrslagenerfassung spielt Überwachung eine wichtige Rolle. So wird auf deutschen Autobahnen mittels entsprechender Sensoren ständig die Verkehrsdichte erfasst, um so z. B. Verkehrsleiteinrichtungen, wie sie auf der Autobahn A2 installiert sind, in Abhängigkeit der Verkehrsdichte ansteuern zu können.
Zu dieser Thematik ist aus der EP 0 798 684 Al ein Verfahren und ein System zur Verkehrslagenerfassung durch stationäre Datenerfassungseinrichtungen bekannt, bei dem die Datenerfassungseinrichtungen ihre Daten an eine Zentrale weiterleiten, in der diese dann entsprechend ausgewertet werden. Das Ergebnis der Auswertung wird dann an die Datenerfassungseinrichtungen zurückgesendet, damit diese in die Lage versetzt werden, nur noch auf solche Ereignisse zu achten, die letztlich auch zu einer Meldung an die Zentrale führen müssen. Damit soll insbesondere erreicht werden, dass die von der Datenerfassungseinrichtung zur Zentrale zu übertragenden Daten möglichst gering gehalten werden.
Nachteilig dabei ist bei diesem System wie auch bei den anderen aus dem Stand der Technik bekannten Systemen, die Tatsache, dass Signaturen der zu detektierenden Ereignisse vom Operator festgelegt werden müssen. Außerdem werden in den Wochen nach der Installation meist häufig weitere Wartungsdurchläufe nötig, um durch Änderungen im beobachteten Bereich, durch Wetteränderungen, Jahreszeiten usw. das System neu anzupassen. Dabei sind diese Systeme meist nur in der Lage, genau festgelegte Vorgänge innerhalb ihres Bereiches zu erkennen.
So wird z. B. in der US 2004/0130620 Al ein Verfahren zur Videoanalyse offenbart, bei dem eine Mehrzahl von Bildsensoren einen auch überlappenden Bereich aufnehmen, Die innerhalb des Überwachungsbereiches sich bewegenden Objekte können dabei mit Hilfe eines entsprechenden Tracking-Algorithmus verfolgt werden, und zwar auch über die Aufnahmegrenzen eines Bildsensors hinweg.
Auch die Dokumente EP 1074958 , US 2006/0074546 und US 5091780 gehören zum Stand der Technik.
Im Hinblick auf die aus dem Stand der Technik bekannten Nachteile ist es Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Detektieren von Ereignissen innerhalb eines zu überwachenden räumlichen Gebietes anzugeben.
Die Aufgabe wird mit dem Verfahren der eingangs genannten Art gelöst, wobei das zu überwachende räumliche Gebiet in eine Mehrzahl von Feldern unterteilt wird, mit den Schritten:

a) Erfassen von Werten mittels der Sensoren hinsichtlich mindestens einer Eigenschaft von Objekten, die sich innerhalb des zu überwachenden räumlichen Gebietes befinden, und deren Felder, innerhalb dessen der jeweilige Wert der Eigenschaft erfasst wurde,
b) Lernen zumindest eines Verhaltens der Objekte bezüglich mindestens einer der Objekteigenschaften anhand einer statistischen Auswertung der ermittelten Werte für mindestens ein Feld, und
c) Erkennen einer Situationsänderung in Abhängigkeit eines Vergleichs zwischen dem erlernten Verhalten mindestens eines Feldes und zumindest einem aktuell ermitteltem Wert des mindestens einen Feldes bezüglich mindestens einer der Objekteigenschaften.

Damit wird es möglich, ein Gebiet mit entsprechenden Sensoren zu überwachen, ohne das es speziell auf bestimmte Ereignisse, die es erkennen soll, programmiert werden muss. Dazu werden mit Hilfe der Sensoren, die das Gebiet überwachen, Werte von den Objekten erfasst, die sich innerhalb des zu überwachenden räumlichen Gebietes befinden. Die erfassten Werte sind dabei Werte entsprechender Eigenschaften der Objekte, die mit Hilfe der Sensoren erfasst bzw. ermittelt oder gemessen werden können. Eine solche Objekteigenschaft könnte dabei z. B. die Geschwindigkeit, Richtung oder aber auch ganz allgemein gesprochen die Aktivität eines Objektes innerhalb eines entsprechenden Feldes sein. Es ist aber auch denkbar, dass weitere Informationen über die Objekte als Eigenschaften ermittelt werden können, wie z. B. der Treibstoffvorrat eines Flugzeuges, je nachdem was für eine Art von Sensoren verwendet wird.
Darüber hinaus wird beim Erfassen der Werte ermittelt, innerhalb welchen Feldes der entsprechende Wert erfasst wurde, so dass sich ein Datenpaar aus einem Wert einer Objekteigenschaft und dazugehörigen Feld des räumlichen Gebietes ergibt. Im nächsten Schritt wird dann für mindestens eines der Felder ein Verhalten der Objekte bezüglich mindestens einer ihrer Objekteigenschaften gelernt, indem die in dem Feld hinterlegten Werte der Objekteigenschaft mittels statistischer Methoden ausgewertet werden. Somit ergibt sich für jedes Feld des gesamten räumlichen Gebietes ein entsprechendes Verhalten der Objekte bezüglich der überwachten Eigenschaft der Objekte.
So kann beispielsweise bei der Überwachung einer Straße für jedes Feld ein Verhalten hinsichtlich der Geschwindigkeit gelernt werden, was sich z. B. in Form der Durchschnittsgeschwindigkeit ausdrücken lässt. Um nun eine Veränderung der beobachten Situation erkennen zu können, die sich letztlich aus einer spontanen Verhaltensänderung einer oder mehrerer Objekte innerhalb der Gesamtszene ergibt, wird das erlernte Verhalten mindestens eines Feldes mit aktuell ermittelten Werten des entsprechenden Feldes verglichen, wobei anhand des Vergleiches auf eine Situationsänderung geschlossen wird.
Dabei kann selbstverständlich nicht nur ein Verhalten bezüglich einer Eigenschaft und bezüglich eines Feldes gelernt werden, sondern auch mehrere Verhalten pro Feld und Eigenschaft. Solche Konstellationen treten z.B. in Kreuzungsbereichen auf, in denen es z.B. zwei Häufungspunkte für die Geschwindigkeit gibt, und zwar einmal für Fahrzeuge und einmal für Fußgänger. Die aktuell ermittelten Werte werden dann sowohl mit dem einen als auch mit dem anderen Verhalten verglichen (Schritt c)), wobei eine Situationsänderung dann angenommen wird, wenn sich die aktuellen Werte unter keines der Verhalten subsumieren lassen.
So erkennt das oben genannte Verfahren z. B. eine sprunghafte Änderung der Durchschnittsgeschwindigkeit der Fahrzeuge auf der Straße, so dass somit die Bildung eines Staus bzw. das Auflösen eines Staus erkannt wird. Der Vorteil dieses Verfahrens besteht dabei darin, dass durch die Aufteilung des räumlichen Gebietes in eine Mehrzahl von Feldern lokale Situationsänderungen innerhalb eines großen räumlichen Gebietes ohne Weiteres detektierbar sind sowie die Integration mehrerer Sensoren, die das räumliche Gebiet aus unterschiedlichen Sichtweisen aufnehmen, problemlos möglich ist. Darüber hinaus ist bei diesem Verfahren keine spezielle Programmierung auf entsprechend zu detektierende Ereignissen notwendig.
Vorteilhafter Weise wird das Verhalten in Schritt b) durch die zuletzt ermittelten Werte des entsprechenden Feldes gelernt, die innerhalb eines bestimmten Zeitraumes liegen. So ist es z. B. denkbar, dass nur solche Werte beim Lernen des Verhaltens berücksichtigt werden, die innerhalb der letzten z. B. fünf Minuten erfasst wurden. Dadurch wird es möglich, dass das System nach einer gewissen Zeit die sich geänderte Situation neu lernt und als typisches Verhalten ansieht.
Es ist aber auch denkbar, dass für mehrere diskrete Zeiträume jeweils ein Verhalten gelernt wird, das dem Vergleich zum Erkennen einer Situationsänderung in Schritt c) zugrunde gelegt wird, Dabei ist es denkbar, dass ein Verhalten eines Zeitraumes, der weiter zurückliegt, bei dem Vergleich eine geringere Gewichtung erhält, als jene Zeiträume, die noch nicht so lange her sind, so dass junge Zeiträume eine höhere Gewichtung erhalten als ältere.
Besonders vorteilhaft ist es aber auch, dass jeweilige Verhalten der Mehrzahl der Zeiträume zu einem gemeinsamen Verhalten zusammenzuführen, wobei auch hier ältere Zeiträume eine andere Gewichtung bekommen können als jüngere, Durch das Zusammenführen verschiedener erlernter Verhalten unterschiedlichster Zeiträume kann somit ein typisches Verhalten der Objekte innerhalb der zu beobachtenden Szene abgebildet werden. Dabei können die unterschiedlich gelernten Verhalten z. B. mittels Mittelwertbildung zusammengeführt werden.
An dieser Stelle sei erwähnt, dass pro Feld und Zeitraum mehrere Verhalten entsprechend der Objekteigenschaften erlernt werden können, So ist es denkbar, dass für eine Objekteigenschaft 1 ein Verhalten gelernt wird und gleichzeitig für eine Objekteigenschaft 2, die z. B. mittels anderer Sensoren aufgenommen wird, ebenfalls ein Verhalten gelernt wird, so dass sich für jede Objekteigenschaft ein entsprechend gelerntes Verhalten ergibt. Diese pro Objekteigenschaft erlernten Verhalten können dann sowohl einzeln betrachtet als auch zusammengeführt werden.
Vorteilhaft ist es, wenn vor dem Vergleich in Schritt c) die Felder maskiert werden, d. h. ausschließlich die Felder zum Vergleich herangezogen werden, für die überhaupt entsprechende Werte hinterlegt sind, Dabei bleiben alle die Felder unberücksichtigt, für die keine oder nur eine sehr geringe Anzahl von Werten hinterlegt sind.
Ganz besonders vorteilhaft ist es, wenn zusätzlich zu der Erfassung der Werte eine Positionsangabe ermittelt wird, welche die entsprechende Ortsposition des Objektes innerhalb des räumlichen Gebietes repräsentiert. Diese sog. Ermittlungsposition, welche die Position angibt, an der der Wert innerhalb des räumlichen Gebietes bei dem entsprechenden Objekt ermittelt wurde, wird dann zur Ermittlung des Feldes, mit der der ermittelte Wert verknüpft wird, herangezogen.
Damit mehrere Sensoren auch überlappende Bereiche des zu überwachenden Gebietes abdecken können, ist es ganz besonders vorteilhaft, wenn diese oben beschriebene Ermittlungsposition in ein einheitliches Positionskoordinatensystem bzw. in einheitliche Weltkoordinaten umgerechnet wird, damit die Positionsangaben der ermittelten Werte untereinander vergleichbar sind. So können dann die Werte unabhängig von der Sensorposition in die entsprechenden Felder eingetragen werden.
In einer konkreten Ausführungsform ist es ganz besonders vorteilhaft, wenn das Erkennen einer Situationsänderung in Schritt c) in Abhängigkeit des Vergleiches zwischen einem erlernten Verhalten aus Schritt b) und einem anhand statistischer Auswertung von aktuell ermittelten Werten aktuellem Verhalten erfolgt. Dabei wird kontinuierlich ein aktuelles Verhalten für eines oder mehrere Felder ermittelt und mit einem zuvor erlernten Verhalten für die entsprechenden Felder verglichen. Dadurch wird es möglich, Situationsänderungen daran zu erkennen, dass sich das Verhalten der Objekte innerhalb einer oder mehrerer Felder entsprechend ändert, und zwar bezüglich einer oder mehrerer Objekteigenschaften.
In einer anderen Ausführungsform ist es ganz besonders vorteilhaft, wenn eine Situationsänderung in Abhängigkeit des Vergleiches zwischen dem erlernten Verhalten aus Schritt b) und aktuellen Werten einer Trajektorie eines konkreten Objektes erkannt wird. Dabei werden Werte bezüglich einer oder mehrerer Objekteigenschaften eines konkreten Objektes erfasst, während sich das Objekt auf einer bestimmten Bahn (Trajektorie) durch das zu überwachende Gebiet bewegt. Diese so aufgenommenen Werte werden dann einer bestimmten Trajektorie des Objektes zugeordnet und mit dem erlernten Verhalten der anderen Objekte verglichen. Weicht das Verhalten bezüglich einer oder mehrerer Objekteigenschaften des konkreten Objektes gegenüber dem erlernten Verhalten der anderen Objekte signifikant ab, so kann auf eine Situationsänderung geschlossen werden. Somit können auch einzelne Objekte identifiziert werden, die sich gegenüber dem typischen Verhalten der gesamten Szene atypisch verhalten, was ebenfalls eine Situationsänderung darstellt.
Vorteilhafterweise werden für die statistische Auswertung Mittelwerte, Summen, Produkte und/oder Standardabweichungen gebildet, die dann miteinander verglichen werden können. Dabei sind grundsätzlich alle arithmetischen Operationen möglich, die der Fachmann für statistische Zwecke heranziehen würde. Als Sensoren zur Überwachung des räumlichen Gebietes kommen insbesondere bildgebende Sensoren, die vorteilhafterweise mit Bilderkennungsverfahren ausgestattet sind, Radarsensoren oder RFID Transponder in Betracht. Als zu überwachende Objekte kommen insbesondere Menschen, Tiere, also Lebewesen im Allgemeinen, Straßen-, Schienen-, Luft- oder Wasserfahrzeuge in Betracht sowie Partikel und sonstige Objekte, Besonders vorteilhaft ist es dabei, wenn die genannten Sensoren zum Ermitteln von Eigenschaften wie Aktivität der Objekte, die Geschwindigkeit der Objekte oder deren Richtung eingerichtet sind.
Darüber hinaus ist es ganz besonders vorteilhaft, wenn der Vergleich in Schritt c) mittels eines Schwellenwertvergleiches erfolgt, so dass nicht bereits kleinste Änderungen zum Erkennen einer Situationsänderung führen. So kann der Schwellenwert derart ausgelegt sein, dass sprunghafte Veränderungen im Verhalten der Objekte als Situationsänderung erkannt werden. So kann für jedes Feld bzw. jede Zelle ein Schwellenwert ermittelt werden, der dann für jedes Feld hinterlegt wird, wobei sich der Schwellenwert z.B. aus dem Produkt der Standardabweichung des jeweiligen Feldes mit einem Empfindlichkeitsfaktor wie folgt ergeben kann: $S_{i, j} = V_{obj (i j)} \pm k_{empf} * σ_{i, j}$

mit S_{i, j} als Schwellenwert in dem Feld (i, j), mit V_{obj (i, j)} als das erlernte Verhalten bezüglich einer Eigenschaft der Objekte im Feld (i, j), mit k_empf als eine Empfindlichkeitsfaktor, der für die gesamte Szene bzw. Karte gilt und mit σ_{i, j} als Standardabweichung in dem Feld (i, j) bezüglich der erlernten Objekteigenschaft. Durch k kann in der gesamten Karte eine Empfindlichkeit eingestellt werden, die dann aber in jedem Feld zu einem anderen Ergebnis in Abhängigkeit von σ führt. So kann in örtlich nahe beieinander liegenden Feldern in einem Feld eine Situationsänderung erkannt werden, in benachbarten Feldern jedoch nicht, weil hier beispielsweise die Standardabweichung σ sehr hoch ist (z.B. in Kreuzungsgebieten). Somit kann der Schwellwert für jede Zelle einzeln und dynamisch geregelt werden, was das Verfahren noch genauer macht.
Dabei können für ein Feld auch mehrere Schwellwerte hinterlegt sein, wenn sich bezüglich einer Objekteigenschaft mehrere typische Verhalten ergeben.
Des Weiteren betrifft die Erfindung ein Computerprogrammprodukt zum Ausführen des vorstehenden Verfahren sowie eine Vorrichtung hierzu.
Die Erfindung wird anhand der beigefügten Zeichnungen beispielhaft erläutert. Es zeigen:

Fig. 1a, 1b: skizzenhafte Darstellung einer aufgenommenen Szene;
Fig. 2: Grundschema der Datenstruktur;
Fig. 3: Grundschema von abgeleiteten Informationen;
Fig. 4: schematische Darstellung der Situationserkennung über mehrere Zeitbereiche;
Fig. 5: skizzenhafte Darstellung eines Trajektorienvergleiches.

Die Fig. 1a und 1b zeigen skizzenhaft die Aufnahme einer Straßenkreuzung, die als Ausführungsbeispiel den weiteren Ausführungen zugrunde gelegt werden soll. Die Kreuzung wird dabei anhand zweier Videokameras überwacht, wobei Fig. 1a das Bild der ersten Videokamera aus einem ersten Blickwinkel erkennen lässt, während Fig. 1b das Bild einer zweiten Videokamera aus einem anderen Blickwinkel erkennen lässt.
Mittels einer entsprechenden Software, die nicht Gegenstand des vorliegenden erfindungsgemäßen Verfahrens ist, werden aus den aufgenommenen Bildinformationen Werte bestimmter Objekteigenschaften identifiziert. In diesen Ausführungsbeispielen sind die Objekte Fahrzeuge, welche die Kreuzung passieren, Dabei wird von der Bilderkennungssoftware für jedes Fahrzeug die Geschwindigkeit sowie die Richtung erkannt und entsprechend abgespeichert. Somit wird pro Fahrzeug, welches sich im Sichtfeld der Kameras befindet, kontinuierlich sowohl die Geschwindigkeit als auch die Richtung ermittelt.
Wie in Fig. 1a und 1b beispielhaft im oberen Bereich der aufgenommen Bilder zu erkennen ist, wird der aufgenommene Bildbereich in eine Mehrzahl von Feldern 1 unterteilt. In Fig. 1a und 1b ist dies jedoch nur skizzenhaft angedeutet und erstreckt sich im Normalfall über die ganze Szene. Bei der Erfassung der Geschwindigkeits- und Richtungswerte für jedes Objekt wird zusätzlich die Position ermittelt, an der die entsprechenden Werte ermittelt wurden. Damit diese Werte auch unabhängig von dem Standort der entsprechenden Kamera verwertbar sind, wird diese Positionsinformation in ein Weltkoordinatensystem umgerechnet und entsprechend abgespeichert. Somit ergeben sich für ein Fahrzeug, welches durch den Sichtbereich der beiden Kameras in Fig. 1a und 1b fährt, eine Mehrzahl von Geschwindigkeits- und Richtungswerten an unterschiedlichen Positionen bzw. eine Mehrzahl von Geschwindigkeits- und Richtungswerten an gleichen Positionen, da die Werte durch mehrere unterschiedliche Sensoren erfasst werden können.
Jedem Geschwindigkeits- und Richtungswert wird nun anhand seiner Position das entsprechende Feld 1 zugeordnet, innerhalb dessen die ermittelte Position liegt. Somit kann jedem gemessenen Geschwindigkeits- und Richtungswert genau ein solches Feld zugeordnet werden. Dies ist schematisch in Fig. 2 dargestellt. Mit anderen Worten, es wird in all jenen Feldern, die von dem Objekt während der Bewegung durch das räumliche Gebiet tangiert werden, mindestens ein Geschwindigkeits- und Richtungswert für dieses Objekt hinterlegt. Dabei kommt es nicht darauf an, das Objekt selber zu identifizieren. In Fig. 2 sind die schraffierten Felder 2 die Felder, in denen Objektwerte von verschiedenen Objekten hinterlegt wurden. Die weißen Felder hingegen weisen keinerlei hinterlegte Werte auf.
Aus dieser Anordnung ergibt sich eine kartenartige Datenstruktur, aus der sich dann mit Hilfe von statistischen Auswertungen weitere kartenartige Datenstrukturen ermitteln lassen, aus denen dann das Verhalten der Objekte innerhalb der Szene abgeleitet werden kann.
Eine solche abgeleitete kartenartige Struktur ist in Fig. 3 zu erkennen. Bei der Fig. 3 handelt es sich um eine Datenstruktur, bei der in jedem Feld der Mittelwert der in diesem Feld hinterlegten Werte gebildet wurde. In diesem Ausführungsbeispiel wurde dies mit der Objekteigenschaft "Geschwindigkeit" durchgeführt. Es lassen sich aber auch andere kartenartige Strukturen ableiten, wie z. B. solche, bei denen für jedes Feld die Standardabweichung als statistische Auswertung ermittelt wird.
Dabei werden zunächst für jedes Feld die Werte ermittelt, deren Eigenschaft statistisch abgeleitet werden soll. In diesem Ausführungsbeispiel wären das die Geschwindigkeitswerte. Dann wird für jedes Feld die statistische Auswertung durchgeführt. Da die statistische Auswertung für jedes Feld separat durchgeführt wird, ergeben sich somit für jedes Feld auch unterschiedliche Werte, die in der Fig. 3 durch eine unterschiedliche Schraffierung in den einzelnen Feldern dargestellt wird.
Durch eine solche statistische Auswertung, wie sie in die Fig. 3 gezeigt wird, lässt sich das Verhalten der Objekte hinsichtlich bestimmter Objekteigenschaften innerhalb der Szene ermitteln, wobei das erlernte Verhalten als typisches Verhalten der Objekte verstanden wird. Verändert sich nun die Szene, indem z. B. die Geschwindigkeit langsamer oder schneller wird, so schlägt sich dies letztlich auch in der statistischen Auswertung nieder, so dass aufgrund eines Vergleiches zwischen dem erlernten Verhalten und momentan aktuellen Werten dann auf eine Situationsänderung geschlossen werden kann. Eine solche Situationsänderung ist somit letztlich immer eine Abweichung des Verhaltens der Objekte vom typischen Verhalten der Objekte innerhalb dieser Szene bezüglich mindestens einer Objekteigenschaft.
Es sei beispielhaft einmal angenommen, die mittlere Geschwindigkeit liegt dabei je nach Feld zwischen 50 und 60 km/h. Kommt es nun zu einem Stau, so verringert sich naturgemäß die Geschwindigkeit der Fahrzeuge drastisch, was von den Sensoren erkannt wird. Verglichen mit dem erlernten Verhalten, welches eine mittlere Geschwindigkeit zwischen 50 und 60 km/h als typisches Verhalten anzeigt, ist eine Geschwindigkeit von 10 oder 20 km/h eines Objektes innerhalb dieser Szene atypisch, so dass auf eine Situationsänderung geschlossen werden kann. Darüber hinaus würde sich in diesem Fall auch die statistische Auswertung bezüglich der Standardabweichung sprunghaft verändern. Somit kann sehr schnell auf ein atypisches Verhalten der Objekte geschlossen werden, ohne dass zuvor das System wissen musste, worauf es zu achten hat. Dabei kann der Stau allein aus der Veränderung der Standardabweichung erkannt werden, da Stop&Go eine viel größere Standardabweichung erzeugt, als fließender Verkehr, wobei dies auch schon bei relativ kleinen bzw. schwachen Veränderungen festzustellen ist.
Fig. 4 zeigt beispielhaft den Vergleich zwischen dem erlernten Verhalten und einem aktuellen Verhalten bezüglich der beiden Objekteigenschaften Geschwindigkeit (S) und Richtung (D) anhand der statistischen Auswertung "Mittelwertbildung" (Sµ, Dµ).
Über drei in der Vergangenheit liegende diskrete Zeiträume t_-3, t_-2 und t_-1 wurden kartenartige Datenstrukturen gelernt, wie sie zuvor beschrieben wurden. Dazu wurden Datenstrukturen bezüglich der Geschwindigkeit und der Richtung der Objekte innerhalb der beobachteten Szene gelernt. Aus den ermittelten Werten für die Geschwindigkeit S und die Richtung D wurde dann für jedes Feld der Mittelwert abgeleitet, was als kartenartige Datenstruktur 41 und 42 in Fig. 4 zu erkennen ist.
Aus diesen drei abgeleiteten kartenartigen Datenstrukturen in den Zeiträumen t_-3 bis t_-1 wurde dann ein gemeinsames Verhalten abgeleitet, welches ebenfalls in Form einer kartenartigen Datenstruktur 43 bzw. 44 abgespeichert wird. Bei der Bildung eines gemeinsamen erlernten Verhaltens kann dabei mit Hilfe unterschiedlicher Gewichtungen z. B. jüngeres erlerntes Verhalten stärker berücksichtigt werden als älteres.
Darüber hinaus wurde aus momentan aktuell ermittelten Werten bezüglich der Geschwindigkeit und der Richtung ein aktuelles Verhalten gelernt, welches sich in den abgeleiteten kartenartigen Datenstrukturen 45 und 46 in Fig. 4 niederschlägt. In all den genannten Datenstrukturen wurde mit Hilfe der Mittelwertbildung als statistische Auswertung das Verhalten der Objekte innerhalb der Szene abgebildet. Auf Basis des aktuell ermittelten Verhaltens 45 bzw. 46 wird nun der Vergleich mit dem gemeinsam erlernten Verhalten 43 bzw. 44 durchgeführt. In diesem Ausführungsbeispiel wird dazu einfach die Differenz gebildet, d. h. es wird der Mittelwert eines Feldes im erlernten Verhalten mit dem Mittelwert des entsprechend gleichen Feldes im aktuellen Verhalten subtrahiert, so dass sich eine Differenzkarte ergibt. Es sind aber auch andere Vergleichsmöglichkeiten insbesondere mathematischer Art denkbar. Dieser Vergleich wird sowohl mit der Objekteigenschaft "Geschwindigkeit" als auch mit der Objekteigenschaft "Richtung" durchgeführt, wobei nach der Differenzbildung die einzelnen Werte aller Felder aufsummiert werden.
Als Ergebnis dieses Vergleiches kommt in diesem Ausführungsbeispiel ein konkreter Skalar heraus, welcher die Unterschiede zwischen dem aktuellen und dem erlernten Verhalten repräsentiert. Es ist dabei leicht zu erkennen, dass je größer der Unterschied zwischen erlerntem und aktuellem Verhalten ist, je größer auch der Skalar ist. Des Weiteren lässt sich aus dieser Anordnung erkennen, dass kleine Änderungen sich nicht wesentlich auf das Gesamtergebnis auswirken, so dass nicht gleich auf eine Situationsänderung geschlossen wird, sobald die Werte lokal auch nur minimal abweichen.
Des Weiteren ist in dieser Anordnung zu erkennen, dass bei anhaltender Situationsänderung das System selbstlernend ist und es sich der neuen Situation anpasst. Am obigen Beispiel des Staus orientiert, bedeutet dies, dass zwar der Stau als Situationsänderung zunächst erkannt wird (z.B. anhand einer großen Standardabweichung), nach einer gewissen Zeit aber die langsame Geschwindigkeit des Staus als typisches Verhalten gelernt wird (die Standardabweichung wird wieder kleiner). Das System passt sich somit automatisch ohne dass es neu justiert werden muss an die gegebene Situation an. Löst sich der Stau nach einer gewissen Weile wieder auf, so erhöht sich sprunghaft die Durchschnittsgeschwindigkeit, was ebenfalls wieder als Situationsänderung erkannt wird, da nun wiederum das Verhalten der Objekte von dem erlernten typischen Verhalten abweicht. Somit kann das System sowohl die Bildung eines Staus als auch dessen Auflösung hinterher ohne Probleme und manuelles Eingreifen erkennen und passt sich durch Mitlernen der Standardabweichung auch an zu erwartende Änderungsstärken an.
Auch ist es mit diesem Verfahren möglich, auf bestimmte äußere Einflüsse wie Witterungsbedingungen oder Ausfall von bestimmten Sensoren entsprechend zu reagieren, ohne dass es dafür eines manuellen Eingriffs bedarf. Fällt z. B. ein Sensor aus oder wird der Sensor von einem Fremdkörper teilweise überdeckt, so wird dies zwar von dem Verfahren zunächst als Situationsänderung erkannt, im weiteren Verlauf jedoch als typisch wahrgenommen. Für den späteren Verlauf hat somit der Ausfall bzw. der teilweise Ausfall eines Sensors keine Bedeutung mehr.
An dieser Stelle sei angemerkt, dass sowohl die statistische Auswertung "Mittelwertbildung" als auch die genannten Objekteigenschaften nicht auf diese begrenzt sind und nicht einschränkend zu verstehen sind.
Dabei kann auch hier mit Schwellenwerten gearbeitet werden, die für jedes Verhalten und der bezüglichen Standardabweichung ermittelt werden. So schwankt der Durchschnittswert (Mittelwert) in einer großen Szene oft nur gering, obwohl sich z.B. auf einer Fahrbahn ein Stau gebildet hat, z.B. weil sich der Stau zunächst nur auf einer Fahrbahn bildet und sich dann auf die anderen Fahrbahnen "ausbreitet" bzw. sich der Stau nur in eine Richtung bildet, während die Gegenfahrbahn frei ist. So kann es zu kompensatorischen Änderungen kommen, die sich gegenseitig aufheben, so dass in der Summe keine Situationsänderung detektiert wird.
So ist es besonders vorteilhaft, wenn für jedes Feld die Standardabweichung gespeichert wird, die dann für einen Schwellwertvergleich herangezogen wird, um so selektiv für einzelne Felder Situationsänderungen feststellen zu können. Durch eine Faktorisierung der Standardabweichung kann ein Empfindlichkeit eingestellt werden, so dass sich in manchen Feldern Situationsänderungen ergeben, da hier die Standardabweichungen relativ gering sind, während in anderen Feldern dies als normales Verhalten erkannt wird, was auf relativ große Standardabweichungen zurückzuführen ist.
So passt das erfindungsgemäße Verfahren die Standardabweichung in den Feldern, in denen eine starke Änderung auftritt entsprechend über die Zeit an (z.B. bei Entstehung eines Staus), während die anderen Feldern für Veränderungen empfindlich bleiben (z.B. die Gegenfahrbahn, bei der noch kein Stau aufgetreten ist).
Fig. 5 zeigt schematisch eine andere Ausführungsform, bei der mit Hilfe eines entsprechenden Tracking-Algorithmus ein bestimmtes bzw. konkretes Objekt verfolgt wurde. Dazu wird von dem zu beobachtenden Objekt eine Trajektorie 51 aufgenommen, die eine Mehrzahl von Datenpunkten aufweist. An diesen Datenpunkten wurden dann z. B. entsprechende Werte von zu messenden Objekteigenschaften ermittelt und hinterlegt. Diese Datenpunkte werden nun mit dem erlernten Verhalten der Gesamtszene verglichen, um festzustellen, ob das Objekt sich bezogen auf das Gesamtverhalten aller Objekte typisch oder atypisch verhält. Dies wird gleichzeitig für alle Objekte in der Szene einzeln durchgeführt.
Dazu wird jeder Datenpunkt der Trajektorie mit der darunter liegenden kartenartigen Datenstruktur, insbesondere mit den Feldern verglichen, in die der entsprechende Datenpunkt fällt. Am Beispiel von Fig. 5 sei dies szenenhaft mit dem Datenpunkt 52 dargestellt. Dabei wird zunächst einmal ermittelt, ob für diesen Datenpunkt der Trajektorie des Objektes überhaupt Werte innerhalb der Karte hinterlegt sind. Dann wird die entsprechende Objekteigenschaft, hier die Geschwindigkeit, mit den hinterlegten Geschwindigkeiten verglichen. So lässt sich z. B. aus dem erlernten Verhalten die mittlere Geschwindigkeit ableiten und mit der Geschwindigkeit des konkreten Datenpunktes 52 entsprechend vergleichen. Dabei kann mit Hilfe von Stabilitätsinformationen und Gewichtungen verhindert werden, dass kleinste Differenzen als atypisches Verhaltens erkannt werden.
Beispielsweise lässt sich mit diesem Ausführungsbeispiel in Fig. 5 erkennen, wenn z. B, Radfahrer sich sehr schnell durch eine Szene bewegen oder Fußgänger, die ziellos laufen oder plötzlich anfangen zu rennen oder über sonst kaum benutzte Flächen wie Wiesen laufen. Auch lässt sich mit diesem System ein Geisterfahrer erkennen. Es lassen sich aber auch andere Objekte wie Flugzeuge damit überwachen, so dass bei der Überwachung eines Flughafens z. B. Situationen erkannt werden, in denen Servicefahrzeuge sich in ungewöhnlichen Bereichen bewegen oder atypische Geschwindigkeiten aufweisen. Auch Starts von selten benutzten Start- und Landebahnen sowie Änderung der Startrichtung und der Einsatz eines Testfahrzeuges lassen sich mit diesem Verfahren erkennen.

Claims

Verfahren zum automatischen Erkennen einer Situationsänderung innerhalb eines mittels Sensoren zu überwachenden räumlichen Gebietes, wobei das überwachende räumliche Gebiet in eine Mehrzahl von Feldern unterteilt wird, mit den Schritten:
a) Erfassen von Werten mittels der Sensoren hinsichtlich mindestens einer Eigenschaft von Objekten, die sich innerhalb des zu überwachenden räumlichen Gebietes befinden, und deren Felder, innerhalb dessen der jeweilige Wert der Eigenschaft erfasst wurde,

b) Lernen zumindest eines Verhaltens der Objekte bezüglich mindestens einer der Objekteigenschaften anhand einer statistischen Auswertung der ermittelten Werte für mindestens ein Feld, und

c) Erkennen einer Situationsänderung in Abhängigkeit eines Vergleichs zwischen dem erlernten Verhalten mindestens eines Feldes und zumindest einem aktuell ermittelten Wert des mindestens einen Feldes bezüglich mindestens einer der Objekteigenschaften.
Verfahren nach Anspruch 1, gekennzeichnet durch Lernen des Verhaltens in Schritt b) anhand der statistischen Auswertung der innerhalb eines Zeitraumes zuletzt ermittelten Werte.
Verfahren nach Anspruch 1 oder 2, gekennzeichnet durch Lernen des Verhaltens für mehr als einen Zeitraum und Erkennen einer Situationsänderung durch Vergleich zwischen dem erlernten Verhalten der jeweiligen Zeiträume und den aktuellen Werten.
Verfahren nach Anspruch 3, gekennzeichnet durch Ermitteln eines gemeinsamen erlernten Verhaltens in Abhängigkeit der in den jeweiligen Zeiträumen erlernten Verhalten und Erkennen einer Situationsänderung durch Vergleich zwischen dem gemeinsamen erlernten Verhalten und den aktuellen Werten,
Verfahren nach Anspruch 4, gekennzeichnet durch Ermitteln des gemeinsamen erlernten Verhaltens durch Mittelwertbildung.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Vergleich in Schritt c) ausschließlich der Felder, für die zumindest ein Wert bezüglich einer der Objekteigenschaften hinterlegt ist.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Erfassen einer die Position des Objektes innerhalb des räumlichen Gebietes bei der Ermittlung eines Wertes einer Eigenschaft angebenden Ermittlungsposition und Ermitteln des entsprechenden Feldes in Abhängigkeit der Ermittlungsposition.
Verfahren nach Anspruch 7, gekennzeichnet durch Umrechnen der Ermittlungsposition in ein einheitliches Positionskoordinatensystem und Ermitteln des entsprechenden Feldes in Abhängigkeit der Ermittlungsposition innerhalb des einheitlichen Positionskoordinatensystems.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Erkennen einer Situationsänderung in Schritt c) in Abhängigkeit des Vergleiches zwischen dem erlernten Verhalten aus Schritt b) und einem anhand statistischer Auswertung von aktuell ermittelten Werten aktuellen Verhaltens als aktuelle Werte.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Erkennen einer Situationsänderung in Schritt c) in Abhängigkeit des Vergleiches zwischen dem erlernten Verhalten aus Schritt b) und aktuellen Werten zumindest einer der Objekteigenschaften einer Trajektorie eines konkreten Objektes unter Berücksichtigung der Felder, die von der Trajektorie des Objektes durchlaufen werden,
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Bilden von Mittelwerten, Summen, Produkten und/oder Standardabweichungen als statistische Auswertung.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch bildgebende Sensoren, insbesondere Bildererkennungsverfahren, Radarsensoren und/oder RFID-Transponder als Sensoren.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Menschen, Tiere, Straßen-, Schienen-, Luft-, und/oder Wasserfahrzeuge sowie Partikel als Objekte.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Aktivität, Geschwindigkeit und/oder Richtung als ermittelbare Eigenschaft der Objekte.
Verfahren nach einem der vorhergehenden Ansprüche, gekennzeichnet durch Vergleich in Schritt c) mittels eines Schwellwertvergleiches.
Verfahren nach Anspruch 15, gekennzeichnet durch Ermitteln eines Schwellwertes für jedes Feld in Abhängigkeit zumindest eines Verhaltens bezüglich mindestens einer Objekteigenschaft und der Standardabweichung bezüglich der Objekteigenschaft und des jeweiligen Feldes.
Computerprogrammprodukt mit Programmeodemittel zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche, wenn das Computerprogrammprodukt auf einer Rechenmaschine ausgeführt wird.
Vorrichtung zur Erkennung einer Situationsänderung mit mindestens einem Sensor, der zur Ermittlung von Werten mindestens einer Eigenschaft von Objekten, die sich innerhalb eines zu überwachenden räumlichen Gebietes befinden, eingerichtet ist, und mit einer Datenverarbeitungsanlage, die zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 16 eingerichtet ist.