DE60020420T2

DE60020420T2 - Situationsdarstellungs-Anzeigesystem

Info

Publication number: DE60020420T2
Application number: DE60020420T
Authority: DE
Inventors: Richard C. Concord Waters
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1999-02-16
Filing date: 2000-02-14
Publication date: 2006-05-04
Anticipated expiration: 2020-02-15
Also published as: ATE297022T1; JP3876288B2; EP1030188B1; US6396535B1; DE60020420D1; JP2000244897A; EP1030188A1

Description

GEBIET DER ERFINDUNG
Die Erfindung betrifft ein Echtzeit-Situationsdarstellungssystem und -verfahren nach den vorkennzeichnenden Teilen von Anspruch 1 bzw. Anspruch 10
HINTERGRUND DER ERFINDUNG
Videoüberwachungssysteme sind bekannt. Im Fall von Fahrzeugen werden mehrere Typen von Überwachungssystemen genutzt. Einige Fahrzeuge, z.B. Busse, weisen Kameras auf, die so angebracht sind, dass der Fahrer Straßenbereiche neben oder hinter dem Bus überblicken kann. Jedoch ist typischerweise nur eine Kamera vorhanden, und das Display zeigt lediglich genau das, was die Kamera sieht. Es gibt nicht den Versuch, das angezeigte Bild zu analysieren. Diese Systeme funktionieren einfach wie Sichtspiegel für schlecht einzusehende Bereiche. Ähnlich können Polizeifahrzeuge eine in früheren Zeiten übliche Aufzeichnung der Sicht aus dem vorderen Fenster erfassen.
Einige Fahrzeuge, wie zum Beispiel computergesteuerte Fahrzeuge, enthalten auch Sensoren. Die Sensoren erfassen eventuell gefährliche Situationen wie zum Beispiel zu schnelles Näherrücken an ein anderes Fahrzeug. Es wurden vielfältige Sensoren, zum Beispiel Sonar-, Laser- und Mikrowellensensoren eingesetzt. Diese Systeme bewirken keine Anzeige der allgemeinen Situation, vielmehr erfassen sie nur einige gefährliche Situationen.
Radar- und Sonarsysteme können eine Situationsanzeige und manchmal einen gewissen Analysegrad wie zum Beispiel in einem Luftverkehrs-Kontrollsystem erzeugen. Jedoch basieren Radar- und Sonarsysteme nicht auf Videobildern sondern vielmehr auf der Verarbeitung von mit spezifischen Frequenzen übertragenen reflektierten Signalen.
Es sind mehrere Typen von Überwachungssystemen bekannt. Es ist bezeichnend, dass diese Systeme mehrere Videoströme zu einer zentralen Stelle leiten. Die Videoströme können auf entsprechenden Monitoren angezeigt werden. Wenn die Anzahl von Kameras größer als die Anzahl von Anzeigestationen ist, dann zeigt das System gewöhnlich Kamerasichten in Folge oder auf Anforderung der Bedienperson an. Diese Typen von Systemen führen weder eine Analyse durch, noch führen sie mehrere Ströme zu einer einzigen Situationsanzeige zusammen. Meistens können sie mehrere unabhängige Ansichten nebeneinander auf einem einzelnen Bildschirm mit zeitlichen und örtlichen Anmerkungen anordnen.
Es gibt auch Systeme, die spezielle Orte wie Rolltreppen, Aufzüge, Schlagbäume, Bankautomaten, Umzäunungen überwachen, um das Auftreten von besonderen Situationen zu bestimmen. Einige dieser Systeme können versuchen, das Video zu analysieren, um bewegliche Objekte zum Beispiel zur Gewinnung eines Kennzeichens zu erfassen. Jedoch kombinieren diese Systeme typischerweise weder die Informationen von mehreren Quellen noch erzeugen sie eine gesamte Situationsanzeige, noch setzen sie ein Bild von einem anderen Betrachtungspunkt zusammen.
US-A-5 410 346 offenbart ein System zum Bestimmen eines Abstands zwischen einem fahrenden Fahrzeuge und einem Objekt, der über ein abgebildetes Bild bestimmt wird. Dreidimensionale Objekte oder eine Straßenform werden zusammen mit einer genauen Position oder Dimension ebenfalls erfasst. Ein Objekt innerhalb eines eingestellten Bereichs außerhalb eines Fahrzeugs wird abgebildet durch ein stereoskopisches optisches System zum Eingeben des abgebildeten Bildes des Objekts in ein Verarbeitungsgerät für Raumbilder. Das Verarbeitungsgerät für Raumbilder verarbeitet das durch das stereoskopische optische System abgebildete Bild, um eine Entfernungsverteilung über das gesamte Bild zu berechnen. Eine Detektiervorrichtung für Straßen/dreidimensionale Objekte berechnet dreidimensionale Positionen von entsprechenden Teilen von Objekten, die Informationen der Entfernungsverteilung entsprechen, um die Form der Straße und eine Vielzahl von dreidimensionalen Objekten zur erfassen, indem Informationen dieser dreidimensionalen Positionen sicher und mit hoher Zuverlässigkeit verwendet werden.
Des Weiteren beschreibt WO 98 45816 A ein Verfahren zur Näherung an ein rechnergestütztes Modell einer Szene in der realen Welt oder einer künstlichen Szene. Das Computermodell nutzt Datenobjekte auf Abstraktionsbasis sowie auf Bildern basierende Datenobjekte. Ein Korrelationsnetz bewirkt Verbindungen zwischen zugeordneten bild- und abstraktionsbasierten Objekten. Ein Anfangsschritt in einem Prozess analysiert einen eingegebenen Bildfluss und Benutzereingaben, um anfängliche bildbasierte und abstraktionsbasierte Objekte für das Szenenmodell abzuleiten. Nachfolgende Schritte in dem Prozess ermöglichen es, dass Benutzereingaben bildbasierte Objekte, abstraktionsbasierte Objekte und/oder das Korrelationsnetz verfeinern. Die Folge ist, dass Verfeinerungen an dem bildbasierten Objektmodell der Szene das abstraktionsbasierte Modell der Szene verbessern können und Verfeinerungen an dem abstraktionsbasierten Objektmodell das bildbasierte Modell verbessern können.
ABRISS DER ERFINDUNG
Echtzeit-Situationsdarstellungssystem und -verfahren nach der Erfindung sind durch die Merkmale von Anspruch 1 bzw. Anspruch 7 gekennzeichnet.
Das Situationsdarstellungssystem enthält eine Vielzahl von Kameras. Jede Kamera erfasst eine Bildfolge von überlappenden Teilen eines interessierenden Bereiches. Ein Analysiermittel führt die durch die Vielzahl von Kameras erfassten Bildfolgen zusammen und identifiziert bewegliche Objekte im interessierenden Bereich. Eine Anzeigevorrichtung zeigt die zusammengefassten Bildfolgen und mit den identifizierten beweglichen Objekten verbundene Informationen an.
In einer bevorzugten Ausführung wird der optische Fluss in zeitlich aufeinander folgenden Bildern eines einzelnen Videostroms analysiert, um Bewegungsfelder zu erzeugen. Räumlich benachbarte Bilder mehrerer Videoströme werden registriert, um Tiefenbilder zu erhalten. Die Bewegungsfelder und Tiefenbilder werden segmentiert, um teilweise zugeschriebene Datenobjekte zu erzeugen. Unter Verwendung einer anwenderspezifischen Datenbank und Analyse werden die teilweise zugeschriebenen Datenobjekte in vollständig zugeschriebene Datenobjekte und Ereignisse umgewandelt, die als mit Anmerkungen versehene grafische Elemente und Alarmmeldungen angezeigt werden. Die Betrachtungsorientierung der Anzeige kann vom Betrachtungspunkt der Kameras abhängig sein.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
Es zeigen
1 ein Blockdiagramm eines erfindungsgemäßen Darstellungssystems;
2 ein Blockdiagramm eines Analysier-Zusammensetzmittels des Systems von 1; und
3 ein beispielhaftes künstliches Bild, das durch das System von 1 erzeugt wird.
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE
Systemübersicht
1 zeigt das Situationsdarstellungssystem 100 entsprechend meiner Erfindung. Das System 100 umfasst mehrere Videokameras 101 – 106. Jede Kamera erfasst eine Bildfolge als einen Videostrom 115. Es sind sechs Kameras gezeigt, wobei weniger oder mehrere verwendet werden können. Wegen Redundanz können zusätzliche Kameras im Fall eines Kameraausfalls oder eines Hindernisses vorgesehen werden. Die Kameras können so angeordnet werden, damit ein ganzes Blickfeld von 360 Grad eines interessierenden Bereiches um ein Fahrzeug herum erhalten wird.
Für andere Anwendungen ist ein kleineres Blickfeld geeignet. Die durch jede Kamera zur Verfügung gestellten Bilder überdecken Teile des interessierenden Bereiches, so dass stereoskopische Verfahren zur Gewinnung von Tiefeninformationen verwendet werden können. Es können Weitwinkelobjektive genutzt werden, um die Größe der Überdeckung zu erhöhen, ohne die Anzahl von Kameras zu vergrößern.
Das Ausgangssignal der Kameras, digitalisierte Videoströme 115, wird mit einem Analysier-Zusammensetzmittel 200 verbunden. Das Analysier-Zusammensetzmittel 200 nach meiner Erfindung analysiert die Videoströme und erzeugt eine künstliche Anzeige 300 auf einem Ausgabegerät 120.
Arbeitsweise des Systems
In einem betriebsbereiten System können die Kameras zum Beispiel an einem in 1 durch Strichlinien dargestellten Fahrzeug 130 montiert werden. Die Kameras können auch an anderen unbeweglichen oder beweglichen Stellen angeordnet werden, um das interessierende Gebiet, im Allgemeinen 125, die Bereiche vor den verschiedenen Objektiven zu beobachten.
Das Analysier-Zusammensetzmittel 200 wirkt auf die Daten der mehreren Videoströme in Echtzeit ein. Der Analysierteil entnimmt zeitliche und räumliche Daten aus den Videoströmen, um Objekte und ihre Merkmale wie zum Beispiel Größe, Position und Geschwindigkeit zu identifizieren. Außerdem werden Beziehungen zwischen den identifizierten Objekten bestimmt, zum Beispiel zwei Fahrzeuge auf sich schneidenden Kursen. Mit anderen Worten, die Videoströme werden auf eine Beziehung von zugeschriebenen Objekten reduziert. Die zugeschriebenen Objekte werden analysiert, um Ereignisse, zum Beispiel eine mögliche Kollision oder eine Gefahrenzone, zu detektieren. Der Zusammensetzmittelteil erzeugt die Situationsdarstellungsanzeige 300 der Beziehungen der zugeschriebenen Objekte und den Ereignissen zugeordnete optionale Alarmmeldungen.
Nach meiner Erfindung ist in die Situationsdarstellungsanzeige 300 vollständig synthetisch. Im Gegensatz zum Stand der Technik lösche ich den Videostrom 115, nachdem er analysiert ist. Außerdem integriert das Zusammensetzmittel die aus den mehreren Videoströmen entnommenen Informationen zu einer einzelnen Anzeige 300. Darüber hinaus können Alarmsignale 140 erzeugt werden, wenn bestimmte gefährliche Situationen oder Ereignisse erkannt werden. Die Alarmsignale können angezeigt oder an irgendein anderes Ausgabegerät 150 gegeben werden. In einer alternativen Ausführung können die Alarmsignale 140 ein Ausweichmanöver zur Kollisionsvermeidung, zum Beispiel Bremsen oder Verlangsamen, auslösen.
Zusammensatz-Analysiermittel
Wie in 2 gezeigt ist, werden Videoströme 115 von mehreren Kameras 101 – 106 an das Analysier-/Zusammensetzmittel 200 über einen Analog-Digital-Wandler bei Bedarf als digitale Videodaten 201 gegeben. Aus den digitalen Videodaten 201 werden zeitliche und räumliche Informationen entnommen.
Eine Analyse 210 des optischen Flusses wird genutzt, um Bewegungsfelder 211 aus zeitlich (?t) getrennten Bildern, zum Beispiel aus Bewegungsfeldern aufeinander folgender Bildfolgen in einer einzelnen Videosequenz zu bestimmen.
Eine Bildregistrierung 220 wird verwendet, um aus räumlich (?x, ?y) sich überdeckenden Bildern einen Tiefenbild 221 zu bestimmen, indem zum Beispiel Bildfolgen genutzt werden, die aus überdeckenden Teilen des interessierenden Bereiches durch mehrere Kameras aufgenommen werden. Das Tiefenbild legt im Einzelnen den Abstand (?Z) zu jedem Pixel in dem Bild fest.
Die Bewegungsfelder und Tiefenbilder werden segmentiert, um teilweise zugeschriebene Datenobjekte 231 zu erzeugen. Zum Beispiel ist es wahrscheinlich, dass Pixel mit dem gleichen optischen Fluss bei gleicher Tiefe dem gleichen Objekt zugeordnet sind. Eine Verwendung sowohl des optischen Flusses als auch der Abstände schafft eine stabile Segmentierung, insbesondere, wenn die Flussanalyse gleichzeitig mit der Registrierung vorgenommen wird, so dass die abgeleiteten Ergebnisse (Bewegungsfelder und Tiefenwerte) miteinander korrelieren (215).
Die Teileigenschaften können Größe, Position, Geschwindigkeit, Bewegungsrichtung der Objekte im dreidimensionalen Raum umfassen. Die Objekte werden nur zum Teil zugeschrieben, weil andere Eigenschaften, die von zusätzlichen Kenntnissen abhängig sind, wie zum Beispiel die genaue Identität der Objekte, noch nicht bestimmt wurden.
Die teilweise zugeschriebenen Datenobjekte 231 können in Verbindung mit einer anwenderspezifischen Datenbank 239 analysiert 240 werden, um vollständig zugeschriebene Datenobjekte 241 und Ereignisse 242 zu erzeugen. Zum Beispiel ist eine einseitige Ansicht eines Sattelschleppers ausreichend, um auf die gesamte Form des Objekts zu schließen. Es können verschiedene Arten von Schablonenvergleichsschemen verwendet werden, um spezifische, gemeinsam vorkommende Objekte wie zum Beispiel andere Fahrzeuge, Fußgänger, Fahrräder, Lastkraftwagen und dergleichen vollständig zu identifizieren. Bei einer Fahrzeuganwendung können die Merkmale außerdem Fahrbahnteiler, Gehwege, Haltesignale, Leitplanken, Bordsteine, Gebäude, Zäune und so weiter enthalten.
Die Ereignisse 242 können erzeugt werden, indem die Beziehungen zwischen den zugeschriebenen Objekten, zum Beispiel die Situation eines möglichen Zusammenstoßes, ein Auto kommt von der Strasse ab oder die Situation schwächeren Lichtes, analysiert werden. Es können auch zusätzliche Sensoren 249 eingesetzt werden, um die Anzahl von Ereignissen, die detektiert werden können, zu erhöhen.
Ein Zusammensetzmittel 250 wandelt die vollständig zugeschriebenen Datenobjekte 241 in mit Anmerkungen versehene grafische Elemente 251 und Alarmmeldungen 252 um. Der letzte Schritt gibt 260 die grafischen Elemente 251 und Alarmmeldungen 252 wieder.
Anzeige
Es sind viele unterschiedliche Typen von Situationsanzeigen möglich. Die Anzeige 300 in 3 zeigt eine Vogelperspektive des interessierenden Bereichs mit dem Fahrzeug 310, an dem die Situationsdarstellungsvorrichtung, mit fester Ausrichtung in der Nähe des Mittelpunktes der Anzeige angeordnet, montiert ist, und mit Anmerkungen versehene Objekte sich relativ zu dem Betrachtungspunkt bewegen. Es ist anzumerken, dass die Ansicht vollständig synthetisch und orthogonal zu der durch die Kameras betrachtete Sicht ist.
Es werden ebenso bestimmte andere Bildmerkmale wie zum Beispiel Fußgängerüberweg 320, Gebäude 330, anderer Verkehr 340, ein Fahrrad 350 und so weiter dargestellt.
Die Pfeile 301 können genutzt werden, um die Bewegungsrichtung von Objekten, die nicht unbeweglich sind, darzustellen. Das Bestimmen der Ausrichtung der Pfeile erfordert eine aktive Analyse im Gegensatz zur passiven Anzeige des Ausgangssignals der Kameras wie es im Stand der Technik erfolgt.
In einem interessierenden Bereich, bei dem ausreichendes Umgebungslicht nicht gewährleistet werden kann, kann meine Erfindung durch das Einbeziehen von aktiver Beleuchtung erweitert werden. In einigen Situationen könnte es von Nutzen sein, Infrarotlicht, um entweder im Dunkeln zu sehen, ohne dass eine aktive Beleuchtung erforderlich ist oder als harmlose aktive Beleuchtung zu verwenden. In Situationen wie Nebel, wo die Sichtverhältnisse schlecht sind, kann meine Erfindung betrieben werden durch eine Lichtquelle sorgfältig ausgewählter Wellenlängen oder eine Stroboskoplichtquelle, die mit dem Verschluss der Kameras geeignet synchronisiert sind, um auf interessierende Objekte fokussiert zu werden und anderes Streulicht zu unterdrücken.
In einer Ausführung meiner Erfindung kann der Analysierschritt 240 sekundäre Daten 238 aufnehmen. In einer Fahrzeuganwendung können die Daten die Geschwindigkeit oder Position des Fahrzeugs, wie sie von einem GPS-Empfänger erhalten werden, umfassen. Mit der Fahrzeuggeschwindigkeit kann die Analyse verbessert und vereinfacht werden. Positionsdaten ermöglichen die Verwendung von Karten auf der Anzeige sowie aktuelle Namen von Straßen und Plätzen.
In einer anderen Ausführung befindet sich die Anzeige 300 unter Kontrolle des Benutzers. Zum Beispiel gibt der Benutzer bei einer Gebäudeüberwachungsanwendung Steuersignale 239 ein, um die Art und Weise wie die mit Anmerkungen versehenen grafischen Elemente und Alarmmeldungen angezeigt werden, zu modifizieren oder die Orientierung des Betrachtungspunkts zu ändern. Es ist außerdem möglich, die Alarmmeldungen und grafischen Elemente zu einer entfernten Stelle zu übertragen. Zum Beispiel kann die Bedienperson, während sie zu einem geparkten Fahrzeug geht, den interessierenden Bereich in der Nähe des Fahrzeugs von einem sicheren Ort aus auf einem tragbaren Anzeigegerät betrachten.
Außerdem können mehrere Fahrzeuge die Situationsinformationen miteinander austauschen, um den Umfang der Anzeige zu verbessern. Andere Bereiche, in denen die Erfindung verwendet werden kann, umfassen Flughäfen, Wasserstrassen und dergleichen.

Claims

Echtzeit-Situationsdarstellungssystem, welches aufweist: mehrere Kameras (101 bis 106), die mehrere Videoströme (115) von überlappenden Teilen eines interessierenden Bereichs erwerben; Analysiermittel (42) zum Reduzieren der mehreren Videoströme (115) auf zugeschriebene Datenobjekte und Ereignisse; Zusammensetzmittel (250) zum Darstellen der zugeschriebenen Datenobjekte und Ereignisse als Alarmmeldungen (252) auf einer Ausgabevorrichung (150); Mittel (210) zum zeitweisen Analysieren eines optischen Flusses in aufeinander folgenden Bildern eines einzelnen Videostroms, um Bewegungsfelder zu erzeugen; Mittel (220) zum räumlichen Registrieren benachbarter Bilder von mehreren Videoströmen, um Tiefenbilder zu erhalten; und Mittel (230) zum Segmentieren der Bewegungsfelder und der Tiefenbilder, um teilweise zugeschriebene Datenobjekte zu erzeugen; dadurch gekennzeichnet, dass die Zusammensetzmittel (250) die zugeschriebenen Datenobjekte und Ereignisse als Alarmmeldungen (252) und mit Anmerkungen versehene grafische Elemente (251) auf einer Ausgabevorrichtung (120, 150) darstellen; dass die Analysemittel (240) die teilweise zugeschriebenen Datenobjekte analysieren unter Verwendung einer anwendungsspezifischen Datenbank, um vollständig zugeschriebene Datenobjekte und Ereignisse zu erzeugen, und dass Schablonenvergleichsschemen verwendet werden, um spezifische, gemeinsam auftretende Objekte vollständig zu identifizieren.
System nach Anspruch 1, weiterhin aufweisend: Sensoren (249), die den Analysierschritt mit sekundären Daten und Signalen versorgen.
System nach Anspruch 1, bei dem die Zusammensetzmittel (250) eine Anzeige erzeugen mit einem Betrachtungspunkt, der im wesentlichen orthogonal zu dem Betrachtungspunkt der Kameras (101 bis 106) ist.
System nach Anspruch 1, bei dem der interessierende Bereich eine Panoramaszene ist.
System nach Anspruch 1, bei dem Anmerkungen für die grafischen Elemente Bewegungsrichtungen enthalten.
System nach Anspruch 3, bei dem Benutzersteuersignale die Anzeige bestimmen.
Verfahren zum Erzeugen einer Echtzeit-Situationsdarstellungsanzeige, welches die Schritte aufweist: Erwerben mehrerer Videoströme (115) von überlappenden Teilen eines interessierenden Bereichs; Reduzieren der mehreren Videoströme (115) auf zugeschriebene Datenobjekte und Ereignisse, Darstellen der zugeschriebenen Datenobjekte und Ereignisse als Alarmmeldungen (252) auf einer Ausgabevorrichtung (150); zeitmäßiges Analysieren eines optischen Flusses in aufeinander folgenden Bildern eines einzelnen Videostroms, um Bewegungsfelder zu erzeugen; räumliches Registrieren benachbarter Bilder von mehreren Videoströmen, um Tiefenbilder zu erhalten; und Segmentieren der Bewegungsfelder und Tiefenbilder, um teilweise zugeschriebene Datenobjekte zu erzeugen, dadurch gekennzeichnet, dass der Schritt des Darstellens der zugeschriebenen Datenobjekte und Ereignisse die zugeschriebenen Datenobjekte und Ereignisse als Alarmmeldungen (252) und mit Anmerkungen versehene grafische Elemente (251) auf einer Ausgabevorrichtung (120, 150) darstellt; dass der Schritt des Analysierens die teilweise zugeschriebenen Datenobjekte analysiert unter Verwendung einer anwendungsspezifischen Datenbank (239), um vollständig zugeschriebene Datenobjekte und Ereignisse zu erzeugen, und dass Schablonenvergleichsschemen verwendet werden, um spezifische, gemeinsam auftretende Objekte vollständig zu identifizieren.