DE3689545T2

DE3689545T2 - Zweimoden-Videotracker.

Info

Publication number: DE3689545T2
Application number: DE88117779T
Authority: DE
Inventors: Earl L Emerson; Gordon T Pope; Arthur K Rue
Original assignee: Hughes Aircraft Co
Current assignee: Raytheon Co
Priority date: 1985-04-01
Filing date: 1986-03-27
Publication date: 1994-04-28
Anticipated expiration: 2006-03-28
Also published as: US4719584A; DE3685394D1; NO170176B; NO864712L; TR22572A; ES553553A0; ES8800463A1; WO1986005890A1; KR880700278A; NO864712D0; EP0217871B1; AU579286B2; KR900008371B1; ES557146A0; IL78290A; DE3689545D1; JPH0766047B2; EP0217871A1; JPS62502420A; IL93578A

Description

Die vorliegende Erfindung betrifft im weiteren Sinne Videoverfolger für Anwendungen in taktischen Systemen und insbesondere mit einem Verfolger, welcher sowohl Korrelations- als auch Schwerpunktvideoprozessoren aufweist.
Anwendungen von Videoverfolgern in taktischen Systemen erfordern hohe Leistungsfähigkeit auch dann, wenn Störobjekte im Hinter- und Vordergrund von dem betreffenden Ziel ablenken. Zusätzlich müssen diese Systeme unter dynamischen Bedingungen zufriedenstellend operieren, wenn sich die relativen Sichtwinkel und der zielabstand fortwährend ändern, und wenn Bildschlingern um die Sichtlinie des Verfolgungssensors sehr stark sein kann.
In der Vergangenheit wurden Videoverfolgungsprozessoren geschaffen, welche verschiedene Verarbeitungsmethoden oder Algorithmen einsetzen, wie etwa Konzepte für die Implementierung von Schwerpunkt-, Flächenabgleichs-, Rand- und zahlreiche Korrelationsverfolgungsarten. Die meisten dieser Videoverfolgungsprozessoren weisen Charakteristiken auf, welche sie für die gemeinsamen Verwendung in einem "Duplexmodus"-Betrieb ungeeignet machen. Beispielsweise sind Rand- und Flächenabgleichsalgorithmen entweder verrauscht oder besitzen keine gut definierten Zielformen unabhängig von Fehlermaßstabsfaktoren. Viele Implementierungen von Korrelationsalgorithmen bieten keine zufriedenstellende Leistung, wenn die Szenenwechsel auf einer dynamischen Basis verfolgt werden; wenn diese Arten von Korrelationsalgorithmen in Verbindung mit anderen Verfolgungsprozessoren in einer Duplexmodusrolle eingesetzt werden, besteht folglich eine übermäßige Abhängigkeit von dem alternativen Verfolgungsalgorithums. Zusätzlich ist es äußerst wünschenswert, ein Verfolgungsfenster um das betreffende Ziel zu legen, wenn Ziele verfolgt werden, welche sich relativ zum Hintergrund bewegen, um dadurch den stationären Hintergrund auszunehmen. Es gibt jedoch für viele Korrelationsverarbeitungsalgorithmen keine Verfahren zur Ableitung von sinnvollen Verfolgungsfenstern, oder sie hängen von extern abgeleiteten Daten ab, welche Messungen von Parametern sind, die für die Korrelationsverarbeitung nicht grundlegend oder relevant sind.
Videoverfolgungsprozessoren von der vorstehend beschriebenen Art sind normalerweise darauf ausgelegt, eine spezifische Videoabtastung und ein spezifisches Zeilensprungvideoformat zu verarbeiten. Wenn also Verfolgungssensoren eingesetzt werden, welche ein Videoformat abgeben, das sich von demjenigen unterscheidet, das der Prozessor üblicherweise verarbeitet, muß der Prozessorentwurf modifiziert werden, oder als Alternative muß das Eingabevideoformat auf das benötigte Videoformat bei der Abtastung umgewandelt werden, damit es verarbeitet werden kann. Falls eine Abtastumwandlung erforderlich ist, wird eine beträchtliche Verarbeitungsverzögerung eingeführt, wodurch unter dynamischen Bedingungen die Verfolgungsschleifenbandbreite begrenzt und das Verfolgungsleistungspotential herabgesetzt wird. Zusätzlich verschleiert der Abtastumwandlungsvorgang oft räumliches Szenensampling auf eine für den eingesetzten Sensor typische Art und führt Videofalschprodukte und/oder gegenseitige räumliche und zeitliche Samplingstörungen ein, welche sich als verheerend für die Erzeugung von richtigen Verfolgungsfehlermessungen erweisen.
Im Idealfall wäre es wünschenswert, einen Videoverfolger mit zwei Videoverfolgungsprozessoren verschiedener Art vorzusehen, von denen jeder einzelne besonders geeignet ist, hohe Leistung bei einer vorgegebenen Zusammenstellung von taktischen Anwendungen zur Verfügung zu stellen, und für die Verwendung mit unterschiedlichen Abtast- und Zeilensprungformaten ohne weiteres geeignet ist.
Videoverfolgungsprozessoren sowohl von der Art der Schwerpunkt- als auch Korrelationsprozessoren sind in der Technik gut bekannt. Das am 2. Januar 1979 für Fitts erteilte U.S.- Patent Nr. 4 133 044 legt beispielsweise einen Videokorrelationsverfolger offen, welcher einen rekursiven Bezug einsetzt, um Verfolgungsfehlerberechnungen auszuführen. Der in dem Fitts-Patent offengelegte Korrelationsverfolger weist eine Schaltung zur Erzeugung einer Bezugskarte im Pixelformat auf. Die Pixelinformation aus der Bezugskarte, welche aus früheren Videorahmen erhalten wurde, wird in einem Rekursivspeicher gespeichert, um die Berechnung von optimalen Azimut- und Elevationsbewertungswerten für jeden Pixel im Sichtfeld zu ermöglichen. Der Unterschied zwischen dem Intensitätswert für jedes der während des laufenden Rahmens empfangenen Videopixel und dem Intensitätswert für den entsprechenden Bezugskartenpixel wird mit einer entsprechenden Bewertungsfunktion multipliziert. Jedes so erhaltene Produkt wird dann in einem Akkumulator kombiniert, um Fehlersignale für Azimut- und Elevationskorrelation zu bilden, welche zusammengesetzte Angaben über die Rahmen/Bezugskorrelation über dem bezeichneten Verfolgungsfensterbereich darstellen, der die Größe des gesamten Sichtfelds (FOV, d. h. "field of view") minus eine Grenzlinie von einem Pixel aufweisen kann. Die Bewertungsfaktoren für jeden Pixel werden auch kombiniert und akkumulativ über die gesamte Bildebene addiert, um am Ende jedes Rahmens drei adaptive Maßstabsfaktoren zu bilden, welche mit den Fehlersignalen für Azimut- und Elevationskorrektur kombiniert werden, um gegenseitige Störung zu beseitigen und Korrelationsfehlersignale zu erzeugen, welche frei von gegenseitiger Störung sind.
Der im obengenannten Fitts-Patent offengelegte Videokorrelationsverfolger eignet sich besonders gut für dynamische Anwendungen, bei denen sich Szenensichtwinkel, Bereich und Szenenschlingerausrichtung um die Sichtlinie schnell ändern.
Die Erfindung ist im Patentanspruch 1 angegeben und betrifft eine Vorrichtung zum automatischen Verfolgen eines Ziels.
Gemäß der vorliegenden Erfindung ist ein Duplexmodus- Videoverfolger vorgesehen, welcher einen Videoprozessor vom Korrelationstyp wie auch einen vom Schwerpunkttyp einsetzt, welche automatisch derart gesteuert werden, daß der am besten zum Verfolgen einer besonderen Szene geeignete Prozesser automatisch gewählt wird. Zusätzlich weist der Videoverfolger einen Mikrocomputer und einen Videovorprozessor auf. Der Videovorprozessor dient als Schnittstellenvorrichtung zum Konditionieren der von Verfolgungsempfänger/Sensoren analog eingegebenen Videosignale vor ihrer Weitergabe an den Korrelations- und den Schwerpunktprozessor. Der Mikrocomputer steuert die Übertragung von Videodaten, berechnet Verfolgungsfehlerparameter und führt sowohl individuelle Prozessorensteuerfunktionen als auch die allgemeine Modussteuerung aus, darunter die Wahl des Prozessors mit der besten Verfolgungsleistung.
Der Videoverfolger kann in jeder der folgenden Verfolgungsarten betrieben werden:
(1) kompetitiv,
(2) komplementär,
(3) Differenzvideo, und
(4) sehr niedriges Signal-Rausch-Verhältnis (SNR).
Beim kompetitiven Betriebsmodus werden der Schwerpunkt- und der Korrelationsprozessor verwendet, um unabhängig voneinander das bezeichnete Ziel zu verfolgen, und derjenige Prozessor, welcher die "beste Verfolgungsleistung liefert, wird für die tatsächliche Verfolgungssystemsteuerung gewählt. Unabhängige Verfolgungsstatusindikationen für den Schwerpunkt- und den Korrelationsprozessor, welche zusammen mit Erwägungen über die Größe des Verfolgungsfensters abgeleitet werden, bilden die Grundlage für die aktive Prozessorwahl. Im Falle des Schwerpunktprozessors wird der Verfolgungsstatus bestimmt durch die Anzahl der Pixel im Verfolgungsfenster, welche die gewählte Schwelle überschreiten können, zusammen mit dem Verhältnis der Anzahl von Verfolgungsfensterpixeln, welche die Schwelle zu der Anzahl von Grenzfensterpixeln überschreiten. Beim Korrelationsprozessor wurde der Verfolgungsstatus bestimmt durch das Verhältnis zwischen der Differenzvideosumme zu der Differenzvideofensterfläche zusammen mit der Größe der Gradientensumme und dem Durchschnittswert der Gradientensumme über dem Gradientenfenster.
Im kompetitiven Modus gibt es vier mögliche Verfolgungszustände:
(1) Verfolgungeinleitung,
(2) Verfolgungsaufrechterhaltung,
(3) Coast (Leerlauf), und
(4) Halteverlust.
Die Verfolgungssequenz beginnt, wenn der Bediener das betreffende Ziel an der gewünschten Stelle innerhalb des Blickfelds positioniert hat und einen Verfolgungseinleitungsbefehl ausgeführt hat. Von diesem Zeitpunkt an ist der Verfolgungsbetrieb völlig automatisch, außer wenn der Verfolgungseinsatz vom Bediener beendet wird oder der Halteverlust eintritt, worauf ein Wiedererfassungsvorgang eingeleitet oder die Ausrichtungssteuerung des Systems automatisch wieder dem Bediener übertragen wird. Wie im Vorangegangenen angedeutet wurde, werden die Übergänge in der Verfolgungszustandssteuerung durch Angaben über den Schwerpunkt- und den Korrelationsverfolgungsstatus bestimmt. Zusätzlich können Übergänge aufgrund einer Verletzung von Fensterformatbeschränkungen oder der Fehlanordnung der Verfolgungsausrichtung erfolgen, welche sich ergeben können, während der nicht aktive Prozessor in einem gerasterten Verfolgungsmodus operiert. Nachdem die Erfassungssequenz für einen Prozessor eingeleitet wurde, wird eine Anzeige für gültige Verfolgung erzeugt, wenn eine zufriedenstellende Verfolgung hergestellt ist. Der Prozessor steht dann für die aktive Verfolgungssteuerung zur Verfügung.
Beim komplementären Betriebsmodus wird das rekursive Bezugsvideo durch die Schwerpunktverarbeitungsfunktion verarbeitet, und Korrelations- und Schwerpunktverfolgungsfehler werden gleichzeitig kombiniert, um ein einziges Verfolgungsfehlersignal für jede Achse abzugeben.
Im Differenzvideomodus verwendet der Verfolger den Differenzvideoparameter des Korrelationsprozessors, um bewegliche Ziele automatisch über Schwerpunktverarbeitung zu erfassen. Beim Betriebsmodus mit niedrigem Signal-Rauschverhältnis wird schließlich das rekursive Korrelationsbezugsvideo verwendet, um den Video-Rauschabstand für Schwerpunktverarbeitung zu erhöhen.
Ein bezeichnendes Merkmal der Erfindung liegt im Vorsehen einer automatischen Einstellung des Verfolgungsfensterformats beim Korrelationsprozessor durch die Verwendung einer Gradientenfunktion, welche aus den Daten der Korrelationsgewichtungsfunktion gebildet wird. Die Fensterränder werden bestimmt durch Aufsummieren der absoluten Werte der Azimut- und Elevationsgewichtungsfunktion und darauffolgende Akkumulierung dieser Summen über einem Gradientenfenster und Einstellung jedes Fensterrands, um den Durchschnittswert der Summe über dem eingerandeten Bereich zu minimieren.
Ein weiteres bedeutsames Merkmal der Erfindung betrifft eine Technik zur Bestimmung des Verfolgungsstatus des Korrelationsprozessors durch die Verbindung der Größe der Gradientenfunktion und der Größe des Korrelationsdifferenzvideos. Dieses Merkmal, in Kombination mit der Schwerpunktverarbeitungsfunktion und den Schwerpunktverfolgungs-Statusanzeigern, schafft ein Mittel zur Implementierung eines vollautomatischen Verfolgungsprozessors. Im Vergleichsmodus stellen die beiden voneinander unabhängigen Verfolgungsstatusindikatoren die Mittel für die Wahl des "besten" Prozessors für das Zielsteuersystem zur Verfügung.
Ein weiteres Merkmal der Erfindung liegt in der Technik der Kombination der Korrelations- und Schwerpunktverfolgungsfehler, um ein zusammengesetztes Fehlersignal zu bilden, welches eine echt komplementäre Funktion darstellt. Schließlich ist der Videoverfolger der vorliegenden Erfindung geeignet, für die Verwendung mit Sensoren, welche verschiedene Formen von räumlicher Zeilensprungabtastung und Videodatenformaten einsetzen, einschließlich Einrichtungs- und Zweirichtungsabtastung.

KURZBESCHREIBUNG DER ERFINDUNG

In der Zeichnung, welche einen integren Teil der Beschreibung bildet und in Verbindung mit dieser zu verstehen ist, werden gleiche Bezugssymbole verwendet, um identische Bestandteile in den verschiedenen Ansichten zu bezeichnen.
Es zeigt:
Fig. 1A und 1B ein umfassendes Blockdiagramm des Duplexmodusvideoverfolgers, welcher die bevorzugte Ausführungsform der vorliegenden Erfindung darstellt;
Fig. 2 ein kombiniertes Block- und Schemadiagramm des Videoprozessors;
Fig. 3 ein kombiniertes Block- und Schemadiagramm der Schaltung für den Schwerpunktprozessor;
Fig. 4 eine Kurve, welche die Beziehung zwischen den linearen Gewichtungsfunktionen We und Wd des Schwerpunktprozessors und dem Verfolgungsfensterformat darstellen;
Fig. 5 ein kombiniertes Block- und Schemadiagramm der Schaltung für den Korrelationsprozessor;
Fig. 6 eine Diagrammansicht der räumlichen Beziehung von Pixeln, welche bei der Verarbeitung der Korrelationsgewichtsfunktionen für ein Pixel "x" verwendet werden;
Fig. 7 eine kombinierte Block- und Schemadiagrammansicht einer Schaltung, welche die Fließband-Verarbeitungstechnik für den Korrelationsprozessor verwendet;
Fig. 8 ein Blockdiagramm, welches eine Schaltung für den Berechnungskorrelationsfehler darstellt;
Fig. 9 ein Breitblockdiagramm des rekursiven Korrelationsbezugs; und
Fig. 10 und 11 detaillierte Blockdiagramme der Schaltung für den in Fig. 5 abgebildeten Korrelationsprozesser.

AUSFÜHRLICHE BESCHREIBUNG EINES BEVORZUGTEN AUSFÜHRUNGSBEI- SPIELES

Zuerst mit Bezug auf Fig. 1A und 1B stellt die vorliegende Erfindung einen Duplexmodusvideoverfolger zur Verfügung für die Nachführung und Verfolgung einer Zielszene 20, welche von einem Szenensignalempfänger 24 erfaßt wird. Der Empfänger 24 kann irgendeinen von verschiedenen Arten von Sensoren 22 zum Empfangen von der Szene 20 ausgestrahlter elektromagnetischer Energie aufweisen, wodurch er die Szene 20 in einer Form aufzeichnet, welche von dem Empfänger 24 in elektrische Videosignale umgewandelt werden kann. Der Empfänger 24 wandelt die aufgezeichnete elektromagnetische Energie in analoge Videosignale um und liefert diese analogen Videosignale zusammen mit geeigneten Videosynchronisationssignalen an den Duplexmodusverfolger, aus welchem die vorliegende Erfindung besteht. Die Synchronisationssignale sind nicht erforderlich, wenn es sich bei dem analogen Video um ein zusammengesetztes Signal handelt.
Der Videoverfolger umfaßt allgemein gesprochen einen Mikrocomputer und miteinander assoziierte Zeit- und Steuerschaltungen 26, einen Videovorprozessor 28, einen Korrelationsprozessor 30 und einen Schwerpunktprozessor 32. Der Mikrocomputer 26, der Videovorprozessor 28, der Korrelationsprozessor 30 und der Schwerpunktprozessor 32 sind durch einen im nachfolgenden beschriebenen gemeinsamen Datenbus untereinander verbunden, während für die Zwecke der jetzigen Erklärung die gegenseitigen Verbindungen zwischen diesen Komponenten in Fig. 1A und 1B als die Funktionssignale dargestellt sind, welche zwischen den Komponenten abgetauscht werden.
Der Mikrocomputer kann beispielsweise einen 8 MHz-Intel 80186 aufweisen. Der Mikrocomputer 26 stellt die umfassende Verfolgungsmodussteuerung zusammen mit Überwachungs- und Rechenhilfsmitteln für den Videovorprozessor 28 und den Korrelationsprozessor 30 bzw. den Schwerpunktprozessor 32 zur Verfügung. Unterbrechungssteuerung, d. h. die Erkennung und Prioritätsentscheidung für drei Unterbrechungssignale, wird vom Unterbrechungssteuerabschnitt des Mikroprozessors vom Typ 80186 zur Verfügung gestellt. Die drei Unterbrechungen leiten die Verarbeitung ein, welche jeweils am Ende der Schwerpunkt- und Korrelationsfenster und während des Halbbildende-Intervalls benötigt wird. Der Mikrocomputer 26 steuert auch einen programmierbaren Synchronsignalgenerator 38. Der Synchronsignalgenerator 38 empfängt hereinkommende horizontale und vertikale Synchronsignale vom Empfänger 24, um die im gesamten Verfolger verwendeten Takte, Synchronsignale und Sichtfeldkoordinaten wiederherzustellen. Der Synchronsignalgenerator 38 kann auf Wunsch dafür programmiert werden, das zusammengesetzte Synchronsignal vom Videovorprozessor 28 in das vertikale und horizontale Synchronsignal aufzuspalten, wenn diese Signale vom Empfänger 24 nicht separat geliefert werden. Ein Phasenregelkreis 42 wird eingesetzt, um das hereinkommende vertikale Synchronsignal zur Regenerierung eines Pixeltakts zu synchronisieren. Der Synchronsignalgenerator 38 kann auf Wunsch für die Erzeugung von internen Synchronisierungssignalen ohne Synchronsignale vom Empfänger 24 programmiert werden, um eingebaute Prüfungen (BIT, d. h. "built-in tests") durchzuführen. Der Synchronsignalgenerator 38 stellt auch die Hauptsichtfeldkoordinaten für den Verfolger zur Verfügung. Diese Koordinaten erlauben es den Verfolgerprozessoren, die Lage eines Pixels innerhalb des Sichtfelds richtig zu bestimmen.
Ein BIT-Videogenerator 40 ist vorgesehen für die Erzeugung von verschiedenen Arten von Größen und Formen künstlicher Ziele bis zu 128 · 128 Pixeln, um eine automatische Prüfung aller Schaltkreise des Prozessors durchzuführen.
In einer Ausführungsform weist der Mikrocomputer 26 128 KBytes PROM (Programmable Read Only Memory) 34 und 16 KBytes RAMa(Random Access Memory) 36 auf.
Alle Verfolgerberechnungen oder Datenübertragungen, welche mit der Bildfolgerate (typischerweise 60 Hz) oder darunter stattfinden, werden im Mikrocomputer 26 durchgeführt. Einige Funktionen, wie etwa Verfolgungsfehlerberechnungen, werden geeignetermaßen bei jedem Videohalbbild durchgeführt, während wieder andere mit der Videorahmenrate berechnet werden. Der Videovorprozessor 28 funktioniert als Universal- Videoschnittstelle mit genügend Flexibilität und Konfigurierbarkeit, um eine beliebige aus einer Gruppe von Videoquellen von unterschiedlichen Arten von Sensoren 22 anzunehmen und hat auch die Funktion, die vom Empfänger 24 erhaltenen analogen Videosignale auf ein Format vorzukonditionieren, welches mit dem Korrelationsprozessor 30 und dem Schwerpunktprozessor 32 kompatibel ist. Des weiteren, zusätzlich zur Durchführung der grundlegenden Analog-Digitalvideoumwandlung, stellt der Vorprozessor 28 Bandbegrenzungsfilterung, Videoverstärkung und anlagenunabhängige Betätigung, aufgetastete Videospitzen- und Minimaerkennung sowie die Mittelwertbildung konfigurierbarer Pixel oder Pixelraten-Zwischenspeicherungsfunktionen zur Verfügung.

Video-Vorverarbeitung

Mit zusätzlichem Bezug auf Fig. 2, in der die grundlegenden Komponenten des Video-Vorprozessors 28 abgebildet sind, wird das analoge Eingangsvideo vom Empfänger 24 her als Differentialsignal durch einen mikrocomputergesteuerten Schalter 46 an einem Differentialverstärker 48 empfangen, welcher die Funktion hat, Erdschleifenrauschen zu minimieren. Der Schalter 46 erlaubt es, abwechselnd eine analoge BIT vom Mikrocomputer 26 einzugeben, welche vom Datenbus 44 des Mikrocomputers geliefert und von einem D/A-Umwandler 92 verarbeitet wird. Der analoge Videosignalausgang vom Verstärker 48 wird durch den Tiefpaß-Bandbegrenzungsfilter 50 geliefert, welcher auch die Pseudomittelwertbildung von Pixeln in der Rasterrichtung zur Verfügung stellt, aber der Filter 50 kann durch einen mikrocomputergesteuerten Schalter 52 überbrückt werden bei Konfigurationen, welche eine Analog-Digitalumwandlung synchron mit der Multiplexingrate der Eingangssignale erfordern. Eine programmierbare Offsetschaltung 54 und eine programmierbarer Verstärkungsschaltung erhalten Befehle, welche von dem Mikrocomputer 26 erzeugt wurden, und haben die Funktion, Offset bzw. Verstärkung des Videoanalogsignals einzustellen. Nach den analogen Offset- und Verstärkungsoperationen wird das analoge Videosignal vom A/D-Umwandler 60 als sieben Bits kodiert. Die Mittelhälfte der sieben Bits wird als 6-Bit-Video eingesetzt, welches von dem Korrelationsprozessor 30 und dem Schwerpunktprozessor 32 wie im folgenden beschrieben verwendet wird.
Ein vom Mikrocomputer gesteuerter Schalter 58 mit drei Positionen wählt entweder den digitalen Signalausgang vom A/D- Wandler 60, eine digitale BIT-Videoquelle, oder eine externe digitale Videoquelle zur Abgabe an Pixelmittelwertbildung und Ratenzwischenspeicherschaltungen 68 bzw. 70. Die digitalen BIT-Videosignale werden vom Mikrocomputer 26 erzeugt, um eine Prüfbewertung auf der Basis von Daten auszuführen, welche von verschiedenen Ports im Verfolger eingelesen werden. Pixelmittelwertbildung für nebeneinanderliegende Spalten oder Zeilen bei 68 wird durchgeführt, indem eine Spalte oder Zeile von digitalisiertem Videoeingang gespeichert und dann die nächste Spalte oder Zeile zurückgelesen wird, sobald die nächste Spalte oder Zeile eintrifft, und der Mittelwert der Pixelpaare gebildet wird. Somit werden zur Speicherung und Pixelmittelwertbildung alternierende Spaltenzeiten verwendet. Die Mittelwertbildung von nebeneinanderliegenden Pixeln in einer Spalte oder Zeile wird entweder durch die Mittelwertbildung von nebeneinanderliegenden Pixeln in Paaren, oder durch die Mittelwertbildung von drei nebeneinanderliegenden Pixeln in halb-voll-halb-Bewertung durchgeführt. Die Pixelmittelwertbildungsschaltung 68 wie auch der A/D-Wandler 60 werden durch eine Quelle von eingegebenen Taktsignalen 64 angetrieben.
Der Ratenzwischenspeicher 70 wird von einem Prozessortakt 60 angetrieben und kann aus zwei oder weniger Spalten von Speichern bestehen, welche alternierend diejenige Spalte oder Zeile speichern, deren Pixelmittelwert gebildet wurde, während sie gebildet wurde, und dann die Zeiten der folgenden zwei Spalten oder Zeilen verwendet, um die Daten bei der halben Eingangstaktrate auszutakten. Der Zwischenspeicher 70 dient wirksam dazu, die Verfolgungspixeldatenraten zu verringern. Eine oder beide der Pixelmitterwertbildungs- und Ratenzwischenspeicheroperationen 68, 70 kann, falls gewünscht, durch ein Paar von mikrocomputergesteuerten Überbrückungsschaltern 62 umgangen werden. Durch die Verwendung von Pixelmittelwertbildung wie auch Ratenzwischenspeicherung wird es dem Verfolger ermöglicht, zufriedenstellend mit eingegebenen Videodatenraten zu arbeiten, welche über die hardwarebedingten Geschwindigkeitseinschränkungen des Korrelationsprozessors 30 bzw. des Schwerpunktprozessors 32 hinausgehen.
Der Ausgang 94 des Videovorprozessors 28 ist ein digitales 6-Bit-Videosignal, welches gleichzeitig an den Korrelationsprozessor 30 und den Schwerpunktprozessor 32 geliefert wird. Der 7-Bit-Ausgang des A/D-Wandlers 60 wird verwendet, um einen geeigneten dynamischen Bereich für Videospitzen- und -minimaentdeckung unter Verwendung eines Spitzendetektors 72 und eines Minimumdetektors 74 zur Verfügung zu stellen. Die Detektoren 72 und 74 werden von einem AGC (automatic gain control)-Signal auf getastet, um die maximalen und minimalen Videointensitäten innerhalb des Verfolgungsfensters zu bestimmen. Jeder der Detektoren 72 und 74 umfaßt einen Filter vom Rekursivtyp, so daß mindestens vier Pixel einer vorbestimmten Intensität benötigt werden, damit die volle Intensität als Spitze oder Minimum aufgezeichnet wird. Die Spitzen- und Minimumwerte werden zwischen den Halbbildern über den Datenbus 44 an den Mikrocomputer 26 gesendet, und die Pegel- und Verstärkungssteuerberechnungen werden dann vom Mikrocomputer 26 durchgeführt. Der Videovorprozessor 28 erhält die Offset- und Verstärkungswerte vom Mikrocomputer 26 und verwendet diese Parameter, um den DC-Pegel und die Videoverstärkung an 54 bzw. 56 zu steuern. Der DC-Pegel des Videos ist während eines Halbbildes konstant, wird aber zwischen allen Videozeilen von einer geeigneten DC-Wiederherstellungsschaltung (hier nicht gezeigt) wiederhergestellt. Sowohl Pegel- als auch Verstärkungssteuerschleifen sind so konfiguriert, daß die Durchschnittsbetragsraten von Videointensitäten innerhalb der Verfolgungsfenster über den 6-Bit-Bereich des für die Verfolgung verwendeten digitalisierten Videos verstreut gehalten werden, wodurch der Zielkontrast maximiert wird.
Somit dient wie oben beschrieben der Videovorprozessor 28 dazu, die eingegebenen Videosignale zwischenzuspeichern, wandelt das analog eingegebene Videosignal in ein 6-Bit- Digitalsignal um, steuert automatisch Pegel und Verstärkung des Digitalsignals, und sorgt sowohl für Pixelmittelwertbestimmung als auch Ratenzwischenspeicherung.

Schwerpunktverarbeitung

Es wird nun auf Fig. 3 verwiesen, in der die primären Komponenten des Schwerpunktprozessors 32 abgebildet sind. Der Schwerpunktprozessor 32 dient dazu, die vom Mikrocomputer 26 benötigten Daten zu erzeugen, um einen Schwerpunktverfolgungsfehler zu errechnen, einen Videoschwellenwert des Schwerpunktprozessors, wie auch Position und Größe des Verfolgungs- und Grenzfensters. Wie in Fig. 3 gezeigt ist, wird das digitale Videosignal vom Vorprozessor 28 an den Eingang eines Intensitäthistogrammgenerators 76 wie auch an einen Eingang eines digitalen Vergleichers 80 geliefert. Der Histogrammgenerator 76 entwickelt Intensitätshistogrammdaten für das gesamte Video innerhalb des Verfolgungsfensters und auch innerhalb einer konzentrischen Grenzfensterfläche. Die Histogrammdaten werden vom Mikrocomputer 26 verwendet, um den Schwerpunktprozessorschwellenwert automatisch zu berechnen. Der Histogrammgenerator 76 kann beispielsweise einen 128 K · 256 K-RAM aufweisen, wobei in einem solchen Fall eine 128- Bit-Adresse in zwei Hälften mit 64 Bits aufgespalten wird, wobei die eine Hälfte bei 98 durch die Pixelintensitäten im Verfolgungsfenster und die andere Hälfte bei 96 durch die Pixelintensitäten in der Grenzfenster adressiert wird. Die Daten des 256-Bit-RAM werden zwischen einzelnen Halbbildern gelöscht und dann bei Adressierung um 1 erhöht. Die Adressen 96, 98 werden von geeigneten Zeit-und Steuerschaltungen 78 erzeugt, welche wiederum durch die vom Mikrocomputer 26 auf dem Datenbus 44 erhaltenen Daten gesteuert werden. Der Ausgang des Histogrammgenerators 76, welcher aus zwei 64-Wörter-Arrays besteht, die den Verfolgungs- und Grenzfensterflächen entsprechen, wird an den Mikrocomputerdatenbus 44 geliefert.
Das digitale 6-Bit-Videoeingangssignal wird vom Vergleicher 80 mit einem digitalen Schwellenwertsignal verglichen, das auf einem zweiten Eingang vom Mikrocomputer 26 auf dem Datenbus 44 empfangen wird, und das daraus resultierende binäre Video wird für Video über dem Schwellenwert (positiver Kontrast) oder Video unter dem Schwellenwert (negativer Kontrast) gemäß einem Polaritätsbit 100 vom Mikrocomputer 26 zur Verfügung gestellt, um den Schalter 82 anzuwählen. Der innerhalb der Verfolgung gebildete binäre Schwerpunktprozessorvideobus wird an einen Zähler 84 und einen Akkumulator 86 geliefert. Sichtfelddaten für Azimut (AZ) und Elevation (EL), welche der Mikrocomputer 26 zur Verfügung stellt, werden sowohl an den Akkumulator 86 als auch an einen Ziel- oder Sichtfeld (FOV)-umrißdetektor 88 geliefert; der Zieldetektor 88 empfängt diese Zählergebnisse auf einer timeshared Basis vom Schalter 90, welcher mit der Videohalbbildrate triggert. Der Zielumrißdetektor 88 entdeckt also die Elevations- (oben und unten) und Azimut- (links und rechts) Sichtfeldpositionen, welche den Umrißschwellenwerten entsprechen, und diese Zielumrißinformation wird an den Datenbus ausgegeben und vom Mikrocomputer 26 verwendet, um die Größen der Verfolgungs- und Grenzfenster zu bestimmen.
Wie im vorangegangenen festgestellt wurde, wird die Größensteuerung des Verfolgungsfensters durch Erkennung und Verarbeitung der Position der Schwellenwertvideoumrisse erreicht. Wie im Diagramm in Fig. 4 gezeigt ist, wird der binäre Videoausgang vom digitalen Vergleicher 80 effektiv mit den linearen Gewichtungsfunktionen We und Wd multipliziert, welche durch die Größen- und Positionsinformation über dem Verfolgungsfenster bestimmt werden. Die linearen Gewichtungsfunktionen We und Wd können von (nicht näher dargestellten) Pixelzählern in der Richtung der Videozeile oder -spalte und von (nicht näher dargestellten) Zeilen- oder Spaltenzählern in der dazu senkrechten Richtung erhalten werden. Somit werden die Produkte der binären Videogewichtungsfunktion und die Anzahl der den Schwellenwert überschreitenden Pixel über dem Verfolgungsfenster akkumuliert. Wie in Fig. 3 gezeigt ist, wird der binäre Ausgang des Vergleichers 80 vor seiner Weitergabe an den Akkumulator 86 in Abhängigkeit von den linearen Gewichtungsfunktionen We und Wd um die Multiplikatoren 102 und 104 multipliziert oder aufgetastet.
Das Verfolgungsfenster ermöglicht die Akkumulierung von drei binären Schwerpunktvideovariablen Ee, Ed und I0, bei welchen es sich um die unvorbehandelten Fehlerparameter handelt, welche über den Datenbus 44 an den Mikrocomputer 26 geliefert werden, nachdem das Verfolgungsfenster für jedes Halbbild abgetastet wurde. Die tatsächlichen Verfolgungsfehler werden dann vom Mikrocomputer 26 mit der Videohalbbildraten errechnet. Die Variablen Ee, Ed und I0 stellen die Akkumulation der Elevations- und Azimutsichtfeldpositionen bzw. der Pixelanzahl des aktiven Schwerpunktvideos innerhalb des Verfolgungsfensters dar.
Es sei hier angemerkt, daß das Grenzfenster konzentrisch mit dem Verfolgungsfenster ist, und daß seine Größe relativ zum Verfolgungsfenster durch geeignete Softwaresteuerung eingestellt werden kann. Des weiteren kann der Schwerpunktprozessor 32 als Eingang einen rekursiven Bezug (im folgenden als "letzte Karte" bezeichnet) oder Differenzvideosignale vom Korrelationsprozessor 30 erhalten kann.

Korrelationsverarbeitung

Der Korrelationsprozessor 30 (Fig. 1A und 1B) umfaßt im wesentlichen die fundamentalen Komponenten und das Verfahren der Erzeugung von Fehlersignalen für die Korrelationsverfolgung, das in dem am 2. Januar 1979 für John M. Fitts erteilten US-Patent 4 133 304 angewendet wird und auf das hiermit vollinhaltlich Bezug genommen wird. Zusätzlich zur Erzeugung von Korrelationsverfolgungsfehlersignalen akkumuliert der Korrelationsprozessor 30 eine Summe der absoluten Werte der Gewichtungsfunktionen Wd und We und die Summe des Differenzvideos, die im nachfolgenden definiert werden soll. Die Summe des Differenzvideos wird über die Verfolgungsfensterfläche akkumuliert und der absolute Wert der Gewichtungsfunktion wird über der aufgetasteten Fläche, unabhängig vom Verfolgungsfenster, akkumuliert und wird dann vom Mikrocomputer 26 verwendet, um die Größe des Korrelations-Verfolgungsfensters zu errechnen.
Die Azimutgewichtungsfunktion Wd bzw. die Elevationsgewichtungsfunktion We werden durch die folgenden Beziehungen definiert:
in denen Δe die Dimension jedes der Pixel entlang der &epsi;- Koordinate, und Δd die Dimension jedes der Pixel entlang der -Koordinate ist, und i bzw. j eine Pixelposition entlang der &epsi;- und -Koordinaten darstellen.
Das im US-Patent 4 133 004 offengelegte Verfahren, welches im nachfolgenden als Matched-Filter-Korrelationsverfahren bezeichnet wird, erlaubt die Verwendung der "Fließbandverarbeitung" der Videodaten. Durch Verwendung der Fließbandverarbeitung wird die gesamte gespeicherte Bezugsszene und die laufende Szeneninformation innerhalb eines Verfolgungsfensters verwendet, während das Fenster abgetastet wird, wodurch sich unmittelbar nach abgeschlossener Abtastung des Verfolgungsfensters, unabhängig von der Größe des Fensters, Fehlersignaldaten ergeben.
Wie im nachfolgenden detaillierter beschrieben werden soll, wendet der Korrelationsprozessor 30 auch ein Verfahren zur Aktualisierung des rekursiven Bezugs an, bei dem neue Videodaten inkrementierend zu vorher vorhandenen Bezugsvideodaten addiert werden, so daß die Bezugsdaten reibungslos aktualisiert werden; auf diese Art und Weise werden veränderliche Zieleigenschaften (welche auf Änderungen in Höhe und Entfernung sowie Schlingern der Sensoren um die Sichtlinie zurückzuführen sind) akzeptiert, wohingegen schneller veränderliche Daten, wie etwa Rauschen und Störungen, welche durch die Szenen verlaufen, ausgesondert werden.
Es wird nun auf Fig. 5 verwiesen, in der die grundlegenden Komponenten des Korrelationsprozessors 30 abgebildet sind. Die digitalen 6-Bit-Videodaten, welche vom Vorprozessor geliefert werden, werden von einer digitalen Rekursivbezugsschaltung 108 empfangen, welche einen Speicher zum Speichern eines Korrelationsbezugs mit einer Fläche von N mal M Verfolgungspixeln pro Halbbild aufweist. Das Eingangsvideo vom Videovorprozessor 28 aktualisiert den rekursiven Bezug mit einer Zeitkonstante W1, welche vom Mikrocomputer 26 gesteuert wird. Die Bezugsaktualisierung wird auf einer Pixelum-Pixel-Basis in Realzeit erhalten, indem der Videointensitätswert des letzten Bezugspixels vom Videointensitätswert bei Eingang subtrahiert wird, wodurch man ein "Differenzvideo" ΔV erhält, Verschiebung des Differenzvideos in Abhängigkeit vom Parameter W1, und darauffolgendes Addieren des verschobenen Differenzvideos auf die Videointensität des letzten Bezugs. Das Ergebnis dieser rekursiven Bezugsberechnung stellt eine "laufende Karte" dar und wird im rekursiven Bezug 108 gespeichert, um als "letzte Karte" für das nächste Halbbild zu dienen. Dieses Verfahren ist beschrieben in der Gleichung:
MAP&ijlig;(k) = W&sub1;V&ijlig;(k) + (1-W&sub1;)MAP&ijlig;(k-1)
in der MAP&ijlig;(k) die laufende Karte (rekursiver Bezugsausgang),
V&ijlig;(k) das Eingangsvideo,
MAP&ijlig;(k-1) das Kartenvideo (aus dem vorhergegangenen Halbbild), und
W1 die Filterzeitkonstante sind.
Die Ergebnisse der rekursiven Bezugsberechnung werden zum Zweck der Speicherung an den Rahmenspeicher 110 bzw. den Halbbildspeicher 112 weitergegeben. Eine vom Mikrocomputer gesteuerte Zeitgeber- und Steuerschaltung 106 gibt Bezugsfenstersignale ab, um das Bezugsvideo aus den Speichern 110, 112 durch konfigurierbare Schalter 114 an die Gewichtungsfunktionsschaltungen 116 und 118 für Elevation bzw. Azimut auszutakten. Das Referenzvideo wird auch als die "letzte Karte" an den rekursiven Bezug 108 zurückgeliefert und auch an den Eingang des Schwerpunktprozessors 32 zur Verwendung im komplementären Verfolgungsbetriebsmodus und im Betriebsmodus mit niedrigem Signal-Rausch-Verhältnis geliefert. Separate Rahmen- und Halbbildspeicher 110, 112 werden erfaßt, um unterschiedliche Videoquellenformate zu akkommodieren.
Auf ähnliche Weise sind auch die konfigurierbaren Schalter 114, welche vom Mikrocomputer 26 gesteuert werden, vorgesehen, um unterschiedliche Videoquellenformate zu akkommodieren. Im Fall einiger Videoformate wird beispielsweise die Gewichtungsfunktion in der Zeilensprungrichtung mit einer Verzögerung von einem Rahmen aus dem Video erhalten, während wieder andere Formate eine Verzögerung von einem Halbbild erfordern. Wie in der Fig. 7 gezeigt ist, welche eine räumliche Darstellung von Pixeln gibt, die bei der Berechnung der Korrelationsgewichtungsfunktion für einen Pixel "X" verwendet werden, ist die Azimutgewichtungsfunktion Wd eine Funktion der Pixel A und B, welche einen Teil einer Abtastzeile 132 bilden, während die Elevationsgewichtungsfunktion We eine Funktion der Pixel C und D ist, welche während der gleichen Pixeltaktperiode 130 vorkommen, sich aber auf Abtastzeilen zu beiden Seiten derjenigen mit dem Pixel "X" befinden.
Das Differenzvideo wird von der rekursiven Bezugsaktualisierungsfunktion 108 an eine kollektiv mit 122 bezeichnete Gruppe von Multiplikator-Akkumulatoren geliefert sowie an eine Schaltung 120, welche den absoluten Wert des Differenzvideos berechnet und den betreffenden Wert zur Verwendung im Verfolgungsmodus durch "Videodifferenz" oder im Modus mit automatischer Zielerkennung an den Schwerpunktprozessor (Fig. 1B) weitergibt.
Die Korrelationsgewichtungsfunktionen Wd und We, welche von der Gewichtungsfunktionsschaltung 118 bzw. 116 ausgegeben werden, werden an eine Schaltung 124 geliefert, wo ihr absoluter Wert errechnet wird. Der absolute Wert der Gewichtungsfunktionen wird dann von einer Addierschaltung 126 auf summiert, und diese Summe wird von einem Akkumulator 128 über eine unabhängig gesteuerte Fensterfläche akkumuliert. Die akkumulierte Summe wird an den Datenbus 44 ausgegeben und vom Mikrocomputer 26 verwendet, um automatisch das Format des Verfolgungsfensters zu bestimmen.
An 122 wird das Differenzvideo für jeden Pixel im Verfolgungsfenster akkumuliert. Diese akkumulierte Summe wird an den Datenbus 44 ausgegeben und vom Mikrocomputer 26 verwendet, um die Qualität der Korrelationsverfolgung zu bestimmen.
Eine vom Mikrocomputer betriebene Zeit- und Steuerschaltung 106 liefert dem Korrelationsprozessor 30 die nötigen Zeit- und Steuersignale. Im besonderen liefert die Schaltung 106 Bezugsauftastsignale an die Speicher 110, 112, ein Verfolgungsfenstersignal an die Multiplikator-Akkumulatoren 122, und ein Gewichtungsfunktionsfenstersignal an den Akkumulator 128.
Wie im vorangegangenen angedeutet wurde, ist die Korrelationselevationsgewichtungsfunktion We die Differenz zwischen den Intensitätswerten über und unter dem Pixel, der gegenwärtig verarbeitet wird. Gleichermaßen ist die Azimutgewichtungsfunktion Wd die Differenz zwischen den Pixelintensitätswerten links und rechts von dem Pixel, der gegenwärtig verarbeitet wird. Für den Fall, daß der Zeilensprung des betreffenden Videoformats in der Richtung We stattfindet, benötigt die Funktion We Information über den Rahmen, der gegenüber von dem gegenwärtig verarbeiteten Rahmen liegt; diese Information wird vom Fensterspeicher 112 zur Verfügung gestellt. Die Funktion Wd benötigt Information im gleichen Halbbild wie dem verarbeiteten Halbbild, so daß Daten vom Rahmenspeicher 110 verfügbar ist, welcher vom Rekursivbezug 108 verwendet wird.
Die Multiplikator-Akkumulatoren 122 werden eingesetzt, um Daten nur in der Verfolgungsfensterfläche zu akkumulieren und bilden die folgenden fünf Korrelationsvariablen, welche vom Mikrocomputer 26 verwendet werden, um den Korrelationsverfolgungsfehler zu berechnen:
Unter Verwendung der obenstehenden fünf Variablen berechnet der Mikrocomputer 26 die Verfolgungsfehler nach dem Ausdruck:
Das oben erwähnte Korrelationsverarbeitungsverfahren mit Filteranpassung wird nun detaillierter unter Bezug auf Fig. 7-9 beschrieben. Das Verfahren kann als eine Methode zur Bestimmung der Position des Nulldurchgangs der Raumableitung der Kreuzkorrelationsfunktion aufgefaßt werden, welche das mathematische Äquivalent zur Bestimmung des Maximums der Kreuzkorrelationsfunktion für Szenenbezug darstellt. Unter Verwendung einer Taylor-Serienexpansion läßt sich zeigen, daß der Nulldurchgang berechnet werden kann durch Multiplikation der Pixelintensitätsdifferenzen zwischen der eintreffenden Szene und der Bezugsszene durch Gewichtungsfunktion, welche die horizontale und die vertikale Raumableitung der Bezugsszene an der Stelle des in Verarbeitung befindlichen Bezugsszenenpixels darstellt. Die individuellen Produkte der Videogewichtungsfunktion für jeden Pixel werden erzeugt, während die eintreffende Szene abgetastet wird, und über dem betreffenden Verfolgungsfenster akkumuliert. Damit werden Verfolgungsfehler erhalten, indem diese akkumulierten Produkte mit den akkumulierten Summen der Produkte und Quadrate der Gewichtungsfunktionen geeignet skaliert werden. Gewichtungsfunktionserzeugung sowie die geeigneten Pixelratenmultiplikationen, zusammen mit den Produktakkumulationen, werden vom Korrelationsprozessor 30 durchgeführt.
Fig. 8 stellt die Fließbandverarbeitung des eintreffenden Videos und den Rekursivbezug dar, welche vom Korrelationsprozessor 30 für ein vereinfachtes Videoformat ohne Zeilensprung angewendet werden. Die horizontale und die vertikale Gewichtungsfunktion werden als Wd&ijlig; bzw. We&ijlig;, bezeichnet. Das Differenzvideo ist gleich V&ijlig;-R&ijlig;, wenn V&ijlig; und R&ijlig; die eintreffende Szene bzw. die Bezugspixelintensitätswerte sind. Der verbleibende Abschnitt der Verfolgungsfehlerberechnung wird vom Mikrocomputer 26 durchgeführt, nachdem der Verfolgungsfenster abgetastet wurde und die akkumulierten Summen der Fehlerparameter zur Verfügung stehen. Diese Berechnung besteht aus dem Skalieren einer Crosscoupling-Korrektur und Driftbeseitigungsverarbeitung. Diese letztgenannten Berechnungen sind in der Form eines Blockdiagramms in Fig. 8 abgebildet. Die Skalierberechnung besteht aus der Normalisierung des unverarbeiteten Verfolgungsfehlers Ee und Ed durch die auf geeignete Weise quadratierte Summe der Gewichtungsfunktion. Der Crosscoupling-Korrekturvorgang verwendet die Crossproduktsumme der Gewichtungsfunktion, Ded, und entfernt fehlerhaftes Crosscoupling, das sonst in vielen Korrelationsverarbeitungsalgorithmen auftritt, wenn Szenen- oder Zielumrisse oder Intensitätsgradienten relativ zu der Horizontal- und Vertikalachse geneigt werden.
Driftbeseitigungsverarbeitung gleicht den Umstand aus, daß der Rekursivbezug kontinuierlich mit einem Aktualisierungsratenfaktor W&sub1; aktualisiert. Die grundlegenden Komponenten des Rekursivbezugs 108 sind zusammen mit dem Rahmenspeicher 110 in Fig. 9 gezeigt. Wie im vorangegangenen angedeutet wurde, wird der Rekursivkorrelationsbezug erzeugt durch die Multiplikation der Eingangsvideo-Pixelintensitätswerte mit einem Gewichtungsfaktor W&sub1; und sein Hinzuaddieren zu dem vorhandenen Intensitätswert für die entsprechenden Bezugspixel, nachdem der Bezugswert mit 1-W&sub1; multipliziert wurde. Die "Lebensdauer" der betreffenden Szene im Bezug wird durch den Wert von W bestimmt (welcher gleich oder kleiner als 1 ist). Wenn W&sub1; beispielsweise gleich 1/60stel ist und das Sensorhalbbild sechzig Halbbilder pro Sekunde beträgt, beträgt die "Lebensdauer" einer Bezugsszene eine Sekunde. Zur Driftbeseitigungsverarbeitung werden die vorhergegangenen Verfolgungsfehler mit einem Gewichtungsfaktor von W&sub1; akkumuliert, wodurch sichergestellt wird, daß der ursprüngliche Nachführungsbezug auch dann aufrechterhalten wird, wenn während der Bezugsaktualisierung dynamische Nachführungsfehler auftreten. Des weiteren können bei der Driftbeseitigungsverarbeitung von dynamischen Nachführungsfehlern viele Pixel in grober Zahl existieren, ohne einen Halteverlust zu verursachen, auch wenn unter bestimmten Umständen der grundlegende Fehlerverarbeitungsalgorithmus Fehlersignale mit beschränkter dynamischer Fläche zur Verfügung stellt. Die Ausgänge der Driftbeseitigungsverarbeitung werden dann durch die Verfolgungsvideopixelgrößen skaliert, um Winkelverfolgungsfehler zu ergeben.
Bei Videoformaten mit Zeilensprung werden Rekursivbezüge wirksam für jedes individuelle Halbbild erzeugt. Bei Sensoren mit einem nicht-überlappenden Zeilensprung von 2 : 1 werden die Gewichtungsfunktionen in der Zeilensprungrichtung unter Verwendung von Intensitätswerten von nebeneinanderliegenden Pixeln im Bezug für das da zugehörige Halbbild erzeugt. Die akkumulierten Summen für die nicht-überlappenden Zeilensprunghalbbilder werden dann kombiniert und für eine einzige Verfolgungsfehlerberechnung verwendet, welche jedes Mal aktualisiert wird, wenn neue Daten von einem Halbbild erhalten werden. Bei Zeilensprungvideoformaten ist der Aktualisierungsratenfaktor W&sub1; der Aktualisierungsratenfaktor des Rekursivbezugs, dividiert durch die Anzahl von Videohalbbildern pro Videorahmen.
Der rekursive Aktualisierungsfaktor W&sub1;, welcher zwischen Null und Eins liegen kann, wird vom Mikrocomputer 26 dynamisch gesteuert. Ein Faktor 1, welcher einem Speicherinhalt von einem einzigen Rahmen entspricht, wird dazu verwendet, einen neuen Bezug zu laden. Ein Faktor von 0 wird verwendet, um den Bezug einzufrieren, wenn eine vorübergehende Störung entdeckt wird, wodurch Kontaminierung durch eine Störung verhindert wird. Während des Verfolgungseingriffs wird ein Bezug geladen, wenn die Verfolgung eingeleitet wird. Der Aktualisierungsratenfaktor wird dann auf programmierte Art und Weise auf immer kleinere Werte verringert, um die Rauschfiltereigenschaft des Rekursivbezugs zu optimieren. Danach ist der Aktualisierungsratenfaktor eine Funktion des Korrelationsverfolgungsstatus und des Rahmen-zu-Rahmen-Fehlers zwischen der eintreffenden Szene und dem Bezug. Wenn der Rahmen-zu-Rahmen-Fehler größer wird, wird der Aktualisierungsratenfaktor ebenfalls erhöht, wodurch die momentane Fehlzuordnung zwischen der eintreffenden Szene und dem Bezug verringert wird. Wenn Störungseinfall entdeckt wird, wird der Bezug blockiert.
Szenen- oder Zielvideogradienten enthalten die für Korrelationsverfolgung grundlegende Information. Es ist somit erwünscht, die Größe der Korrelationsfenster so einzustellen, daß dieser Informationsinhalt maximiert wird. Um ein geeignetes Maß für die gewünschte Information zu erzeugen, wird die Gradientenfunktion für jeden im Verfolgungsfenster enthaltenen Bezugspixel erzeugt. Wie im vorangegangenen erwähnt wurde, ist diese Gradientenfunktion die Summe der absoluten Werte der horizontalen und vertikalen Gewichtungsfunktion für die betreffende Pixelposition. Die Gradientenfunktion wird dann über einem Gradientenfenster akkumuliert, und das Gradientenfenster wird vom Mikrocomputer 26 vibriert, um den Durchschnittswert dieser Summe über dem Gradientenfenster zu maximieren. Die Positionen der Ränderposition des Gradientenfensters werden dann vom Mikrocomputer 26 verarbeitet, um die erwünschten Ränderpositionen des Verfolgungsfensters zu erzeugen.
Unter normalen Verfolgungsbedingungen ist die Summe des Differenzvideos über dem Verfolgungsfenster relativ klein. Falls jedoch eine Störung in das Verfolgungsfenster eindringt, verursacht sie eine beträchtliche Differenzvideosumme. Somit wird das Differenzvideo über dem Verfolgungsfenster akkumuliert, und diese Störungserfassungsinformation wird zur Verwendung bei verschiedenen Korrelationsverfolgungssteueralgorithmen und beim gesamten Verfolgungsprozessormodus sowie der Verfolgungszustandssteuerung zum Mikrocomputer 26 gesendet.
Szenenmittelwertsvideo vom Korrelationsrekursivbezug und dem Korrelationsdifferenzvideo sind wesentlich für das Matched- Filter-Korrelationsverfahren. Wenn die Nebenprodukte des Videoausgangs mit der Funktion kombiniert werden, welche vom Schwerpunktprozessor 32 zur Verfügung gestellt wird, bietet das Ergebnis ein Mittel zur Implementierung einer Anzahl von nützlichen Verfolgungsfunktionen in Moden unter der Kontrolle des Mikrocomputers 26.
Ein weiteres bedeutsames Merkmal des vorliegenden Verfolgers ist die Art, auf die eine Verfolgungsstatusanzeige (TSI, d. h. "track status indication") unter Verwendung des Korrelationsprozessors 30 erzeugt wird, und in diesem Zusammenhang wird nun auf Fig. 5 hingewiesen, in der die grundlegenden Komponenten des Korrelationsprozessors 30 zusammen mit den Komponenten für die TSI-Erzeugung abgebildet sind. Die Gewichtungsfunktionen Wd und We, welche vom Rekursivbezug 108 und der Karte 110 abgeleitet sind, werden von den Multiplikator-Akkumulatoren 122 verarbeitet, um die Fehlerskalierfunktionen Dc, Ced und Ce herzustellen. Zusätzlich werden die Gewichtungsfunktionen Wd und We mit dem Differenzvideo multipliziert und an 122 akkumuliert, um die Fehlerfunktionen Ee und Ed herzustellen. Das Differenzvideo, das hergestellt wurde, indem die letzte Karte vom Eingangsvideo an 108 hergestellt wurde, wird ebenfalls an 122 akkumuliert. Der absolute Wert der Gewichtungsfunktionen Wd und We wird an 124 berechnet; diese absoluten Werte werden an 126 auf summiert und an 128 akkumuliert.
Die Verfolgungsstatusanzeige (TSI) für Korrelationsverarbeitung wird durch die folgenden Funktionen bestimmt:
wobei Atg die Verfolgungsfensterfläche, und Agg die Gradientenfensterfläche darstellen.
Um eine "zufriedenstellende" TSI zu erhalten, muß die obere Funktion (1) unter einem niedrigeren Grenzwert liegen, und die Funktionen (2) und (3) müssen beide größer als vorherbestimmte Werte sein; wenn eine der Funktionen (2) und (3) unter den jeweiligen vorherbestimmten Wert abfällt, wechselt die TSI auf "bevorstehender Halteverlust", unabhängig von der Größe der Funktion (1). Falls die Größe der Funktion (1) größer als die untere Grenze, aber kleiner als ein oberer Grenzwert ist, ist die TSI "marginal". Wenn die Funktion (1) den oberen Grenzwert überschreitet, wechselt die TSI zu "bevorstehender Halteverlust".
Aufgrund der obenstehenden Beschreibung ist es zu erwarten, daß der Fachmann auf diesem Gebiet problemlos verschiedene Schaltungen zur Implementierung des Korrelationsprozessors 30 erdenken kann. Im Sinne einer vollständigen und ganzen Beschreibung soll jetzt aber noch eine spezifische Ausführungsform des Korrelationsprozessors 30 unter Bezug auf Fig. 10 und 11 beschrieben werden. Die Aktualisierungsrate W&sub1; wird vom Datenbus 44 als 4-Bit-Wort an eine Sperre 138 geliefert, welche durch ein Schreibaktivierungssignal W&sub1; selektiv aktiviert wird. Ein Bit von W&sub1; in der Sperre 138 wird an die Kartenblockierlogik 142 geliefert, welche dazu dient, den Rekursivbezug zu blockieren, wenn Störungseinfall entdeckt wird. Als Reaktion auf eine vorübergehende Störung werden ein Blockiersignal und ein Akkumulatorhemmsignal von der Kartenblockierlogik 142 ausgegeben, um einen im nachfolgenden beschriebenen Kartenfilter 154 und die Akkumulatoren 122, 128 zu blockieren (Fig. 5).
6 Bits Digitalvideodaten vom Videovorprozessor 28 werden an eine Subtrahierschaltung 144 geliefert, welche dazu dient, von den Videodaten einen Wert zu subtrahieren, welcher einem vom Mikrocomputer 26 stammenden und dann in einem Korrelationsschwellensperren-Signalspeicher 140 gespeicherten Wert entspricht. Der Ausgang der Subtrahierschaltung 144 wird durch einen Multiplex-Signalspeicher 146 als 6-Bit-Wort an eine zweite Subtrahierschaltung 148 geliefert, welche dazu dient, die Videodaten der "letzten Karte" vom eintreffenden Video zu subtrahieren. Der resultierende Ausgang der Subtrahierschaltung 148 ist ein 13-Bit-Wort, welches von den Signalspeichern 152 festgehalten und dann an einen Kartenfilter 154 geliefert wird, der vom Zeitkonstantensignal W&sub1; und einem entsprechenden, vom Signalspeicher 138 bzw. der Logikschaltung 142 stammenden Signal gesteuert wird. Der Ausgang des Kartenfilters 154 wird an eine Addierschaltung 156 geliefert und mit der in einem Paar von Signalspeichern 150 festgehaltenen "letzten Karte" auf summiert.
Der Ausgang vom Addierer 156 ist ein 12-Bit-Wort, welches der "laufenden Karte" entspricht, die an 158 verriegelt ist und daraufhin in die Halbbildzeilenspeicher 110, 112 eingeschrieben wird (Fig. 11).
Der Ausgang der Subtrahierschaltung 148 ist das Differenzvideo, welches an 164 von 8 auf 7 Bits abgerundet und dann in den Signalspeichern 166, 168 festgehalten wird, um daraufhin an einen Multiplexer 160 und an den Multiplikator-Akkumulator 122 weitergegeben zu werden (Fig. 5). Der Multiplexer 160, der sich unter der Kontrolle eines Instrumentenvideowahlsignals befindet, liefert das Differenzvideo und die letzte Karte selektiv durch einen Treiber 162 an einen Instrumentenvideobus 226. Daten auf dem Instrumentenvideobus 226 können von zusätzlichen (nicht näher dargestellten) Schaltungen eingesetzt werden, welche einen Teil des Verfolgers bilden, um Symbole wie ein Rechteck, Schreibmarke etc. zu bilden, die den Bediener beim Zielen und Verfolgen unterstützen.
Die Absolutwertrechenschaltung 120 weist eine geeignete Schaltung 170 für die Umrechnung des Differenzvideoausgangs der Subtrahierschaltung 148 in einen absoluten Wert, sowie einen Signalspeicher 172 und einen Bustreiber 176 auf. Der Ausgang des Bustreibers 176 wird über den Bus 240 geliefert, um den absoluten Wert des Differenzvideos zu befördern.
Mit besonderem Bezug auf Fig. 11 ist die laufende Karte, wie oben angedeutet, ein 12-Bit-Wort, das in die Speicher 110, 112 eingeschrieben wird. Die Speicher 110, 112 werden von Speicheradressen adressiert, welche von einem Kartentaktgatter und Speicheradreßzählern geliefert werden, welche einen Abschnitt der Zeit- und Steuerschaltung 106 bilden. Aus dem Halbbildspeicher 110 gelesene Daten werden in einen Zeilenspeicher 182 geladen und ebenfalls an den Eingang eines im nachfolgenden beschriebenen Multiplexers 200 geliefert. Die Zeilendaten werden unter Verwendung von Adreßsignalen von der Zeit- und Steuerschaltung 106 aus dem Speicher 182 ausgelesen und dann als die "letzte Karte" an die Rekursivbezugsaktualisierung geliefert (Fig. 5 und 10). Die letzte Karte wird auch an einen Multiplexer 188 geliefert, nachdem sie von einem Paar von 2-Pixel-Verzögerungen 184, 186 verzögert wurde, welche jeweils aus einem Signalspeicher bestehen können. Ein zweiter Eingang an den Multiplexer 188 wird von Daten gebildet, welche aus dem Zeilenspeicher 112 ausgelesen wurden und an 196 um einen Pixel verzögert wurden.
Aus dem Halbbildspeicher 112 ausgelesene Daten werden auch an einen Multiplexer 190 geliefert, zusammen mit Daten aus dem Zeilenspeicher 182, welche an 184 um zwei Pixel verzögert wurden. Die Multiplexdaten vom Multiplexer 190 werden durch eine Subtrahierschaltung 192 von den im Multiplexer 188 stammenden Multiplexdaten subtrahiert, um die Azimutgewichtungsfunktion Wd zu berechnen. Die Gewichtungsfunktionsdaten Wd werden an 194 verriegelt und dann an den Multiplikator-Akkumulator 122 wie auch an die Absolutwertschaltung 124 geliefert.
Die aus dem Zeilenspeicher 112 ausgelesenen Daten werden an einen Multiplexer 198 geliefert, nachdem sie an 196 um einen Pixel verzögert wurden, und werden auch direkt in einen weiteren Multiplexer 200 eingelesen. Daten werden unter Verwendung von Adressen, welche von der Zeit- und Steuerschaltung 106 geliefert wurden, aus dem Speicher 202 ausgelesen. Die aus dem Speicher 202 ausgelesenen Daten werden an 204 um zwei Pixel verzögert und an eine Subtrahierschaltung 206 geliefert.
Die aus dem Zeilenspeicher 110 bzw. dem Halbbildspeicher 112 ausgelesenen Daten werden auch über einen Multiplexer 200 an die Subtrahierschaltung 206 geliefert, und diese Daten werden von den aus dem Zeilenspeicher 202 ausgelesenen Daten subtrahiert, um die Elevationsgewichtungsfunktion We zu berechnen. Die Gewichtungsfunktionsdaten We werden an 208 verriegelt und sowohl an den Multiplikator-Akkumulator 122 als auch an die Schaltung 124 geliefert, welche wiederum ein Paar von herkömmlichen Schaltungen 216, 218 aufweist, welche die absoluten Werte der Gewichtungsfunktionen Dd und We empfangen bzw. berechnen.
Eine Addierschaltung 126 kombiniert die absoluten Werte der Gewichtungsfunktionen und liefert diese Werte an die Multiplikator-Akkumulatoren 122.

Verfolgungsmoden

Der Videoverfolger wird vom Mikroprozessor 26 so gesteuert, daß er in verschiedenen Verfolgungsmoden oder -anordnungen arbeitet. Diese Moden reichen vom vollautomatischen Betrieb mit Einsatz des Korrelations- als auch Schwerpunktprozessors 30 bzw. 32 in Verbindung miteinander bis zu vollständig manueller Steuerung sowohl eines als auch beider Prozessoren 30, 32, einschließlich manueller Steuerung der verschiedenen Zusatzfunktionen wie etwa Fensterformatbestimmung, Videoschwellenwahl und Frequenzwahl für die Rekursivbezugsaktualisierung.
Die Ableitung sinnvoller Verfolgungsstatusanzeigen für den Schwerpunkt- als auch den Korrelationsprozessor 30 bzw. 32 ist wichtig für die Implementierung einer wirksamen automatischen Verfolgungsmodussteuerung. Der Verfolgungsstatus für jeden der Prozessoren 31, 32 wird als "zufriedenstellend", "marginal" oder "bevorstehender Halteverlust" bezeichnet. Bei taktischen Anwendungen ist es üblicherweise eine Störung, keine einfache relative Zielbewegung, welche den Halteverlust verursacht. Folglich ist ein Schlüsselelement in der Herstellung des Verfolgungsstatus die Entdeckung von Störungseinfall. Die Summe des Differenzvideos für den Korrelationsprozessor 30 und die Kombination von Verfolgungs- und Grenzfensterintensitätshistogrammdaten für den Schwerpunktprozessor 32 stellen wirksame Anzeigen zur Verfügung, daß ein Störungseinfall vorliegt. Diese Störungseinfallanzeigen, gekoppelt mit der Größe der Korrelationsgradientendaten für den Korrelationsprozessor 30 und die Anzahl der Pixel, welche die Schwelle für den Schwerpunktprozessor 32 überschreiten, werden dazu verwendet, den Verfolgungsstatus herzustellen. Wenn kein Störungseinfall angezeigt ist und die übrigen Verfolgungsstatusparameterwerte einen spezifischen Minimalwert übersteigen, wird der Verfolgungsstatus als "zufriedenstellend" bezeichnet. Wenn Störungseinfall angezeigt ist und die übrigen Verfolgungsstatusparameterwerte den spezifizierten Minimalwert weiter übersteigen, wird der Verfolgungsstatus als "marginal" bezeichnet. Wenn entweder die Störungseinfallanzeige einen spezifischen Schwellenwert übersteigt oder die übrigen Verfolgungsstatusparameter die Minimalwertkriteria nicht erfüllen, wird der Verfolgungsstatus als "bevorstehender Halteverlust" bezeichnet.
Diese Verfolgungsstatusanzeigen für den Korrelations- und Schwerpunktprozessor 30 bzw. 32 werden in verschiedenen Elementen der Modussteuerung für den einzelnen Prozessor und das Verfolgungssystem insgesamt angewendet. Wenn beispielsweise der Korrelationsverfolgungsstatus unter "zufriedenstellend" abfällt, wird der Rekursivbezug blockiert, um zu verhüten, daß eine Störung in den Bezug eintritt, und um die richtige Bezugsszene zu bewahren für Wiedererfassung, wenn die Störung vorbeigeht. Wenn der Schwerpunktverfolgungsstatus auf "marginal" abfällt, wird der Algorithmus für die Größeneinteilung des Schwerpunktfensters so modifiziert, daß versucht wird, ein Gleichgewicht zwischen der Verfolgungsfensterfläche und der Anzahl von "Ziel"-Pixeln herzustellen, welche die Schwelle überschreiten. Wenn der Schwerpunktverfolgungsstatus auf "bevorstehender Halteverlust" abfällt, werden Fenstergröße, Kontrastwahl und Schwellenwert blockiert, um die richtige Wiedererfassung zu unterstützen, wenn die Störung vorbeigeht.
Der Videoverfolger kann in einem spezialisierten Schwerpunktmodus betrieben werden, in welchem nur der Schwerpunktprozessor 32 eingesetzt wird, um Verfolgungsfrequenzbefehle abzuleiten. Die Erfassung in diesem Modus wird eingeleitet, während die Verarbeitungsverfolgungsfenster um die angezeigte Achsensichtposition zentriert sind. In jedem der auf einanderfolgenden Videorahmen werden Schwellen- und Zielkontrastberechnungen ausgeführt, um zu bestimmen, ob für Ziele mit positivem Kontrast wie auch solche mit negativem Kontrast ein Schwellenwert gefunden werden kann, so daß das Video, welches die berechnete Schwelle durchläuft, Pixel ergibt, welche nur Verfolgungsfensterhistogramm-Intensitätswerten entsprechen, aber keine Pixel mit nur Grenzfensterhistogramm-Intensitätswerten (d. h. ein zufriedenstellender Verfolgungsstatus). Falls kein geeigneter Schwellenwert gefunden werden kann, werden die Fenstergrößen für den nächsten Videorahmen um einen vorgewählten Faktor, z. B. 40%, erhöht. Falls ein geeigneter Schwellenwert gefunden wird, wird eine Überprüfung durchgeführt, um zu bestimmen, ob sich die angezeigte Zielschwerpunktposition innerhalb einer einfach zu programmierenden, spezifischen Anzahl von Pixeln von der Achsensichtposition befindet. Diese Überprüfung wird durchgeführt, um zu verhindern, daß an Störobjekte aufgeschaltet wird, welche größer sind als das betreffende Ziel. Falls das zur Auswahl stehende dieser Überprüfung nicht standhält, wird die Zuwachsrate um den vorgewählten Faktor fortgesetzt. Andernfalls wird eine Zielkontrastwahlflagge gesetzt (d. h. das Ziel wird spezifiziert, und Rasterverfolgung wird eingeleitet).
Während der spezialisierten Schwerpunktverfolgung werden die Videoschwellenwerte (bei gewähltem Zielkontrast), die Verfolgungsfensterformate und die Verfolgungsstatusanzeigen kontinuierlich aktualisiert. Wie im vorangegangenen erwähnt wurde, wird die Schwerpunktverfolgungs-Statusanzeige im Zielverfolgungsmodus zur Gesamtsteuerung des Schwerpunktprozessors 32 verwendet. Wenn der Verfolgungsstatus auf "marginal" abfällt, ist zu erwarten, daß ein relativ geringer Betrag an Hintergrundstörung den Videoschwellenwert überschreitet, und der Fensterformatsteueralgorithmus wird modifiziert, um gegenseitige Verfolgungsbeeinflussungen zu minimieren. Wenn der Verfolgungsstatus auf "bevorstehender Halteverlust" abfällt, ist der Störungseinfall stärker, oder das Ziel ist nicht erkennbar, und ein Coast-Status wird eingeleitet.
Der Videoverfolger kann auch in einem spezialisierten Korrelationsmodus betrieben werden, in welchem nur der Korrelationsprozessor 30 eingesetzt wird, um Verfolgungsfrequenzbefehle abzuleiten. In diesem Modus kann der Verfolger als Szenenverfolger oder als Verfolger für ein bestimmtes Ziel betrieben werden. Obwohl es möglich ist, diese Funktion mit Korrelationsverarbeitungsfenstern durchzuführen, welche ein festgelegtes Format besitzen, ist es wünschenswert, das Format des Verfolgungsfensters so einzuteilen, daß die Zielvideogradienten, welche die für die Korrelationsverfolgung grundlegende Information enthalten, maximiert werden. Dies trifft sowohl für Ziel- als auch Szenenverfolgung zu. Anders ausgedrückt heißt dies, wenn ein beträchtlicher Abschnitt eines Szenenkorrelationsfensters mit festgelegter Größe nichtssagende Merkmale umfaßt, dann wird die sich daraus ergebende Verfolgungsleistung durch das Verarbeiten dieses Abschnitts der Videoszene eher verschlechtert als verbessert. Folglich ist in der Korrelationsverfolgungsmodus der Einsatz von automatischer Größeneinteilung für das Korrelationsfenster vorzuziehen, um maximale Wirksamkeit zu erzielen. Wenn es erwünscht ist, statt Szenen Ziele zu verfolgen, kann eine größere anfängliche Fenstergröße verwendet werden, um anfangs ein vernünftiges Teilsichtfeld des Sensors zu umfassen. Die anfängliche Fenstergröße in der Flächenverfolgungsmodus sollte so gewählt sein, daß sie einen vernünftigen Betrag an Information über den Szenenintensitätsgradienten enthält, doch wenn sich die Situation mit einem größeren Fensterformat verbessert, wird das größere Format während des Erfassungsvorgangs automatisch gefunden.
Die Erfassung wird in der Korrelationsverfolgungsmodus dadurch eingeleitet, daß die Verarbeitungsfenster für jedes Halbbild um die angegebene Achsensichtlokalisierung zentriert werden. Wenn der Erfassungsvorgang zuerst eingeleitet wird, wird die laufende Szene in den Rekursivbezug geladen. Die Aktualisierungsrate des Rekursivbezugs wird dann so programmiert, daß sie sich von W&sub1;=½ vermindert, so daß die Rauschfiltereigenschaften optimiert werden. Nach zwei Rahmen ist W&sub1; geringer als ½, und für jeden nachfolgenden Rahmen wird das Fensterformat in Inkrementschritten vergrößert, z. B. 25% in jeder Dimension, bis eine Maximalgröße erreicht ist oder der Mittelwert der Gradientenfunktion über dem Verfolgungsfenster abnimmt. Wenn das Fensterformat hergestellt ist, wird Rasterverfolgung eingeleitet. Beim Korrelationsprozessor 30 wird Rasterverfolgung implementiert durch Neupositionierung der Verfolgungsfenster, und den Rekursivbezug innerhalb des Videorasters, daß er den Korrelationsverfolgungsfehler nullstellt. Der Verfolgungsstatus wird dann für jedes Videohalbbild errechnet, und wenn der Status für zwei aufeinanderfolgende Halbbilder zufriedenstellend ist, wird eine Verfolgung-gültig-Flagge gesetzt, die Rasterverfolgung wird abgebrochen, und aktive Verfolgung wird eingeleitet. Wenn nach 16 Halbbildern bei der Rasterverfolgung keine gültige Verfolgung zustandekommt, wird der Rekursivbezug neu geladen und der Erfassungsvorgang neu eingeleitet.
Während der Flächenverfolgung werden die Fensterformate dadurch aktualisiert, daß die einzelnen Gradientenfensterränder sequentiell kontinuierlich vibriert werden, um den Mittelwert der Gradientenfunktion über dem Gradientenfenster zu maximieren. Die Größe des Verfolgungsfensters wird dann so eingeteilt, daß ein Pixelmargin N zwischen den Verfolgungsfensterrändern und den Gradientenfensterrandlokalisierungen zur Verfügung gestellt wird, welche ein Maximum für den Mittelwert der Gradientenfunktion erzeugen.
Im Korrelationsverfolgungsmodus wird die Korrelationsverfolgungsstatusanzeige für die Gesamtsteuerung des Korrelationsprozessors 30 eingesetzt. Wenn der Verfolgungsstatus auf "marginal" abfällt, ereignet sich gemäßigter Störungseinfall, und obwohl nicht zu erwarten ist, daß sich die Verfolgungsleistung beträchtlich verschlechtert, wird der Rekursivbezug blockiert, um zu verhindern, daß die Störung in den Bezug eindringt.
Wenn die Verfolgung auf "bevorstehender Halteverlust" abfällt, ist der Störungseinfall stärker und ein Coast-Zustand wird eingegeben. Während des Coast-Status sind die Verfolgungsfensterformate und die Rekursivbezüge blockiert. Die Durchführung des Coast-Status ähnelt dem mit Bezug auf den Schwerpunktverfolgungsmodus beschriebenen. Wenn sich der Verfolgungsstatus während des Coast-Intervalls auf besser als "bevorstehender Halteverlust" verbessert, wird der aktive Verfolgungsstatus automatisch wiedereingeleitet. Ansonsten wird der Korrelationsverfolgungs-Erfassungsvorgang wieder eingeleitet.
Der Flächenverfolgungsstatusanzeiger ist ein genaues Maß für die Qualität der Übereinstimmung relativ zum Bezugsbild. Diese Anzeige weist zwei bedeutsame Aspekte auf. Erstens ist der Mittelwert der Summe der Videodifferenz über dem Verfolgungsfenster ein direkter Ausdruck der Differenz zwischen der eintreffenden Szene und dem Bezug. Zweitens sind sowohl Größe als auch Mittelwert der Gradientenfunktion über dem Verfolgungsfenster Ausdruck des Verfolgungsinformationsgehalts des Bezugs. Wenn dieser Informationsgehalt zu klein wird, ist eine schlechte Verfolgungsleistung zu erwarten, und ein Ausdruck der Übereinstimmung Szene/Bezug ist bedeutungslos. Somit dient der Vollverfolgungsstatusanzeiger als Ausgang für die Qualität der Übereinstimmung.
Schließlich ist der Videoverfolger auch in der Lage, in einem automatischen oder "kompetitiven" Verfolgungsmodus zu arbeiten. Im automatischen Modus arbeiten der Korrelationsprozessor 30 und der Schwerpunktprozessor 32 in Verbindung miteinander, und derjenige Prozessor, der die "beste" Leistung ergibt, wird für die aktive Verfolgungssteuerung gewählt. Die Modussteuerung für beide Prozessoren 30, 32 in der automatischen Verfolgungsmodus ähnelt der im vorangegangenen für den spezialisierten Schwerpunktverfolgungsmodus und den spezialisierten Korrelationsverfolgungsmodus beschriebenen. Da es von entscheidender Wichtigkeit ist, das sich bewegende Ziel im automatischen Verfolgungsmodus vom Hintergrund zu isolieren, ist das anfängliche Korrelationsverfolgungsfensterformat identisch mit dem im spezialisierten Schwerpunktverfolgungsmodus für den Schwerpunktprozessor 32 verwendeten.
Beim Betriebsverfolgungsmodus gibt es drei Verfolgungszustände: Verfolgungseinleitung, Verfolgungsaufrechterhaltung, und Verfolgungs-Coast. Auf ähnliche Art wie in der für die spezialisierten Verfolgungsmoden werden die Übergänge in der Verfolgungszustandsteuerung durch die für die beiden Prozessoren 30, 32 ermittelte Verfolgungsstatusanzeige bestimmt. Eine "gültige Verfolgung"-Anzeige wird erzeugt, wenn ein zufriedenstellender Verfolgungsstatus das erste Mal hergestellt ist, nachdem die Erfassungssequenz für jeden der Prozessoren 30, 32 eingeleitet wurde. Dieser Prozessor steht dann zur Auswahl für aktive Verfolgungssteuerung. Der Prozessor mit dem höchsten Verfolgungsstatus wird für die aktive Verfolgungssteuerung gewählt, und falls der Verfolgungsstatus für beide Prozessoren 30, 32 gleichwertig ist, sobald die "Verfolgung gültig"-Anzeigen im Verfolgungseinleitungsstatus das erste Mal erhalten werden, geht die Steuerung auf den Schwerpunktprozessor 32 über, wenn die Schwerpunktfensterfläche geringer ist als ein vorgewähltes Element von Quadratpixeln. Beim Eintritt in den Verfolgungsaufrechterhaltungsstatus gehen die Verfolgungsstatus-"Bindungen" auf den Korrelationsprozessor 30 über, wenn die Korrelationsfensterfläche größer ist als eine vorgewählte Anzahl von Quadratpixeln.
Der Verfolgungseinleitungsstatus ist angesagt, wenn die Verfolgung anfänglich über einen Verfolgungseinleitungsbefehl eingeleitet wird, oder wenn ein darauffolgender Wiedererfassungsbefehl nur einen der Prozessoren dazu bringt, eine "Verfolgung gültig"-Anzeige zu geben. Der Übergang vom Verfolgungseinleitungsstatus zum Verfolgungsaufrechterhaltungsstatus ereignet sich, kurz nachdem beide Prozessoren eine "Verfolgung gültig"-Anzeige geben und mindestens einer der Prozessoren eine Verfolgungsstatusanzeige aufweist, die besser ist als "bevorstehender Halteverlust". Falls nur ein Prozessor eine "Verfolgung gültig"-Anzeige aufweist und sein Verfolgungsstatusanzeiger auf "bevorstehender Halteverlust" abfällt, wird der Verfolgungseinleitungsstatus abgebrochen zum Coast-Status.
Wie im Vorangegangenen erwähnt wurde, wird der Prozessor mit dem höchsten Verfolgungsstatus gewählt, um aktive Verfolgungsbefehle zu geben. Der inaktive Prozessor wird dann in einem Rasterverfolgungsmodus betrieben, bei dem das Verfolgungsfenster kontinuierlich im Videoraster positioniert wird, um den angezeigten Verfolgungsfehler nullzustellen. Wenn sich diese Situation ergibt, wird eine Überprüfung kontinuierlich durchgeführt, um festzustellen, ob das Zentrum des Schwerpunktverfolgungsfensters innerhalb des Korrelationsverfolgungsfensters zu liegen kommt. Falls nicht, ist anzunehmen, daß das inaktive Fenster nicht das richtige Ziel verfolgt, und die "gültige Verfolgung"-Anzeige für den inaktiven Prozessor wird abgelehnt. Das Zentrum des Verfolgungsfensters für diesen Prozessor wird dann neu positioniert, so daß es mit dem Zentrum des Fensters für den inaktiven Prozessor zusammenfällt, und der Wiedererfassungsvorgang wird für den inaktiven Prozessor eingeleitet.
Der Verfolgungsaufrechterhaltungsstatus wird in den Coast- Status verlassen, wenn der Verfolgungsstatus sowohl für den Korrelations- als auch Schwerpunktprozessor 30 bzw. 32 auf "bevorstehender Halteverlust" abfällt. Der Verfolgungsaufrechterhaltungsstatus wird in den Verfolgungseinleitungsstatus verlassen, wenn der inaktive Prozessor in den Wiedererfassungsstatus gezwungen wird. Die Durchführung des Coast-Status ähnelt der für den Ziel-Verfolgungsmodus beschriebenen.

Automatische Zielerkennung

Der vorliegende Videoverfolger kann in einer "Differenzvideo"-Mode betrieben werden, in der der Verfolger ein sich relativ zu der Szene oder dem Hintergrund bewegendes Ziel erkennt und automatisch erfalt. Wie im vorangegangenen beschrieben wurde, ist der absolute Wert des Differenzvideoausgangs vom Korrelationsprozessor 30 verfügbar als Nebenprodukt der Korrelationsverarbeitungsfunktion, und dieser Videoausgang kann an den Schwerpunktprozessor 32 geliefert werden. Wenn der Korrelationsprozessor 30 eingesetzt wird, um eine stationäre Szene zu verfolgen, zeigt sich ein sich relativ zu dieser Szene bewegendes Ziel im Differenzvideo. Somit werden sich bewegende Ziele durch die Verarbeitung dieses Videoausgangs mit dem Schwerpunktprozessor 30 erkannt und automatisch erfaßt, während der Korrelationsprozessor 30 eine stationäre Szene verfolgt. In diesem Fall wird ein sich bewegendes Ziel im Differenzvideo erkannt, wenn die Größe des absoluten Werts des Differenzvideos einen nominalen Schwellenwert überschreitet. Dann wird die Rasterverfolgung mit dem Schwerpunktprozessor 32 eingeleitet, und derjenige Abschnitt des Sichtfelds, welcher im Schwerpunktverfolgungsfenster enthalten ist, wird von der Korrelationsverarbeitung ausgeschlossen. Sofort nachfolgend auf die Einleitung der Schwerpunktrasterverfolgung werden die Zielverfolgungsraten aus den Änderungen der Schwerpunktfensterposition im Sichtfeld errechnet.
Sobald Verfolgungsratenschätzungen erhalten werden, werden die Hintergrund- und Differenzvideoverfolgung beendet und die Größe der Korrelationsverfolgungsfenstergröße wird so eingeteilt und positioniert, daß sie mit dem Schwerpunktfenster konsistent ist. Das Verfolgungssystem erhält dann den Befehl, sich mit den geschätzten Sichtzeilenraten zu bewegen, und die Verfolgung wird in einer der spezialisierten Zielverfolgungskonfigurationen eingeleitet.

Verfolgung mit niedrigem SNR

Der Videoverfolger kann in eine Modus so betrieben werden, daß er kleine Ziele mit geringem Kontrast unter Bedingungen mit sehr niedrigem SNR (Signal-Rausch-Verhältnis) erfaßt und verfolgt. In stetigem Status wird das Zielkontrast-SNR für Video, das durch die Korrelationsrekursivbezugfunktion verarbeitet wurde, verstärkt durch:
wobei
W&sub1; der Rekursivbezugaktualisierungsratenfaktor ist.
Somit wird das Video-SNR für den Schwerpunktprozessor 32 wesentlich verstärkt, indem der Videokorrelations-Rekursivbezug an den Eingang des Schwerpunktprozessors 32 geliefert wird. Tatsächlich wird das Zielkontrast-SNR um die Quadratwurzel von 3 für einen Rekursivbezugsaktualisierungsratenfaktor von ½ verstärkt. Die Verwendung des Rekursivbezugsvideos für die Schwerpunktverfolgung verringert jedoch die herstellbare Verfolgungsschleifenbandbreite, weil die Videomittelwertermittlung in der geschlossenen Verfolgungsschleife mit eingeschlossen ist. Diese Beschränkung kann jedoch vermieden werden durch Verwendung der Korrelationsprozessorfehlereingänge, welche normalerweise Fehlersignale zusammen mit den Schwerpunktfehlern an die Driftbeseitigungsfunktion liefern.
Die Korrelationsfehler sind ein Maß für den Rahmen-zu-Rahmen-Fehler zwischen der Ziellokalisierung in der eintreffenden Szene und der Bezugsszene. Die Schwerpunktfehler sind ein Maß für die Ziellokalisierung in der Bezugsszene relativ zum Schwerpunktfenster. Die Kombination dieser beiden Fehler bildet eine komplementäre Funktion im Frequenzbereich.
Beispielsweise wird die Schwerpunktfehlerübertragungsfunktion definiert durch
wobei eine Zeitkonstante ist, welche durch den Korrelationsrekursivbezug durch die Korrelationsrekursivreferenzaktualiserung bestimmt wird. Auf ähnliche Weise wird die Korrealtionsfehlerübertragungsfunktion definiert durch
Somit, wenn die beiden vorangegangenen Übertragungsfunktionen kombiniert werden:
oder
Diese komplementäre Funktion stellt ebenfalls ein Maß für die Zielposition relativ zum Schwerpunktfenster zur Verfügung ohne die Verzögerung, welche mit dem Rekursivbezugsfiltervorgang in Verbindung gebracht wird. In dieser Mode wird die Schwerpunkteinleitungserfassungssequenz nicht durchgeführt, bevor zwei Videorahmen nach dem Korrelationsrekursivbezug geladen sind. Die Schwerpunktfenstersteuerfunktionen ähneln den für den spezialisierten Schwerpunktverfolgungsmodus beschriebenen, und die Verfolgungsstatusübergänge werden einzig durch die Schwerpunktverfolgungsstatusanzeigen bestimmt. Bevor "gültige Schwerpunktverfolgung" erhalten wird (wodurch die tatsächliche Verfolgung eingeleitet wird), wird die Korrelationsrekursivbezugposition festgelegt, und die Korrelationsfensterränder werden auf den Schwerpunktfensterrändern positioniert. Wenn die aktive Verfolgung eingeleitet ist, sind die Korrelationsfensterränder noch auf den Schwerpunktfensterrändern positioniert, aber die Korrelationsrekursivbezugsposition wird so bewegt, daß sie mit der Schwerpunktfenstermittelposition übereinstimmt.

Verfolgung im komplementären Modus

Der Verfolger kann auch in einem komplementären Modus betrieben werden, welcher in vielerlei Hinsicht dem im Vorangegangenen beschriebenen Verfolgungsmodus mit niedrigem SNR ähnelt. Imkomplementären Modus wird das Korrelationsbezugsvideo an den Schwerpunktprozessor 32 geschickt, und die Verfolgungsfehlersignale umfassen die Summe der Schwerpunktfehlersignale und die Schwerpunktfehlerbegriffe, die normalerweise als Eingänge an die Korrealtionsdriftkompensationsberechnung (Fig. 8) verwendet werden. Dieser Verfolgungsmodus ergibt Zielverfolgungsfehler mit Schwerpunktbezug. Die Schwerpunktverfolgungs-Jittercharakteristiken werden durch die Verwendung von Video mit verstärktem SNR verbessert, und die Fehlermessungsbandbreite wird durch die Verwendung der Korrelationsfehlerbegriffe aufrechterhalten.
Die Verfolgung wird im spezialisierten Korrelationsverfolgungsmodus eingeleitet, und nachdem ein bezeichnetes Ziel im Korrelationsrekursivbezug hergestellt ist, wird der Korrelationsrekursivbezug im Sichtfeld positioniert, so daß er den Schwerpunktfehler nullstellt. Sobald dies erreicht ist, werden die in der Korrelationsdriftkompensationsberechnung errechneten akkumulierten Fehlerbegriffe durch die Schwerpunktfehler ersetzt. Wie schon beim automatischen Modus wird die Verfolgungsstatussteuerung durch die Verwendung von Verfolgungsstatusanzeigen für die beiden Prozessoren 30, 32 ersetzt. Der Korrelationsverfolgungsstatus ist jedoch die primäre Steuerung. Mit anderen Worten werden Übergänge zum Coast- oder Halteverluststatus als Funktion des Korrelationsverfolgungsstatus durchgeführt. Wenn der Schwerpunktverfolgungsstatus schlechter als "zufriedenstellend" wird, wird die Korrelationsverfolgung wiedereingesetzt.

Claims

1. Vorrichtung zum automatischen Verfolgen eines Zieles des Typs, welcher Verfolgungsfehlersignale aus elektromagnetischen Videoeingangssignalen erzeugt, die aus einer Zielszene erhalten sind, und zur Bildung aufeinanderfolgender Videorahmen einer zweidimensionalen Bildebene verwendet sind, wobei die Bildebene durch eine Vielzahl von Pixeln aufweisend Intensitätswerte und diskrete Lokalisierungen in der Bildebene definiert ist, und die Vorrichtung aufweist:

einen Eingang zum Empfangen der Videoeingangssignale;

einen ersten Videoprozessor (32) zum Verarbeiten der Videoeingangssignale und zum Erzeugen eines ersten Satzes von Verfolgungsfehlersignalen, wobei der erste Videoprozessor (32) aufweist -(1) ein erstes Eingangsmittel zum Empfangen der Videoeingangssignale von dem Eingang,

(2) ein mit dem ersten Eingangsmittel verbundenes Mittel (76) zum Erzeugen eines Pixelintensitätsschwellenwertes,

(3) ein Mittel (80) zum Vergleichen des Intensitätswertes der Videoeingangssignale mit dem Schwellenwert und zum Berechnen eines Pixelschwerpunktes in der Bildebene aufweisend zumindest einen bestimmten Intensitätswert relativ zum Schwellenwert;

einen zweiten Videoprozessor (30) zum Verarbeiten der Videoeingangssignale und zum Erzeugen eines zweiten Satzes von Verfolgungsfehlersignalen, wobei der zweite Videoprozessor (30) aufweist -(1) ein zweites Eingangsmittel zum Empfangen der Videoeingangssignale von dem Eingang,

(2) ein mit dem zweiten Eingangsmittel verbundenes erstes Speichermittel (108) zum Speichern einer laufenden Karte von Pixelintensitätswerten für einen laufenden Videorahmen,

(3) ein mit dem ersten Speichermittel (108) verbundenes Mittel zum rekursiven Regenerieren der laufenden Karte,

(4) ein mit dem Regenerierungsmittel verbundenes zweites Speichermittel (110, 112) zum Speichern einer früheren Karte von Pixelintensitätswerten für einen dem laufenden Rahmen vorhergehenden Videorahmen; und

ein Mittel zum Liefern der früheren Karte von Pixelintensitätswerten von dem zweiten Speichermittel (110, 112) an das erste Eingangsmittel, wodurch die von dem ersten Prozessor empfangenen Videoeingangssignale mit der früheren Karte von Pixelintensitätswerten kombiniert werden.

2. Vorrichtung nach Anspruch 1, wobei das Regenerierungsmittel ein Mittel zum Subtrahieren von Pixelintensitätswerten des laufenden Rahmens aus den Intensitätswerten der Videoeingangssignale aufweist zur Erzeugung von Differenzvideosignalen, wobei die Vorrichtung des weiteren ein Mittel zum Liefern der Differenzvideosignale von dem Regenerierungsmittel (108) an das erste Eingangsmittel aufweist, wodurch die von dem ersten Prozessor (32) empfangenen Videoeingangssignale mit den Differenzvideosignalen kombiniert werden.

3. Vorrichtung nach Anspruch 1 oder 2, wobei der zweite Videoprozessor (30) ein mit dem ersten Speichermittel (108) verbundenes zweites Speichermittel (110, 112) aufweist zum Speichern von Pixelintensitätswerten eines dem laufenden Videorahmen vorhergehenden Videorahmens, und die Vorrichtung des weiteren ein Mittel zum Liefern von Pixelwerten des vorhergehenden Videorahmens von dem zweiten Prozessor (30) an das erste Eingangsmittel aufweist, wodurch die Pixelwerte des vorhergehenden Videorahmens mit den Werten der von dem ersten Prozessor (32) empfangenen Videoeingangssignalen kombiniert werden.