DE19902681A1 - Verfahren und System zum Wiederfinden von Objekten in Bildern - Google Patents

Abstract

Bei einem Verfahren zum Wiederfinden von Objekten in Bildern wird eine Objektreferenz mit Bildwerten korreliert. Bei einer teilweisen Verdeckung des Objektes im Bild werden diejenigen Bildwerte, die im Bild innerhalb der Verdeckungsbereiches liegen, durch Grauwerte des Objektes ersetzt, bevor die Korrelation durchgeführt wird. Ein System zum Wiederauffinden von Objekten in Bildern hat eine Kamera zur Aufnahme eines Bildes, einen Bilddatenspeicher zur Speicherung einer Objektreferenz, einen Bilddatenprozessor zum Ersetzen von Grauwerten, die innerhalb eines Verdeckungsbereiches liegen, durch Grauwerte der Objektreferenz und eine Korrelationseinheit, die das vom Bilddatenprozessor veränderte Bild mit der Objektreferenz korreliert.

Description

Die Erfindung betrifft ein Verfahren zum Wiederfinden von Objekten in Bildern durch Korrelation einer Objektreferenz mit Bildwerten, sowie ein System zum Wiederfinden von Objekten in Bildern.

Für zahlreiche Anwendungen ist es notwendig, daß Objekte in Bildern oder digitalen Bildsequenzen automatisch wiedergefunden werden. Dabei kann es jedoch vorkommen, daß Teile des Objektes verdeckt sind.

Bei einem bekannten Verfahren, das die Wiederfindung von Objekten in Bildern ermöglicht, wird von dem zu suchenden Objektbild eine Referenz gespeichert und diese Referenz wird anschließend innerhalb eines begrenzten Bereiches mit dem Bild korreliert. Bei der Korrelation wird nur der Teil der Referenz benutzt, dessen Bildpunkte zum Objekt gehören. Durch Objektfensterung bzw. Objektmaskierung werden diejenigen Teile, die nicht zum Objekt gehören, ausgeblendet. Der Ort des Korrelationsmaximums liefert die aktuelle Position des Objektes im Bild, weil dort die Bildpunkte mit den Objektpixeln übereinstimmen.

Bei diesem bekannten Verfahren besteht jedoch das Problem, daß die Korrelation nicht mehr die korrekte Position des Objektes liefert, wenn das Objekt teilweise in Verdeckung gerät. Der Grund hierfür liegt darin, daß in dem verdeckten Bereich mit Bildpunkten korreliert wird, die nicht zum Objekt gehören. Durch die Abdeckung wird nur noch ein Teil des Objektes mit der Referenz verglichen, was zu einer ungenauen Erkennung des Objektes bzw. der Position des Objektes führt. Eine unpräzise Erkennung des Verdeckungsbereiches ergibt sehr schnell eine fehlerhafte Objektposition im Bild.

Es ist daher die Aufgabe der vorliegenden Erfindung ein Verfahren zum Wiederfinden von Objekten in Bildern anzugeben, das eine präzise Erkennung und eine genauere Ermittlung der Objektposition ermöglicht. Weiterhin soll ein System zum Wiederfinden von Objekten in Bildern geschaffen werden, mit dem die Objektposition genau ermittelt werden kann.

Diese Aufgabe wird gelöst durch das Verfahren zum Wiederfinden von Objekten in Bildern gemäß Patentanspruch 1 und das System zum Wiederfinden von Objekten in Bildern gemäß Patentanspruch 6. Weitere vorteilhafte Merkmale, Aspekte und Details der Erfindung ergeben sich aus den abhängigen Ansprüchen, der Beschreibung und den Zeichnungen.

Das erfindungsgemäße Verfahren zum Wiederfinden von Objekten in Bildern umfaßt eine Korrelation einer Objektreferenz mit Bildwerten, wobei bei einer teilweisen Verdeckung eines Objektes die Bildwerte, die im Bild innerhalb des Verdeckungsbereiches liegen, durch Grauwerte des Objektes bzw. der Objektreferenz ersetzt werden, bevor die Korrelation durchgeführt wird. Dadurch werden die Fehler beim Wiederfinden des Objektes erheblich reduziert.

Bei dem Verfahren wird bevorzugt ein Referenzbild einer Störfensterung unterzogen, um die Bildwerte innerhalb einer Störmaske durch die Grauwerte des Objektes zu ersetzen. Vorteilhafterweise wird das Referenzbild einer Objektfensterung unterzogen, um die Objektreferenz zu erhalten.

Bei der vorliegenden Erfindung wird insbesondere vor der Verdeckung das Bild des vollständigen Objektes gespeichert um bei einer teilweisen Verdeckung die Position des Objektes zu ermitteln. Vorteilhafterweise werden im Bild verdeckte Teile des Objektes durch Teile einer gespeicherten Referenz ergänzt.

Das erfindungsgemäße System zum Wiederfinden von Objekten in Bildern umfaßt eine Kamera zur Aufnahme eines Bildes, einen Bilddatenspeicher zur Speicherung einer Objektreferenz, einen Bilddatenprozessor zum Ersetzen von Grauwerten, die im Bild innerhalb eines Verdeckungsbereiches liegen, durch Grauwerte der Objektreferenz, und eine Korrelationseinheit, die das vom Bilddatenprozessor veränderte Bild mit der Objektreferenz korreliert. Das erfindungsgemäße System ist in der Lage, den Verdeckungsbereich präzise zu erkennen und eine genaue Objektposition im Bild zu ermitteln. Fehler werden vermieden bzw. weitgehend reduziert, indem die bereits gespeicherte Information über das Aussehen des Objektes verwendet wird.

Die Erfindung orientiert sich an einem kybernetischen Grundgedanken: Das System speichert das Bild des vollständigen Objektes und nutzt diese Information um herauszufinden, was sich hinter der Verdeckung befindet. Der kybernetische Grundgedanke orientiert sich am menschlichen Beobachter, der sich das Bild des vollständigen Objektes merkt und eine Vorstellung dessen hat, was sich hinter der Verdeckung befindet. Dieser kybernetische Grundgedanke wird in der vorliegenden Erfindung ausgenutzt und technisch umgesetzt, wodurch bei teilweise verdeckten Objekten eine sehr genaue Positionsbestimmung der Objekte erfolgen kann.

Die Erfindung wird nachfolgend beispielhaft anhand der Zeichnungen beschrieben, in denen

Fig. 1 die einzelnen Stufen des erfindungsgemäßen Verfahrens grafisch darstellt; und

Fig. 2 ein Flußdiagramm des erfindungsgemäßen Verfahrens zeigt.

Fig. 1 zeigt die Stufen des erfindungsgemäßen Verfahrens beispielhaft anhand des Zielverfolgens. Dabei ist zunächst ein Ziel bzw. Objekt 1 sichtbar, das mit fortschreitender Zeit hinter einer Verdeckung 2 verschwindet. Zu einem bestimmten Zeitpunkt sind ein oder mehrere Teile 1a des Objektes 1 noch zu erkennen, während sich die restlichen Teile des Objektes 1 hinter der Verdeckung 2 befinden. Zu diesem Zeitpunkt wird ein Bild aufgenommen, welches das teilweise durch die Verdeckung 2 abgedeckte Objekt 1 enthält.

Aus einem bekannten Referenzbild, in welchem das Ziel bzw. Objekt 1 enthalten ist, wird eine Objektmaske 10 erzeugt. Die Objektmaske 10 wird mit dem aufgenommenen Bild, das das Ziel 1 hinter der Verdeckung 2 enthält, überlagert. Dies ist möglich, solange noch Teile 1a des Objektes 1 im Bild zu sehen sind. Durch die Überlagerung mit der Objektmaske 10 entsteht eine Störmaske 20, die der Verdeckung 2 überlagert ist. Die Störmaske 20 enthält diejenigen Teile der Verdeckung 2, die im Bild die restlichen Teile des Objektes 1 überdecken.

Durch einen Bildddatenprozessor werden die Bildpunkte innerhalb der Störmaske 20 durch die aus dem Referenzbild entnommenen Grauwerte des Objektes 1 ersetzt. Es ergibt sich eine Ersetzung 21 mit Bildpunkten, die den gerade verdeckten Teilen des Objektes 1 entsprechen. Die Ersetzung 21 wird im aufgenommenen Bild im Bereich der Störmaske 20 eingesetzt, so daß das nun erzeugte Bild das vollständige Objekt 1 enthält, ohne daß Teile des Objektes 1 fehlen. Das auf diese Weise mit dem Bilddatenprozessor erzeugte Bild bildet die Grundlage für die weiteren Verfahrensschritte.

Aus dem gespeicherten Referenzbild, das wie oben beschrieben das Objekt 1 enthält, wird mit Hilfe der Objektmaske 10 eine Referenz bzw. Objektreferenz 11 gewonnen. Die Objektreferenz 11 wird nun mit dem Bild 22, das die Ersetzung 21 enthält, korreliert. Durch eine Peakdetection wird das Korrelationsmaximum ermittelt. Der Ort des Korrelationsmaximums liefert so die genaue Position des Objektes 1 im Bild.

Fig. 2 zeigt als Flußdiagramm die Verfahrensschritte zum automatischen Finden bzw. Wiederfinden des Objektes 1 im aufgenommenen Bild. Die Daten eines Referenzbildes werden einer Störfensterung unterzogen. Anschließend erfolgt die Ersetzung derjenigen Bildteile, in denen sich das Objekt hinter der Verdeckung befindet, durch die Grauwerte des Objektes aus dem Referenzbild. Weiterhin wird das Referenzbild einer Objektfensterung unterzogen, die als Ergebnis die Objektreferenz liefert. In einem Korrelationsschritt wird die Objektreferenz mit dem Bild, das die Ersetzung enthält, korreliert. Zuletzt wird die Peakdetection durchgeführt, um das Korrelationsmaximum und die Position des Objektes zu ermitteln. Bei dem Verfahren ist das Referenzbild beispielsweise ein zuvor aufgenommenes Bild, das das Objekt 1 enthält.

Dadurch, daß in der vorliegenden Erfindung im Suchbereich des Bildes die Grauwerte der Verdeckung durch die Grauwerte des Objektes ersetzt werden, ergibt sich eine wesentlich erhöhte Präzision der Erkennung und der Positionsbestimmung von Objekten. Es erfolgt ein wesentlich geringerer Eingriff in die Signale, die der Korrelation unterzogen werden, als bei der Ausblendung ganzer Bildteile. Durch Speicherung der einmal gewonnenen Information über das Aussehen des Objektes und durch Verwendung dieser Information beim Auffinden des Objektes hinter einer Verdeckung, werden Fehler bei der Positionsbestimmung erheblich reduziert.

Claims (6)

1. Verfahren zum Wiederfinden von Objekten in Bildern durch Korrelation einer Objektreferenz (11) mit Bildwerten, dadurch gekennzeichnet, daß bei einer teilweisen Verdeckung (2) eines Objektes (1) die Bildwerte, die im Bild innerhalb des Verdeckungsbereiches liegen, durch Grauwerte des Objektes (1) ersetzt werden, bevor die Korrelation durchgeführt wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß ein Referenzbild einer Störfensterung unterzogen wird, um die Bildwerte innerhalb einer Störmaske (20) durch die Grauwerte des Objektes (1) zu ersetzen.

3. Verfahren nach Anspruch 1 oder Anspruch 2, dadurch gekennzeichnet, daß das Referenzbild einer Objektfensterung unterzogen wird, um die Objektreferenz (11) zu erhalten.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß vor der Verdeckung das Bild des vollständigen Objektes (1) gespeichert wird um bei der teilweisen Verdeckung die Position des Objektes (1) zu ermitteln.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß im Bild verdeckte Teile (1a) des Objektes (1) durch Teile einer gespeicherten Referenz ergänzt werden.

6. System zum Wiederfinden von Objekten in Bildern, gekennzeichnet durch eine Kamera zur Aufnahme eines Bildes einen Bilddatenspeicher zur Speicherung einer Objektreferenz, einen Bilddatenprozessor zum Ersetzen von Grauwerten, die im Bild innerhalb eines Verdeckungsbereiches liegen, durch Grauwerte der Objektreferenz, und eine Korrelationseinheit, die das vom Bilddatenprozessor veränderte Bild mit der Objektreferenz korreliert.