DE68927662T2

DE68927662T2 - Verfahren zur Feststellung der Lage eines Objektmusters in einem Bild

Info

Publication number: DE68927662T2
Application number: DE68927662T
Authority: DE
Inventors: Seiji Mizuoka; Kazumasa Okumura
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1988-11-04
Filing date: 1989-11-06
Publication date: 1997-05-28
Anticipated expiration: 2009-11-07
Also published as: JPH07117377B2; KR920005243B1; DE68927662D1; EP0367295A3; EP0367295B1; KR900008843A; JPH02126105A; EP0367295A2

Description

HINTERGRUND DER ERFINDUNG

1. Bereich der Erfindung:

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Erfassen der Stellung eines Objektmusters in einem Bild gemäß dem Patentanspruch 1.

2. Beschreibung des Standes der Technik:

Ein Verfahren zur Erfassung der Position bzw. Stellung eines Objektmusters in einem Bild ist bereits aus der US-A-4,581,762 bekannt. Dieses bekannte Verfahren weist die Schritte auf, ein Bezugsmuster vorzubereiten, das ein Muster und einen Hintergrund hat, die aus einem oder mehreren Bildelementen zusammengesetzt sind, die jeweils einen Wert haben, wobei die Form bzw. Gestalt des Musters dem Objektmuster entspricht, wobei der Wert von jedem Bildelement des Musters von dem von jedem Bildelement des Hintergrundes unterschiedlich ist. Ferner wird das Bild mit diesem bekannten Verfahren in mehrere Abschnitte unterteilt und darüber hinaus wird ein Bereich, der zwei oder mehr dieser Abschnitte hat, willkürlich ausgewählt, wobei die Form bzw. Gestalt des Bereichs der des Bezugsmusters entspricht. Darüber hinaus werden Daten von jedem der Abschnitte erhalten und eine Summe von Produkten der Werte von jedem Bildelement und den Daten von jedem Abschnitt, der dem Bildelement entspricht, werden gebildet. Mit diesem bekannten Verfahren wird der Bereich zu einer anderen Stelle in dem Bild bewegt, und einige der voranstehenden Schritte werden wiederholt.
Mit diesem bekannten Verfahren und auch mit weiteren herkömmlichen Verfahren wird die Stellung eines Oberflächenmusters einer integrierten Schaltung durch ein sog. Schablonenanpassungsverfahren erfaßt, in dem ein Bezugsmuster, das die zu erfassende Form bzw. Gestalt hat, zuvor als eine Schablone registriert worden ist, wobei ein Bild durch eine Fernsehkamera aufgenommen worden ist, die Muster von jedem Abschnitt in dem aufgenommenen Bild binär kodiert worden sind und dann die binär kodierten Daten der Muster aufeinanderfolgend mit der Schablone verglichen werden, um die Position bzw. Stellung zu erfassen, in der die beste Passung bzw. Übereinstimmung zwischen den beiden erhalten wird.
Dieses Verfahren wird in weiteren Einzelheiten unter Bezugnahme auf die Fig. 5A und 5B beschrieben. Die Fig. 5A zeigt eine binär kodierte Schablone 51, in der das Muster, das zu erfassen ist, durch Bezeichnung eines weißen Bildelementes mit der Ziffer "1" und Bezeichnung eines schwarzen Bildelementes durch die Ziffer "0" binär kodiert wird. Ein binär kodiertes Bild 52, das zu untersuchen ist, ist in Fig. SB gezeigt. In der Praxis wird die Schablone 51 nur in einem Computer erzeugt und nicht tatsächlich in einem physikalischen Körper ausgebildet, wie in Fig. 5A gezeigt, und folglich werden die unten beschriebenen Prozesse in dem Computer durchgeführt. Die Schablone 51 wird über einen Bereich in der oberen linken Ecke des Objektbildes 52 überlagert und der Passungszustand zwischen den einander gegenüberstehenden Bildelementen wird geprüft. Falls "0" mit "0" oder "1" mit "1" überlagert wird, wird festgehalten, daß die Bildelemente zueinander passen. Als nächstes wird die Schablone 51 um ein Bildelemente nach rechts bewegt, um die Überprüfung in der gleichen Weise durchzuführen. Die Überprüfung wird wiederholt, bis die Schablone 51 zu der unteren rechten Ecke des Bildes 52 bewegt worden ist. Danach wird der Bereich, der die größte Passungsrate hat, als Erkennungspunkt festgelegt. In dem Falle des Bildes 52 weist der durch C angezeigte Bereich die höchste Passungsrate (d.h. 64) auf und deshalb wird der Bereich C als der Erkennungspunkt erfaßt. Mit anderen Worten weist der Bereich C das Objektmuster auf.
Jedoch hat das obige Verfahren einen Nachteil, in dem, falls sich die Beleuchtung eines Körpers ändert, sich das binär kodierte Bild des Körpers ebenfalls ändert, was zu einem Erkennungsfehler oder einem vollkommenen Erkennungsfehlschlag führt. Zum Beispiel wechseln sämtliche Bildelemente des erhaltenen binär kodierten Bildes in den Zustand "0" und lassen keine Bildelemente in dem Zustand "1" zurück, wenn der Körper, von dem das binär kodierte Bild nach Fig. 5B unter einer ausgeleuchteten bzw. erhellten Bedingung erhalten worden ist, unter einer dunklen Bedingung verarbeitet wird, um davon ein binär kodiertes Bild zu erhalten. Deshalb wird die Passungsrate an jeder Position gleich werden, was dazu führt, daß die Position des Objektmusters nicht bestimmt werden kann. Der oben aufgezeigte Nachteil wird auch durch Ändern der Reflektivität des Körpers, der zu untersuchen ist, oder durch Ändern der Beleuchtungsstärke auf dem Körper verursacht.

ZUSAMMENFASSUNG DER ERFINDUNG

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Erfassen der Position bzw. Stellung eines Objektmusters bzw. Gegenstandsmusters in einem Bild zur Verfügung zu stellen, bei dem die Position bzw. Stellung genau und stabil erfaßt werden kann, selbst wenn das Bild in einem dunklen Zustand oder von einem Körper, dessen Reflektivität sich ändert oder unter einer sich ändernden Ausleuchtung erhalten wird.
Gemäß der vorliegenden Erfindung wird diese Aufgabe durch ein Verfahren zum Erfassen der Stellung bzw. Position eines Objekt- bzw. Gegenstandsmusters in einem Bild gelöst, das die Schritte aufweist:
(a) zwei oder mehr Bezugsmuster werden vorbereitet, die ein Muster und einen Hintergrund haben, wobei das Muster und der Hintergrund aus einem oder mehreren Bildelementen zusammengesetzt ist, die jeweils einen Wert hinsichtlich der Helligkeit haben, wobei die Form bzw. Gestalt, die von den Mustern erhalten wird, wenn die Bezugsmuster in einem vorbestimmten geometrischen oder positionsmäßigen Verhältnis angeordnet sind, das dem Objekt- bzw. Gegenstandmuster entspricht, der Helligkeitswert von jedem Bildelement des Musters von dem von jedem Bildelement des Hintergrundes unterschiedlich ist, wobei ein Teil von jedem der Bezugsmuster als ein spezifisches Teil benannt wird;
(b) das positionsmäßige Verhältnis wird gespeichert;
(c) das Bild wird in mehrere Abschnitte unterteilt;
(d) ein Bereich wird willkürlich ausgewählt, der zwei oder mehr der Abschnitte aufweist, wobei die Form bzw. Gestalt des Bereichs der des Bezugsmusters entspricht;
(e) Helligkeitsdaten werden von jedem der Abschnitte erhalten;
(f) eine Summe von Produkten der Helligkeitswerte von jedem Bildelement sowohl von dem Bezugsmuster als auch anderen Bezugsmustern und den Helligkeitsdaten von jedem Abschnitt, der dem Bildelement entspricht, wird erhalten;
(g) der Bereich wird zu einer anderen Position in dem Bild bewegt;
(h) die Schritte (e) bis (g) werden wiederholt;
(i) zwei oder mehr Bildabschnitte werden ausgewählt, von denen die Summe, die einen Extremwert oder einen Wert benachbart zu dem Extremwert hat, sowohl für das Bezugsmuster als auch andere Bezugsmuster erhalten wird;
(j) die Position in jedem der ausgewählten Abschnitte wird erhalten, die dem spezifischen Teil oder dem anderen spezifischen Teil entspricht;
(k) die positionsmäßigen Verhältnisse werden in jedem Paar der erhaltenen Positionen bzw. Stellungen erhalten;
(l) das Paar, das das positionsmäßige Verhältnis hat, das dem gespeicherten posititonsmäßigen am nächsten kommt, wird erhalten; und
(m) es wird entschieden, daß der Bereich, der dem erhaltenen Paar entspricht, derjenige ist, der das Objektbzw. Gegenstandsmuster enthält.
In einer bevorzugten Ausführungsform ist der Extremwert der größte Wert unter den erhaltenen Summen.
In einer bevorzugten Ausführungsform ist der Extremwert der kleinste Wert unter den erhaltenen Summen.
In einer weiteren bevorzugten Ausführungsform bestehen die Werte der Bildelemente aus 1, 0 und -1 und die Summe der Werte beträgt 0.

KURZE BESCHREIBUNG DER DARSTELLUNGEN

Diese Erfindung kann durch Bezugnahme auf die begleitenden Darstellungen besser verstanden werden und ihre zahlreichen Aufgaben und Vorteile werden den Fachleuten im Stand der Technik vor Augen geführt, in denen:
Fig. 1 beispielhafte Gegenstands- bzw. Objektmuster und Bezugsmuster darstellt.
Fig. 2A ein Bezugsmuster darstellt, das bei einer Ausführungsform der Erfindung verwendet wird.
Fig. 2B ein Bild darstellt, das durch Helligkeitsdaten kodiert worden ist, von denen die Position des Objektmusters unter Verwendung des Bezugsmusters nach Fig. 2A erfaßt worden ist.
Fig. 3 ein Bild darstellt, das erhalten wird, wenn das Bild nach Fig. 2B dunkler wird.
Fig. 4A eine Darstellung ist, um eine andere Ausführungsform der Erfindung wiederzugeben.
Fig. 4B eine Darstellung ist, um das geometrische oder positionsmäßige Verhältnis von zwei Bezugsmustern darzustellen, die in der anderen Ausführungsform verwendet werden.
Fig. 5A eine Schablone darstellt, die bei einem Verfahren nach dem Stand der Technik verwendet wird.
Fig. 5B ein binär kodiertes Bild darstellt, das bei einem Verfahren nach dem Stand der Technik verwendet wird.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

Die Fig. 1 stellt Beispiele eines Bezugsmusters dar, das bei einer Ausführungsform der Erfindung von Nutzen ist. In der Fig. 1 zeigen (a), (c) und (e) Objektmuster 1a, 1c und 1e, und (b), (d) und (f) Bezugsmuster 1b, 1d und 1f, die den Objektmustern 1a, 1c bzw. le entsprechen. In den Objektmustern 1a, 1c und le deuten die schraffierten Abschnitte sehr helle und weißliche Bereiche an. Die Bezugsmuster 1b, 1d und 1f sind in 64 (=8x8) Abschnitte oder Bildelemente unterteilt. Jedes Bildelement ist mit einem Helligkeitsfaktor (1, 0 oder -1) beziffert, so daß die Bezugsmuster 1b, 1d und 1f jeweils das Objektmuster 1a, 1c und 1e darstellen. Bei der Ausführungsform sind Helligkeitsfaktoren so eingestellt, daß sie den Kontrast betonen, wobei die Ziffer "1" einen sehr hellen Abschnitt bezeichnet und die Ziffer "-1" einen minderhellen Abschnitt bezeichnet. Bildelemente, die an einer anderen Position sind als wo der sehr helle Abschnitt den minderhellen Abschnitt umrandet, werden mit der Ziffer "0" beziffert, so daß die Zahl von 1s der Zahlung -1s als Ergebnis einer Normierung gleicht.
Die Fig. 2B stellt ein Bild dar, das in der Ausführungsform der Erfindung zu untersuchen ist. Das Bild 22 nach Fig. 2B wird in 380 (=20x19) Abschnitte unterteilt (auf die hiernach als "Bildelemente" Bezug genommen wird). Jedes der Bildelemente ist mit einem Helligkeitswert oder Helligkeitsdaten beziffert. In dem Bild 22 reichen die Helligkeitsdaten von 21 bis 51. Ein Bildelement, das eine größere Helligkeit hat, wird mit einer größeren Zahl beziffert und ein Bildelement, das eine niedrigere Helligkeit hat, mit einer kleineren Zahl. Falls das Bild 22 in einem binär kodierten Bild unter den Bedingungen, daß z.B. der Wert von 40 als der Schwellwert eingestellt wird, wiederhergestellt wird, werden Bildelemente, die einen Wert haben, der größer als 40 ist, mit "1" bezeichnet und Bildelemente, die einen niedrigeren Wert als 40 haben, werden durch "0" bezeichnet, wobei das sich ergebende Bild identisch zu dem in Fig. 5B gezeigten Bild 52 wird.
Die Verfahren zum Erfassen der Position des in Fig. 2A gezeigten Bezugsmusters (das mit dem Muster 1b, das in (b) nach Fig. 1 gezeigt ist, übereinstimmt) in dem Bild 22 nach Fig. 2B wird beschrieben. Zuerst wird das Bezugsmuster 21 mit dem Bild 22, wie durch A in Fig. 2B gezeigt, überlagert. Dann werden die Berechnungen, um die Summe von Produkten des Wertes von jedem Bildelement des Bezugsmusters 21 und der Werte von jedem Abschnitt des Bereichs A zu erhalten, durchgeführt. Das heißt, wenn der Helligkeitsfaktor von jedem Bildelement, das sich bei der i-ten Reihe und j-ten Spalte befindet, durch Mij bezeichnet wird (sowohl i als auch j sind im Bereich von 0 bis 7) und die Helligkeitsdaten von jedem Bildelement, das sich in der i-ten Reihe und der j-ten Spalte in dem Bereich A befindet, durch Sij bezeichnet wird, wird die Berechnung von Σ(Mij Sij) durchgeführt. Die folglich durchgeführte Berechnung ergibt das Ergebnis -4.
Als nächstes wird der Bereich um ein Bildelement rückwärts bewegt und die Berechnungen um die Summe von Produkten der Werte von jedem Bildelement des Bezugsmusters 21 und den Wert von jedem Abschnitt des neuen Bereichs zu erhalten, werden in der gleichen Weise, wie oben beschrieben, durchgeführt. Das obige Verfahren wird wiederholt, bis der Bereich zu der oberen rechten Ecke des Bildes kommt, wobei sich ergibt, daß die von dem in Fig. 2B gezeigten Bereich B erhaltene Summe 1274 beträgt, welches die größte ist. In der Ausführungsform ist der Bereich, von dem die größte Summe erhalten worden ist, der Erkennungspunkt, d.h. der Bereich weist das Objektmuster auf. Deshalb wird es erkannt, daß der Bereich B das Objektmuster hat. In einem Bereich, in dem keine Veränderung der Helligkeit vorkommt, beträgt die erhaltene Summe 0, was die Erkennung des Objektmusters vereinfacht. Dies wird durch die Tatsache verursacht, daß die Gesamtheit der Werte von Bildelementen in dem Bezugsmuster 21 Null ist, wenn es normiert ist.
Unter Bezug auf Fig. 3 wird das Verfahren in dem Fall beschrieben, in dem das Bild, das zu untersuchen ist, dunkel ist. In diesem Fall werden die Helligkeitsdaten von jedem Bildelement des Bildes 22 klein und verändern sich, wie in Fig. 3 gezeigt, in einem kleinen Bereich. Die Berechnungen, um die Summe von Produkten zu erhalten, werden für jeden Bereich in der gleichen Weise, wie oben beschrieben, durchgeführt, wobei sich ergibt, daß die von dem Bereich A erhaltene Summe -4 beträgt, und daß die des Bereichs B 302 beträgt. Die letztere ist die größte unter den aus dem Bild 22 nach Fig. 3 erhaltenen Summen. Auf diese Weise kann es, selbst wenn das Bild dunkel ist, leicht und verläßlich erkannt werden, daß der Bereich B das Objektmuster hat.
Wenn ein anderes Muster, wie etwa in (c) oder (e) nach Fig. 1 zu erfassen ist, wird das Verfahren in der gleichen Weise, wie oben beschrieben, unter Verwendung eines anderen Bezugsrnusters, wie es etwa in (b) oder (d) nach Fig. 1 gezeigt ist, durchgeführt.
Bei der bevorzugten Ausführungsform wird die Erfindung unter Verwendung von zwei oder mehr Bezugsmustern ausgeführt. In diesem Fall kann die Erfassung leicht und verläßlich durchgeführt werden, selbst wenn das Bild ähnliche Muster hat, wie in Fig. 4A gezeigt. Ein Beispiel des Verfahrens zum Erfassen eines Objektmusters von dem Bild 41, das in Fig. 4A gezeigt ist, bei welchem Verfahren zwei Bezugsmuster verwendet werden, wird unter Bezugnahme auf die Fig. 4A und 4B beschrieben. Zwei Bezugsmuster 42 und 43 werden vorbereitet und ihre oberen und linken Ecken werden als spezifische Punkte a bzw. b benannt. Ein positionsmäßiges Verhältnis zwischen den spezifischen Punkten a und b wird eingerichtet, so daß, wenn die zwei Bezugsmuster 42 und 43 gemäß dem positionsmäßigen Verhältnis angeordne werden, die Kombination der zwei Bezugsmuster 42 und 43 dem Objektmuster entsprechen. Das bestimmte positionsmäßige Verhältnis wird in einem Speicher eines Computers gespeichert. Dann werden die Berechnungen in der ähnlichen Weise, wie oben beschrieben, für das Bezugsmuster 42 durchgeführt, um die Summe von Produkten zu erhalten. Es werden zwei Bereiche ausgewählt, von denen die zwei größten Werte oder die Werte, die größer als jene von acht benachbarten Bereichen und die die größten sind, erhalten werden. Die Positionen, die den Punkten an den ausgewählten zwei Bereichen entsprechen, werden durch A1 und A2 in Fig. 4A angezeigt. Dann wird das obige für das Bezugsmuster 43 wiederholt und die Positionen, die dem Punkt b in den ausgewählten beiden Bereichen entsprechen, werden durch B1 und durch B2 in Fig. 4A angezeigt. Die positionsmäßigen Verhältnisse bis zwischen den Punkten A1, A2, B und B2 werden erhalten und mit dem zuvor gespeicherten positionsmäßigen Verhältnis verglichen, was dazu führt, daß das positionsmäßige Verhältnis dasjenige ist, dem vorher gespeicherten positionsmäßigen Verhältnis am nächsten ist. Die Bereiche, die den Punkten A2 und B1 entsprechen, die das positionsmäßige Verhältnis haben, werden als die Bereiche erkannt, die das Objektmuster haben. Das positionsmäßige Verhältnis kann bestimmt werden, indem entweder ein Winkel oder ein Abstand oder eine Kombination von beiden verwendet wird.
In den oben beschriebenen Ausführungsformen ist der Helligkeitsfaktor jedes Bildelementes des Bezugsmusters so eingestellt, daß die größte Summe von Produkten an dem Bereich erhalten wird, der das Objektmuster aufweist. Alternativ kann der Helligkeitsfaktor so eingestellt werden, daß die kleinste Summe von Produkten an dem Bereich erhalten wird, der das Objektmuster aufweist.

Claims

1. Verfahren zum Erfassen der Position bzw. Stellung eines Objektmusters in einem Bild, das die Schritte aufweist:

(a) zwei oder mehr Bezugsmuster werden vorbereitet, die ein Muster und einen Hintergrund haben, wobei das Muster und der Hintergrund aus einem oder mehreren Bildelementen zusammengesetzt ist, die jeweils einen Wert hinsichtlich der Helligkeit haben, wobei die Form bzw. Gestalt, die von den Mustern erhalten wird, wenn die Bezugsmuster in einem vorbestimmten geometrischen oder positionsmäßigen Verhältnis angeordnet sind, das dem Objekt- bzw. Gegenstandmuster entspricht, der Helligkeitswert von jedem Bildelement des Musters von dem von jedem Bildelement des Hintergrundes unterschiedlich ist, wobei ein Teil von jedem der Bezugsmuster als ein spezifisches Teil benannt wird;

(b) das positionsmäßige Verhältnis wird gespeichert;

(c) das Bild wird in mehrere Abschnitte unterteilt;

(d) ein Bereich wird willkürlich ausgewählt, der zwei oder mehr der Abschnitte aufweist, wobei die Form bzw. Gestalt des Bereichs der des Bezugsmusters entspricht;

(e) Helligkeitsdaten werden von jedem der Abschnitte erhalten;

(f) eine Summe von Produkten der Helligkeitswerte von jedem Bildelement sowohl von dem Bezugsmuster als auch anderen Bezugsmustern und den Helligkeitsdaten von jedem Abschnitt, der dem Bildelement entspricht, wird erhalten;

(g) der Bereich wird zu einer anderen Position in dem Bild bewegt;

(h) die Schritte (e) bis (g) werden wiederholt;

(i) zwei oder mehr Bildabschnitte werden ausgewählt, von denen die Summe, die einen Extrernwert oder einen Wert benachbart zu dem Extremwert hat, sowohl für das Bezugsmuster als auch andere Bezugsmuster erhalten wird;

(j) die Position in jedem der ausgewählten Abschnitte wird erhalten, die dem spezifischen Teil oder dem anderen spezifischen Teil entspricht;

(k) die positionsmäßigen Verhältnisse werden in jedem Paar der erhaltenen Positionen bzw. Stellungen erhalten;

(l) das Paar, das das positionsmäßige Verhältnis hat, das dem gespeicherten posititonsmäßigen am nächsten kommt, wird erhalten; und

(m) es wird entschieden, daß der Bereich, der dem erhaltenen Paar entspricht, derjenige ist, der das Objektbzw. Gegenstandsmuster enthält.

2. Verfahren nach Anspruch 1, in dem der Extremwert der größte Wert unter den erhaltenen Summen ist.

3. Verfahren nach Anspruch 1, in dem der Extremwert der kleinste Wert unter den erhaltenen Summen ist.

4. Verfahren nach Anspruch 1, in dem die Werte der Bildelemente aus 1, 0 und -1 bestehen, und die Gesamtheit der Werte 0 beträgt.