[go: up one dir, main page]

DE69604349T2 - Verfahren zur Bildübereinstimmung - Google Patents

Verfahren zur Bildübereinstimmung

Info

Publication number
DE69604349T2
DE69604349T2 DE69604349T DE69604349T DE69604349T2 DE 69604349 T2 DE69604349 T2 DE 69604349T2 DE 69604349 T DE69604349 T DE 69604349T DE 69604349 T DE69604349 T DE 69604349T DE 69604349 T2 DE69604349 T2 DE 69604349T2
Authority
DE
Germany
Prior art keywords
image
cells
images
position shift
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69604349T
Other languages
English (en)
Other versions
DE69604349D1 (de
Inventor
Masakatsu Nunotani
Akira Shindo
Katsuyuki Tanimizu
Tetsuya Yamamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
NTT Com Solutions and Engineering Corp
Original Assignee
N T T FANET SYSTEMS CORP
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by N T T FANET SYSTEMS CORP, Nippon Telegraph and Telephone Corp filed Critical N T T FANET SYSTEMS CORP
Publication of DE69604349D1 publication Critical patent/DE69604349D1/de
Application granted granted Critical
Publication of DE69604349T2 publication Critical patent/DE69604349T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20004Adaptive image processing
    • G06T2207/20012Locally adaptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

    TECHNISCHER BEREICH
  • Die vorliegende Erfindung bezieht sich im allgemeinen auf ein System zum Testen (Inspizieren) des äußeren Erscheinungsbildes von Erzeugnissen unter Nutzung einer Bildverarbeitungstechnologie und im besonderen auf ein Verfahren zum Ausgleich der Positionsverschiebung eines von zwei Bildern gegenüber dem anderen, wobei die beiden Bilder als Gruppen von Pixeldaten erfaßt werden, die als Gradationswerte (sogenannte Graustufenbildwerte) oder Binärdaten vorliegen, und zur Berechnung der Positionsverschiebung von Bildmustern zwischen beiden Bildern anhand derartiger Daten, so daß dieses Verfahren auf Systeme angewandt werden kann, die der Messung von Positionsverschiebungen zwischen Bildern dienen, sowie auf ein auf diesem Verfahren basierendes System zum Testen von Erzeugnissen.
  • HINTERGRUND DER ERFINDUNG
  • Die jüngste Entwicklung der Bildverarbeitungs- und Halbleitertechnologie hat die Automatisierung visueller Inspektionstests von Druckerzeugnissen beschleunigt. Eine Anzahl von Testsystemen, die auf dem Vergleich von Gradations-Bilddaten basieren, befindet sich bereits in der praktischen Anwendung. Das Grundprinzip des Vergleichsverfahrens weist die Schritte der Erfassung eines externen Bildes eines einwandfreien Erzeugnisses als Vergleichsbezug zum Erkennen eines pixelgenauen Unterschiedes des Bildes des zu testenden Erzeugnisses gegenüber dem Bezugsbild und der Bestimmung der Akzeptanz des Erzeugnisses anhand der Größenordnung der Unterschiede auf.
  • Es wurde auch vorgeschlagen, Bildfolgen der Erzeugnisse zu vergleichen, die kontinuierlich in einer zeitlichen Abfolge erfaßt werden.
  • Da in beiden Fällen das Arbeitsprinzip auf der Auswertung der Unterschiede zwischen den beiden Bildern beruht, ist es nach diesen herkömmlichen Verfahren wesentlich, daß keine unzulässigen Positionsverschiebungen zwischen den Bildmustern beider Bilder auftreten. Wenn es zu erheblichen Positionsverschiebungen kommt, führt dies zu verstärkten Unterschiedswerten, und das Erzeugnis würde unvermeidlich als defekt eingestuft. Daher würden sogenannte Pseudo-Defekte so häufig auftreten, daß kein befriedigendes Testverfahren auszuführen wäre.
  • Schon früher wurde deshalb das häufige Auftreten von Pseudo-Defekten dadurch vermieden, daß die Positionsverschiebung zwischen den beiden Bildern mit Bildverarbeitungsmitteln berechnet wurde und je nach der erkannten Positionsverschiebung vor dem Vergleich der beiden Bilder Positionskorrekturen an ihnen vorgenommen wurden. Entsprechend der Größenordnung und der Art der jeweils zu korrigierenden Positionsverschiebung wurde bereits eine Reihe von Verfahren vorgeschlagen. Wenn die Positionsverschiebung auf eine Versetzung in x- und y-Richtung beschränkt ist, kann die Positionsverschiebung Δx und Δy in der x- und y-Richtung durch eine sogenannte Schablonenabstimmung ermittelt werden, wobei ein repräsentativer Bereich eines Bezugsbildes in bezug zur Umgebung des entsprechenden Bereiches des Testbildes gebracht wird. Wenn die Positionsverschiebung des Bildes Vergrößerung/Verkleinerung und Drehung einschließt, kann die Positionskorrektur durch Verwendung eines sogenannten geometrischen Umwandlungsprozesses vorgenommen werden.
  • Die Patentschrift US 4783826 beschreibt ein Musterinspektionssystem, bei dem ein lokaler Bereich eines Erzeugnisses, z. B. einer Platine, abgetastet wird, um ihn durch Bewegen einer Kamera in x- und y-Richtung mit einem Bezugsmuster zu vergleichen. Eine Verschiebung des lokalen Bereichs gegenüber dem Bezugsmuster kann in x-Richtung durch zeitliche Verzögerung am Beginn jeder Abtastzeile und in y-Richtung durch Anpassen der Zeilenzählung ausgeglichen werden.
  • Die Patentschrift US 5023917 beschreibt ein Verfahren zur Musterinspektion, bei dem die Formänderung gegenüber einem Bezugsbild dadurch ausgeglichen wird, daß zunächst der Ort spezifischer Teile des Musters identifiziert wird und dann die Formänderungsbeträge zwischen den spezifischen Teilen interpoliert werden. Fig. 5 zeigt ein konzeptionelles Schema eines typischen geometrischen Umwandlungsprozesses zur Positionskorrektur nach dem herkömmlichen Verfahren, während Fig. 6 ein Flußdiagramm dieses Prozesses darstellt. Eine auf den inneren Unterschieden beruhende Auswertung wird im Hinblick auf ein Bildmuster eines Bezugsbildes vorgenommen, das in einem Bezugsbildspeicher 102 gespeichert ist und vom äußeren Erscheinungsbild eines einwandfreien Erzeugnisses gewonnen wurde. Bereiche in der gewünschten Menge (im weiteren als "Zellen" bezeichnet) werden als Schablonen für die Berechnung der Positionsverschiebung ausgewählt. Die Zellen werden aus Bereichen mit starken inneren Unterschieden, z. B. Bereiche mit Randlinien, ausgewählt.
  • In dem in Fig. 5 dargestellten Beispiel wurden sechs Zellen ausgewählt. Das Bild der äußeren Erscheinung des getesteten Erzeugnisses wird erfaßt und als Testbild im Testbildspeicher 103 gespeichert. Wenn das vollständige Testbild im Testbildspeicher 103 vorhanden ist, wird in einer Abstimmungsberechnungseinheit 104 eine Schablonenabstimmung für jeden der Bereiche des Testbildes vorgenommen, die den Auswahlzellen im Bezugsbild entsprechen, woraufhin die Positionsverschiebung (Δxe, Δye)(e = 1, 2, 3, 4, 5, 6) an jeder der Zellpositionen (Zellbereiche) berechnet wird. Anhand dieser sechs Positionsverschiebungswerte werden die Koeffizienten der geometrischen Umwandlungsgleichung (in diesem Fall eine affinitive Umwandlung) oder die Umwandlungsparameter in einer Umwandlungsparameter-Erzeugungseinheit 105 bestimmt.
  • x0i = T11x1i + T12y1i + T13 - (1)
  • y0i = T21x1i + T22y1i + T23 - (2)
  • wobei x0i : x-Adresse eines Pixels des Bezugsbildes
  • y0i : y-Adresse eines Pixels des Bezugsbildes
  • y1i : x-Adresse eines Pixels des Testbildes, das hinsichtlich des angelegten Bildmusters dem des Bezugsbildes entspricht
  • y1i : y-Adresse eines Pixels des Testbildes, das hinsichtlich des angelegten Bildmusters dem des Bezugsbildes entspricht
  • Tij Umwandlungsparameter
  • Die erzeugte Umwandlungsgleichung wird in einer Adressenumwandlungseinheit 106 gespeichert. Die Pixeladressen (x1i, y1i) des Testbildes, die den vorbestimmten Pixeladressen (x0i, y0i) des Bezugsbildes entsprechen unter der Positionskorrektur unterworfen wurden, werden mittels dieser Umwandlungsgleichung erzeugt. Während des Testvorganges werden somit die Pixel an den Adressen (x1i, y1i) des Testbildes, die mit den Pixeln an den entsprechenden Adressen (x0i, y0i) des Bezugsbildes verglichen werden sollen, einem Komparator 107 zugeführt und die Ergebnisse des Vergleichs der Gradationswerte der Pixel ausgegeben, anhand derer die Positionsverschiebung korrigiert wird, so daß das Testbild als entweder gut oder unbrauchbar bewertet werden kann.
  • Da die Positionsverschiebung mittels eines geometrischen Prozesses erst korrigiert wird, nachdem das gesamte Testbild erfaßt worden ist, und da von der Annahme ausgegangen wird, daß die Vergrößerung/Verkleinerung und die Umsetzung des Bildmusters auf der gesamten Bildfläche einheitlich sind, so daß eine lineare Näherung auf die beiden zu vergleichenden Bilder anwendbar ist, kann nach dem herkömmlichen Verfahren die Positionsverschiebung selbst nach Vornahme der Positionskorrektur nicht vollständig ausgeglichen werden, wenn eine nichtlineare Positionsverschiebung oder eine Positionsverschiebung mit lokaler Vergrößerung/Verkleinerung vorliegt und die Größenordnung der Vergrößerung/Verkleinerung an verschiedenen Stellen des gleichen Bildes unterschiedlich ist. Der auf einer derartigen Bildverarbeitung beruhende Test des äußeren Erscheinungsbildes könnte irrtümlich das Erzeugnis als defekt bewerten, obgleich es ganz normal ist. Da weiterhin die Berechnung der Positionsverschiebung und die Positionskorrektur erst nach der Erfassung des gesamten Bildes vorgenommen werden, ist Speicherplatz für das Speichern des ge samten Bildes erforderlich, was hohe Kosten für das System und eine lange Verarbeitungszeit bedeutet.
  • KURZE ZUSAMMENFASSUNG DER ERFINDUNG
  • Angesichts derartiger Probleme des Standes der Technik besteht ein erstes Ziel der vorliegenden Erfindung darin, ein Verfahren für die Bildabstimmung zu schaffen, das es ermöglicht, die Positionskorrektur selbst im Falle nichtlinearer Positionsverschiebungen vorzunehmen, was beim Stand der Technik nur in ungenügender Weise möglich ist.
  • Ein zweites Ziel der vorliegenden Erfindung besteht darin, ein Verfahren für die Bildabstimmung zu schaffen, das die Positionskorrektur im wesentlichen gleichzeitig mit der Bilderfassung in Echtzeit ohne erhebliche Zeitverzögerung vornehmen kann, die sonst erforderlich wäre, um zunächst das gesamte Bild zu erfassen, bevor irgendeine Positionskorrektur vorgenommen wird.
  • Ein drittes Ziel der vorliegenden Erfindung besteht darin, ein Verfahren für die Bildabstimmung zu schaffen, das den Speicherbedarf für die Speicherung des gesamten Bildes erübrigt und damit die Verarbeitungszeit reduziert und die Kosten für die Hardware senkt.
  • Ein viertes Ziel der vorliegenden Erfindung besteht darin, ein Verfahren für die Bildabstimmung zu schaffen, das eine stabile Positionsabstimmung ohne wesentliche Fehler ermöglicht.
  • Ein fünftes Ziel der vorliegenden Erfindung besteht darin, ein Verfahren für die Bildabstimmung zu schaffen, das gelegentliche Fehler bei der Eingabe ausgleichen kann, ohne bei der Bildabstimmung abnorme Ergebnisse zu erbringen.
  • Ein sechstes Ziel der vorliegenden Erfindung besteht darin, ein Verfahren für die Bildabstimmung zu schaffen, das bei der Ausführung der Schablonenabstimmung den sogenannten Suchbereich verringert, so daß die Verarbeitungszeit deutlich reduziert werden kann, während die Toleranz zur Positionsverschiebung erhöht wird.
  • Diese Ziele werden erfindungsgemäß dadurch erreicht, daß ein Verfahren zur Positionsabstimmung von Bildern geschaffen wird, wobei Bilddaten von zwei Bildern eines identischen Bildmusters verglichen werden, indem Bilddaten eines der Bilder als Bezugsbilddaten verwendet und Positionsverschiebungen zwischen den beiden Bildern ausgeglichen werden, wenn anhand berechneter Unterschiede zwischen ihnen eine Identität beider Bilder festgestellt wird; wobei bei der sequentiellen Übertragung einer horizontalen Abtastzeile oder einer Gruppe horizontaler Abtastzeilen ein Berechnungsprozeß bezüglich der Positionsverschiebung und ein Ausgleichsprozeß bezüglich der Positionsabstimmung auf der Grundlage der berechneten Positionsverschiebung für jeden Zeilenblock ausgeführt werden, der von einer vorbestimmten Anzahl aufeinanderfolgender horizontaler Abtastzeilen in bezug auf die bei den Bilder eines nominell identischen Bildmusters gebildet wird; DADURCH GEKENNZEICHNET, DASS der Berechnungsprozeß bezüglich der Positionsverschiebung die folgenden Schritte aufweist: Aufteilung jedes Zeilenblocks des Bezugsbildes in eine Anzahl von Zellen; Ausführung einer Schablonenabstimmung am Bezugsbild, wobei die Zellen als Schablonen verwendet werden; Auswahl von Zellen zur Berechnung der Positionsverschiebung durch quantitative Bewertung der Ergebnisse der Schablonenabstimmung, wobei die Auswahlzellen in x-, y- und xy-Zellen eingeteilt werden, um die Verschiebung in x-, y- bzw. sowohl x- als auch y-Richtung zu erkennen und sie als solche zu erfassen; Ausführung einer Schablonenabstimmung am anderen Bild, wobei die erfaßten Auswahlzellen als Schablonen verwendet werden, und Berechnung der Positionsverschiebung des anderen Bildes anhand des Ergebnisses der Schablonenabstimmung.
  • Erfindungsgemäß wird ein zweidimensionales Bild, das aus Pixeln besteht, die vertikal als Einzelbits und horizontal entlang jeder Abtastzeile angeordnet sind (Gradationswertdaten oder Binärdaten) in einzelne Zeilenblöcke aufgeteilt, die jeweils eine Anzahl von Abtastzeilen umfassen. Die Berechnung der Positionsverschiebung und die Durchführung der Positionskorrektur wird für jeden Zeilenblock vorgenommen. Im Gegensatz zum Stand der Technik entfällt daher der Speicherbedarf für die Speicherung des gesamten Bildes, und die Verzögerung der Verarbeitungszeit, die sich aus dem Speichern des Gesamtbildes ergeben würde, kann erheblich reduziert werden, wodurch gleichzeitig die Kosten sinken. Auf Grund der Durchführung der Positionskorrektur für jeden Zeilenblock wird es weiterhin möglich, nichtlineare Positionsverschiebungen zu bearbeiten.
  • Nach dem Verfahren zur Positionsabstimmung von Bildern, das vom zweiten Aspekt der vorliegenden Erfindung geschaffen wird, wird bei der Berechnung der Positionsverschiebung für jeden Zeilenblock durch Schablonenabstimmung weiterhin ein neuartiger Algorithmus angewandt, bei dem die Zellen für die Schablonenabstimmung durch die quantitative Bewertung der Ergebnisse der Schablonenabstimmung am Bezugsbild automatisch aus Bereichen ausgewählt werden, die eine optimale Schablonenabstimmung bieten, oder die Zellen werden automatisch so ausgewählt, um als optimale Schablonen zu fungieren. Spezifischer ausgedrückt, wird die Schablonenabstimmung bezüglich des Bezugsbildes ausgeführt, um bestimmte Zellen auszuwählen; die so anhand der quantitativen Bewertung der Ergebnisse der inneren Schablonenabstimmung ausgewählten Zellen werden in drei Arten von Zellen eingeteilt, nämlich x-Zellen, y-Zellen und xy-Zellen je nach der Stabilität der Schablonenabstimmung in x- und y-Richtung, und in dieser Weise erfaßt. Im Ergebnis dessen werden die Zellen aus optimalen Bereichen jeder spezifischen Bildmusters ausgewählt (die Unterscheidung zwischen guter und schlechter Passung ist sehr deutlich, und es kommt im Suchbereich nicht zu Pseudo-Passungen), so daß eine stabile Positionsabstimmung ohne erhebliche Fehler erzielt werden kann.
  • Ein zweiter Aspekt der vorliegenden Erfindung schafft ein Verfahren zur Positionsabstimmung von Bildern, wobei der Berechnungsprozeß bezüglich der Positionsverschiebung folgende Schritte aufweist: Ausführung einer Schablonenabstimmung bezüglich des anderen Bildes unter Verwendung von Auswahlzellen, die durch die Aufteilung jedes Zeilenblockes des Bezugsbildes in eine Anzahl von Zellen gewonnen wurden, als Schablonen; quantitative Bewertung der Ergebnisse der Schablonenabstimmung als gut oder schlecht; Berechnung der Positionsverschiebung der Bilder anhand der als gut bewerteten Ergebnisse der Schablonenabstimmung.
  • Nach dem Verfahren zur Positionsabstimmung von Bildern gemäß dem zweiten Aspekt der vorliegenden Erfindung wird ein neuartiger Algorithmus angewandt, bei dem die Ergebnisse der Schablonenabstimmung zwischen dem Bezugsbild und dem Testbild quantitativ bewertet und die guten Abstimmungsergebnisse zum Erhalt der Positionsverschiebung benutzt werden, während unnormale Positionsverschiebungswerte verworfen werden, so daß Daten, die vermutlich große Fehler enthalten, von der Berechnung ausgeschlossen werden und die Positionsabstimmung innerhalb kurzer Zeit in stabiler Weise ohne Einbeziehung erheblicher Fehler vorgenommen werden kann.
  • Ein dritter Aspekt der vorliegenden Erfindung schafft ein Verfahren zur Positionsabstimmung von Bildern, wobei, wenn eine Anzahl von als Schablone dienenden Zellen oder Auswahlzellen in einem Zeilenblock des Bezugsbildes vorliegt, eine Anzahl guter Abstimmungsergebnisse vorhanden ist und eine Anzahl von Fällen von Positionsverschiebung für einen entsprechenden Zeilenblock des anderen Bildes erkannt wird, das Ergebnis des Berechnungsprozesses bezüglich der Positionsverschiebung den Durchschnitt der Fälle von Positionsverschiebungen darstellt.
  • Nach dem Verfahren zur Positionsabstimmung von Bildern gemäß dem dritten Aspekt der vorliegenden Erfindung entspricht der Korrekturwert bezüglich der Positionsverschiebung für jeden Zeilenblock dem Durchschnitt der Positionsverschiebungswerte der Zellen oder der Auswahlzellen im Zeilenblock, so daß der Korrekturprozeß bezüglich der Positionsverschiebung für jeden Zeilenblock in stabiler Weise mit minimalen Fehlern unter Nutzung eines Minimums an Hardware binnen kurzer Zeit ausgeführt werden kann.
  • Ein vierter Aspekt der vorliegenden Erfindung schafft ein Verfahren zur Positionsabstimmung von Bildern, wobei, wenn die für einen bestimmten Zeilenblock berechnete Positionsverschiebung um mehr als einen Schwellenwert größer als die des vorherigen Zeilenblockes ist, die Positionsverschiebung des betreffenden Zeilenblockes einem vorbestimmten Wert gleichgesetzt wird.
  • Nach dem Verfahren zur Positionsabstimmung von Bildern gemäß dem vierten Aspekt der vorliegenden Erfindung ist es möglich, unerwünschte Ergebnisse zu vermeiden, die auftreten könnten, wenn durch Pseudo-Abstimmung zu große Fehler verursacht werden, oder Fälle erheblicher Positionsverschiebungskorrekturen zu vermeiden, die in dem Sinne erheblich sind, daß der Betrag der Positionsverschiebungskorrektur das tatsächlich Mögliche weit übersteigt.
  • Ein fünfter Aspekt der vorliegenden Erfindung schafft ein Verfahren zur Positionsabstimmung von Bildern, wobei, wenn eine Schablonenabstimmung für einen bestimmten Zeilenblock bezüglich des anderen Bildes unter Nutzung der Zellen oder der Auswahlzellen des Bezugsbildes als Schablonen vorgenommen wird, die Adresse jeder der Zellen des anderen Bildes gemäß der Positionsverschiebung des vorherigen Zeilenblockes bezüglich der Zelle oder der Auswahlzelle des Bezugsbildes an der entsprechenden Adresse ausgeglichen wird.
  • Nach dem Verfahren zur Positionsabstimmung von Bildern gemäß dem fünften Aspekt der vorliegenden Erfindung ist es möglich, den sogenannten Suchbereich bei der Ausführung der Schablonenabstimmung zu verkleinern und die Verarbeitungszeit deutlich zu reduzieren, wobei die Toleranz zur Positionsverschiebung erhöht werden kann, wenn eine Schablonenabstimmung unter Nutzung der Zellen oder der Auswahlzellen des Bezugsbildes bezüglich des entsprechenden Bereiches des Testbildes vorgenommen wird, indem die Adressen des Testbildes entsprechend der Positionsverschiebung im vorherigen Zeilenblock korrigiert werden.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Im Folgenden wird die vorliegende Erfindung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Dabei zeigt:
  • Fig. 1 ein konzeptionelles Schema der ersten Ausführungsform der vorliegenden Erfindung zur Verdeutlichung des Prinzips der Bildpositionsverschiebung;
  • Fig. 2 ein Blockdiagramm zur Verdeutlichung der Struktur und Arbeitsweise der zweiten Ausführungsform der vorliegenden Erfindung;
  • Fig. 3 ein Flußdiagramm der Verarbeitungsprozedur der oben beschriebenen Ausführungsform;
  • Fig. 4 ein Flußdiagramm der Verarbeitungsprozedur der oben beschriebenen Ausführungsform;
  • Fig. 5 ein konzeptionelles Schema der oben beschriebenen Ausführungsform des Erzeugnistestsystems und
  • Fig. 6 ein Flußdiagramm der Verarbeitungsprozedur nach dem Stand der Technik.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
  • Fig. 1 zeigt ein funktionales Blockdiagramm einer ersten Ausführungsform der vorliegenden Erfindung, um das Grundkonzept der Erfindung zu beschreiben. Ein Bezugsbild 1 wird in einer Datenspeichereinrichtung, z. B. einem Bezugsbildspeicher, als zweidimensionale Matrix gespeichert. Die x-Adressen der zweidimensionalen Matrix entsprechen den Bitpositionen entlang der Abtastzeile beim Eingabescannen des Bildes, die y-Adressen den Zeilenpositionen beim Eingabescannen. Alle q-Zeilen der Bildebene werden zu einem Zeilenblock zusammengefaßt, so daß die gesamte Bildebene in n Zeilenblöcke unterteilt werden kann (LB0&sub0;, , LB0k, , LB0n). Jeder Zeilenblock wird in Zellen mit einer Breite von p Bits unterteilt (C0k, C1k, , C2k, , Cmk).
  • Nachdem ein Bezugsbild 1 erfaßt und gespeichert worden ist, wird in jeder der Zellen des Bezugsbildes 1 eine arithmetische Abstimmungsoperation einschließlich einer lokalen Verschiebung ausgeführt; die Zellen, die als Schablone für einen Bewertungsalgorithmus (der weiter unten beschrieben wird) geeignet sind, werden ausgewählt und als Auswahlzellen gespeichert. Im Normalfall werden Zeilen, die deutliche Bildmuster beinhalten, als Auswahlzellen ausgewählt. Im Falle von Fig. 1 werden die schattierten Zellen, die ein kreuzförmiges Bildmuster abdecken, als Auswahlzellen ausgewählt. Die Auswahlzellen umfassen x- Zellen, y-Zellen und xy-Zellen. x-Zellen sind die Auswahlzellen, die nur für die Berechnung von Verschiebungen in x-Richtung von Bedeutung sind und die Muster mit relativ geringen Änderungen in y-Richtung beinhalten (in der Zeichnung nach links abwärts schraffiert). In gleicher Weise sind y-Zellen die Auswahlzellen, die nur für die Berechnung von Verschiebungen in y-Richtung von Bedeutung sind und die Muster mit relativ geringen Änderungen in x-Richtung beinhalten (in der Zeichnung nach rechts abwärts schraffiert). xy-Zellen sind die Auswahlzellen, die für die Berechnung von Verschiebungen in x- und y-Richtung von Bedeutung sind und die Muster mit großen Änderungen in x- und y-Richtung beinhalten (in der Zeichnung kreuzweise schraffiert).
  • Die Adressen der Auswahlzellen werden aufgezeichnet, und ein Auswahlzellen- Adressengenerator 3 erzeugt die Adressen der Auswahlzellen für jeden Zeilenblock synchron zur Eingabe eines Testbildes 2. Wenn zum Beispiel der Zeilenblock LB1K-1 des Testbildes 2 eingegeben wird, erzeugt der Auswahlzellen-Adressengenerator 3 die Adressen (xj, yk) der Auswahlzelle Cjk im Zeilenblock LB0k, so daß die Pixel-Gradationswertdaten der Auswahlzelle Cjk des Bezugsbildes 1 einer arithmetischen Zellabstimmungseinheit 4 zugeführt werden.
  • Zwischenzeitlich werden die vom Auswahlzellen-Adressengenerator 3 erzeugten Adressen (xj, yk) einem Zelladressenwandler 5 zugeführt, um jeweils in eine Adresse (x, + Δ Xk-1, Yk + ΔYk-1) umgewandelt zu werden, wobei die Verschiebungen des vorherigen Zeilen blockes (ΔXk-1, ΔYk-1) hinzuaddiert werden. Die umgewandelten Adressen werden als Adressen des Testbildes 2 erzeugt, bezüglich denen die Zellabstimmung ausgeführt werden soll. Wenn k = 0 ist, können die Werte von ΔXk-1, und ΔYk-1 als (ΔXk-1 = 0 und ΔYk-1 = 0), als Verschiebungen (ΔXk-1 = ΔXn und ΔYk-1 = ΔYn) im letzten Zeilenblock des vorherigen Testbildes (ΔXn Δ Yn)&supmin;¹ oder als (ΔXk-1 = Δα und ΔYk-1 = Δß) gemäß den mit unterschiedlichen Mitteln gemessenen Verschiebungen (Δα, Δß) angegeben werden. Die Pixel-Gradationswertdaten des Testbildes 2 gemäß dieser Adressenzuteilungsanordnung werden der arithmetischen Zellabstimmungseinheit 4 zugeführt, und eine Schablonenabstimmung unter Nutzung der Auswahlzeilen Cjk als Schablonen wird bezüglich der entsprechenden Bereiche des Testbildes 2 vorgenommen. Da die Adressen des Testbildes 2 durch die Verschiebungen der vorherigen Zeilenblöcke ausgeglichen werden, kann der sogenannte Suchbereich für die Schablonenabstimmung an diesem Punkt verkleinert werden, so daß sich die erforderliche Verarbeitungszeit erheblich reduziert. Weiterhin kann die Toleranz bei der Größenordnung der Verschiebungen erhöht werden.
  • Das Ergebnis der Schablonenabstimmung in der arithmetischen Zellabstimmungseinheit 4 besteht aus Daten einer zweidimensionalen räumlichen Aufteilung (einer zweidimensionalen Karte kumulativer Werte), die aus einer zweidimensionalen Matrix kumulativer Werte von Pixelgradationsunterschieden der Zellbereiche im gesamten Suchbereich oder in einem Teil davon gebildet wird, einem Minimalwert Sj von kumulativen Werten von Pixelgradationsunterschieden des Zellbereiches und der relativen Adresse (Δxjk, ΔYjk), um die der Minimalwert Sj erhöht wird. Die relative Adresse (Δxjk, ΔYjk) ist eine Adresse, die sich auf die Adresse (xj, yk) der Auswahlzelle Cjk bezieht. Der Minimalwert Sj wird in einer Bewertungseinheit 6 mit einem Schwellenwert verglichen. Wenn beispielsweise Sj > THS ist (wobei THS ein entweder beliebig zu bestimmender oder durch Berechnen kumulativer Werte von Bildgradationsunterschieden zu ermittelnder Schwellenwert ist), wird das Ergebnis der Schablonenabstimmung als "Ausschuß" festgelegt. In der Bewertungseinheit 6 werden ein Maximalwert, ein Minimalwert, eine Anzahl lokaler Maxima, eine Anzahl lokaler Minima und ein Durchschnittswert aus den zweidimensionalen Verteilungsdaten der kumulativen Werte der Pixelgradationsunterschiede berechnet und bewertet, so daß das Ergebnis der Schablonenabstimmung entweder als gut oder als schlecht bestimmt werden kann. Ist das Ergebnis gut, so wird die Adresse (Δxjk, ΔYjk), die den Minimalwert Sj angibt, an eine Durchschnittsermittlungseinheit 7 weitergeleitet, wo sie in den Durchschnitt der anderen Adressen (Δxrk, ΔYrk) eingerechnet wird, die die Minimalwerte Sr angeben, die durch die Schablonenabstimmung anderer Auswahlzellen im gleichen Zeilenblock ermittelt wurden. Die Positionsverschiebung (Δxk, ΔYk) für den Zeilenblock LB1k wird somit durch die folgenden Gleichungen gegeben.
  • Gemäß einem Beispiel eines umfangreichen Durchschnittsermittlungsprozesses wird ein Vergleich zwischen der aktuellen Positionsverschiebung (&Delta;xk, &Delta;yk), die durch den in den obigen Gleichungen ausgedrückten Durchschnittsermittlungsprozeß gewonnen wurde, mit der Positionsverschiebung (&Delta;xk-1, &Delta;yk-1) des vorherigen Zeilenblockes vorgenommen. Wenn z. B. &Delta;xk - &Delta;xk-1 > 1 ist, ist &Delta;xk = &Delta;xk-1 + 1. In gleicher Weise gilt: wenn &Delta;xk - &Delta;xk-1 < - 1 ist, ist &Delta; xk = &Delta;xk-1 - 1. Durch dieses Vorgehen ist es möglich, die Schwierigkeiten zu vermeiden, die andernfalls auftreten würden, wenn die durch den normalen Durchschnittsermittlungsprozeß gewonnenen Positionsverschiebungen auf Grund von Pseudo-Abstimmungen große Fehler enthalten anders gesagt, ist es möglich, sehr große Positionskorrekturen zu vermeiden, die von der Erkennung sehr großer Positionsverschiebungen herrühren, die erheblich größer sind als die unter normalen Umständen möglichen (während die Positionsverschiebungen zwischen benachbarten Zeilenblöcken normalerweise in der Größenordnung von ± 1 Pixel liegen). Die Positionskorrektur kann weiterhin in gradueller Weise ausgeführt werden, so daß die Kontinuität eines Bildmusters von einem Zeilenblock zum nächsten gleichmäßig gewahrt werden kann.
  • Wenn die Auswahlzelle aus einer x-Zelle besteht, wird &Delta;yjk verworfen. Wenn die Auswahlzelle aus einer y-Zelle besteht, wird &Delta;xjk verworfen. In beiden Fällen wird die Auswahlzelle aus dem Durchschnittsermittlungsprozeß ausgeschlossen. Wenn die Auswahlzellen nicht vorhanden sind oder keine Positionsverschiebung von einem gegebenen Zeilenblock erkannt wird, selbst wenn Auswahlzellen vorhanden sind, wird die Positionsverschiebung (&Delta;xk, &Delta;yk) des aktuellen Zeilenblockes gleich der Positionsverschiebung des vorherigen Zeilenblockes (&Delta;xk-1, &Delta;yk-1) gesetzt.
  • Gemäß der auf diese Weise bestimmten und im Speicher 8 gespeicherten Positionsverschiebung (&Delta;xk, &Delta;yk) wird die Vergleichspixeladresse erzeugt, die der für den Vergleich der Pixel erforderlichen Positionsverschiebung unterzogen wurde. Anders gesagt: Beim Ausführen des Vergleichs bezüglich des Zeilenblockes LB1k des Testbildes 2 werden die Gradationswertdaten des betreffenden Pixels des Testbildes 2 zum Komparator 11 entsprechend der Adresse (x, y) des Testbildes 2 geleitet, die vom Vergleichspixel- Adressengenerator 9 erzeugt wurde. Zwischenzeitlich wird die Pixeladresse (xk, yk) des Bezugsbildes 1, die der Adresse dieses betreffenden Pixels des Testbildes entspricht, berechnet.
  • Wenn als Ergebnis einer Zellabstimmung im Bildmuster eine Positionsverschiebung festgestellt wurde und das Bildmuster in benachbarte Zeilenblöcke hineinreicht, kann die Positionskorrektur bezüglich der benachbarten Zeilenblöcke durchgeführt werden. Wenn beispielsweise eine Adresse des k-ten Zeilenblockes korrigiert werden soll, kann der Betrag der Positionskorrektur aus den Beträgen für jeden einzelnen der benachbarten Zeilenblöcke oder ...k-1, k, k+1, ...ten Zeilenblöcke ausgewählt werden.
  • Die Bezugspixeladresse (xk, yk) kann somit durch die folgenden Gleichungen gegeben werden (unter der Annahme, daß die (k + 1)te Adresse ausgewählt wurde):
  • xk = x - &Delta;Xk+1 ----- (3)
  • yk = y - &Delta;Yk&sbplus;&sub1; ---- (4)
  • wobei, wenn k = n (oder im Falle des letzten Zeilenblockes) gilt:
  • xk = x - &Delta;Xn
  • yk = y - &Delta;Yn
  • Falls erforderlich, können die Gleichungen (3) und (4) auch durch folgende Gleichungen ersetzt werden (wenn der k-te Zeilenblock gewählt wird):
  • xk = x - &Delta;Xk
  • yk = y - &Delta;Yk
  • Gemäß der oben gewonnenen Bezugspixeladresse (xk, yk) werden die Gradationswertdaten des Bezugspixels zum Komparator 11 geleitet. Auf diese Weise wird die Vergleichsberechnung bezüglich der Pixel vorgenommen, die in ihrer Position zwischen dem Bezugsbild und dem Testbild abgestimmt wurden.
  • Im Folgenden wird eine zweite Ausführungsform der erfindungsgemäßen Bildabstimmung unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Fig. 2 zeigt ein funktionales Blockdiagramm der zweiten Ausführungsform.
  • In der Zeichnung bezeichnet REM den Bezugsbildspeicher, der in der Lage ist, das vollständige Bezugsbild aufzunehmen. LBM bezeichnet den Zeilenblock-Pufferspeicher, der in der dargestellten Ausführungsform drei Zeilenblöcke umfaßt. Diese Zahl kann jedoch je nach Bedarf wie z. B. Suchbereich und Verarbeitungsgeschwindigkeit bei der Schablonenabstimmung frei geändert werden. Der Bezugsbildspeicher REM, der Zeilenblock- Pufferspeicher LBM usw. können je nach Bedarf aus wahlfreiem Zugriffsspeicher (RAM) oder First-in-first-out- (FIFO-) Speicher bestehen.
  • Eine arithmetische Zellabstimmungseinheit CMU erhält von der Eingabe A Auswahlzellbilder, die als Schablonen dienen, von der Eingabe B das zu suchende Bild, wobei das zu suchende Bild von einem weiter unten beschriebenen Selektor SEL geliefert wird. Die Ausgabe der arithmetischen Zellabstimmungseinheit CMU besteht aus einer Gruppe kumulativer Pixelunterschiedswerte aus dem gesamten Suchbereich für jede einzelne Verschiebung und einem Positionsverschiebungswert (relative Adresse), der den Minimalwert S der kumulativen Werte ergibt. SEL bezeichnet den Selektor, der an die Eingabe B der arithmetischen Zellabstimmungseinheit CMU während des Prozesses der Erfassung des Bezugsbildes ein Bezugsbild und während des Testprozesses ein Testbild schickt. ADD bezeichnet einen Zelladreßwandler, der die Adressen des Testbildes erzeugt, anhand derer die Schablonenabstimmung gemäß den Adressen vorgenommen werden soll, die von einer hiernach beschriebenen Auswahlzellregistertabelle SCT geliefert werden.
  • MEU bezeichnet eine Abstimmungsfehlerbewertungseinheit, die das Ergebnis der Schablonenabstimmung für jede der Auswahlzellen bestimmt, indem sie die Größe des Minimalwertes S bewertet, die das Ausmaß der Fehlabstimmung während des Testprozesses widerspiegelt. Der Bewertungsbezug kann auf einem frei gewählten Schwellenwert oder einem Schwellenwert basieren, der statistisch entsprechend der Gruppe kumulativer Werte bestimmt wird. Alternativ kann er auch von einer arithmetischen Mehrzweckeinheit MPU bestimmt werden.
  • AVU bezeichnet eine durchschnittsermittelnde Berechnungseinheit, die eine Rechenschaltung für das Finden eines Durchschnittswertes der Positionsverschiebungen einer Anzahl von Zellen in jedem Zeilenblock während des Testprozesses und optional einen Komparator zum Vergleich der Positionsverschiebungen mit denen des vorherigen Zeilenblockes aufweist. DAM bezeichnet einen Positionsverschiebungsspeicher, der mindestens die Positionsverschiebungen des aktuellen Zeilenblockes und des vorherigen Zeilenblockes speichert.
  • CEU bezeichnet eine Auswahlzellbewertungseinheit, die die Auswahlzellen bestimmt und sie je nach der spezifischen Verteilung der Gruppe kumulativer Werte und der Größenordnungen der kumulativen Werte, die vom Minimalwert S abweichen, in drei Kategorien klassifiziert. CST bezeichnet eine Bestimmungstabelle für die Zellbewertungsreihenfolge, die bestimmt, welche der Zellen bewertet werden sollten und in welcher Reihenfolge die zu bewertenden Zeilen bei der Bewertung aller Zellen jedes Zeilenblockes zu Auswahlzwecken durch innere Schablonenabstimmung in sequentieller Weise bewertet werden sollen. Um lokale Ungleichmäßigkeit bei der Zellauswahl zu vermeiden, wird die Reihenfolge normalerweise nach dem Zufallsprinzip festgelegt. Da es manchmal von Vorteil ist, die Orte der zu bewertenden Auswahlzellen anhand der Art des Bildmusters zu kontrollieren, kann zugelassen werden, die Zellorte frei von der weiter unten beschriebenen arithmetischen Mehrzweckeinheit MPU bestimmen zu lassen. SCT bezeichnet eine Auswahlzellregistertabelle, die dem Auswahlzelladressengenerator entspricht und die Funktion der Erfassung der Adressen und der Klassifizierung aller Auswahlzellen nach der Eingabe des Bezugsbildes und dem nachfolgenden Zellauswahlprozeß wahrnimmt.
  • MAG bezeichnet einen komparativen Pixeladressengenerator, der synchron zur Startzeit und zur Zeilenstartzeit des Eingabebildes Adressen und einen Pixelzeittakt erzeugt und ausgibt. SUB bezeichnet einen Subtraktor, der dem komparativen Pixeladressengenerator entspricht und Adressen erzeugt, indem er die im Positionsverschiebungsspeicher DAM gespeicherten Positionsverschiebungen von den komparativen Pixeladressen subtrahiert, die vom weiter unten beschriebenen komparativen Pixeladressengenerator während des Testprozesses erzeugt wurden, und indem er sie als komparative Pixeladressen des Bezugsbildspeichers REM verwendet. PCU bezeichnet einen Pixelkomparator, der eine arithmetische Vergleichsoperation bezüglich der Pixelgradationswertdaten der Pixel ausführt, die im Bezugsbildspeicher REM oder im (in der Zeichnung nicht dargestellten) Speicher mit dem gleichen Adressenraum wie REM gespeichert sind und einer Positionskorrektur mit den im Zeilenblock-Pufferspeicher LBM gespeicherten Pixeln unterworfen wurden.
  • MPU bezeichnet eine arithmetische Mehrzweckeinheit, die die Betriebsbedingungen und die Daten für die Funktionsblöcke festlegt und die Steuerung des Gesamtbetriebes der Funktionsblöcke übernimmt.
  • Im Folgenden wird die Arbeitsweise der obigen Ausführungsform beschrieben. Fig. 3 zeigt ein Flußdiagramm zur Beschreibung der Arbeitsweise.
  • Beim ersten Schritt, der Bezugserfassung, wird das Eingabebild im Bezugsbildspeicher REM gespeichert und dort gehalten. Dann werden die Zellen an den von der Zellbewertungsreihenfolgentabelle CST bezeichneten Adressen vom Bezugsbildspeicher REM zur arithmetischen Zellabstimmungseinheit CMU übertragen, wo die Zellabstimmung ausgeführt wird. Der Auswahlzellbewertungseinheit CEU werden kumulative Werte von Pixelunterschieden zwecks Bewertung und entsprechender Klassifizierung zugeleitet, und die Auswahlzellen werden in der Auswahlzellerfassungstabelle SCT erfaßt. Damit ist der Schritt der Bezugserfassung abgeschlossen.
  • Danach wird das Testbild zeilenblockweise dem Zeilenblock-Pufferspeicher LBM zugeführt, und der Teil des Testbildes an den Testbildadressen, die durch Umwandlung der von der Auswahlzellerfassungstabelle SCT bezeichneten Adressen erzeugt wurden, wird der arithmetischen Zellabstimmungseinheit CMU über den Selektor SEL zugeführt. Zwischenzeitlich werden die Auswahlzellen an den von der Auswahlzellerfassungstabelle SEL bezeichneten Adressen der arithmetischen Zellabstimmungseinheit CMU vom Bezugsbildspeicher REM zugeführt. Danach findet die Schablonenabstimmung bezüglich der Auswahlzellen statt, und Daten wie z. B. kumulative Pixelunterschiedswerte werden der Abstimmungsfehlerbewertungseinheit MEU zwecks Bewertung durch letztere zugeführt. Die Bewertungsergebnisse bezüglich einer Anzahl von Auswahlzellen werden durch die arithmetische Durchschnittsermittlungseinheit AVU auf einen Durchschnittswert gebracht; die Positionsverschiebung im entsprechenden Zeilenblock werden berechnet und dem Positionsverschiebungsspeicher DAM zugeführt und dort gehalten.
  • Der Vergleich von Pixeln im Bezugs- und im Testbild wird gemäß der folgenden Beschreibung vorgenommen. Dem Zeilenblock des Testbildes, der im Zeilenblock- Pufferspeicher LBM gespeichert wurde, wird eine Zeitverzögerung gegeben, bis die notwendigen Positionsverschiebungen ermittelt sind, woraufhin er sequentiell dem Pixelkomparator PCU zugeführt wird. Die im Bezugsbildspeicher REM gespeicherten und dem obigen Zeilenblock entsprechenden Pixel werden dem Pixelkomparator PCU zugeführt und mit den entsprechenden Pixeln des Testbildes im Pixelkomparator PCU verglichen. Die Adressen der für den Vergleich bestimmten Pixel werden von dem Vergleichspixeladressengenerator MAG erzeugt und dem Zeilenblock-Pufferspeicher LBM sowie dem Bezugsbildspeicher REM zugeführt. Die dem Bezugsbildspeicher REM zugeführten Adressen werden im Subtraktor SUB einem Berechnungsprozeß zur Positionsverschiebungskorrektur unterzogen. Das mit dem Testbild zu vergleichende Bild ist nicht auf das im Bezugsbildspeicher REM gespeicherte Bild beschränkt, sondern kann auch ein extern gespeichertes Bild sein. Abhängig vom jeweiligen Fall kann deshalb die Ausgabe des Subtraktors SUB in Form von Positionskorrekturwerten nach außerhalb des Systems geschickt werden.
  • In dieser Ausführungsform wurden die Pixeladressen des Bezugsbildspeichers REM anhand der Pixeladressen des als Bezug dienenden Zeilenblock-Pufferspeichers LBM korrigiert. Da die Pixeladressen jedoch als relative Adressen zwischen beiden Bildern behandelt werden, kann der Bezug der Adressen auf die Pixeladressen des Bezugsbildspeichers REM festgesetzt werden.
  • Im folgenden wird eine Ausführungsform der Erzeugnistestvorrichtung beschrieben, die das erfindungsgemäße Bildpositions-Abstimmungsverfahren verwendet.
  • Fig. 4 zeigt sowohl die Struktur als auch die Arbeitsweise dieser Ausführungsform. Die Referenzzahl 21 bezeichnet eine Kamera zur Erfassung des äußeren Erscheinungsbildes des zu testenden Erzeugnisses 22, wobei das Bild auch etwaige Aufdrucke auf diesem Erzeugnis enthalten kann. Das von der Kamera 21 erfaßte Bild wird sequentiell und zeilen blockweise einer Bildpositionsabstimmungseinheit 23 zugeführt. Die Positionsabstimmungseinheit 23 kann so aufgebaut sein wie in Fig. 1 und 2. Sie berechnet die Unterschiede zwischen dem vorher aufgezeichneten Bezugsbild und dem von der Kamera 21 eingegebenen Bild, wobei auf der Grundlage der Positionsabstimmung Korrekturen für jeden Zeilenblock vorgenommen werden, und erzeugt einen Minimalwert als Unterschiedswert. Die Referenzzahl 24 bezeichnet eine Bestimmungseinheit zur Bestimmung, ob der von der Bildpositionsabstimmungseinheit erzeugte Unterschied größer ist als der Schwellenwert, um daraus abzuleiten, ob im äußeren Erscheinungsbild des Erzeugnisses 22 oder dem Inhalt der darauf befindlichen Aufdrucke Fehler vorliegen.
  • Gemäß der oben beschriebenen Ausführungsformen der vorliegenden Erfindung wurde die Erfindung bei Tests von Erzeugnissen eingesetzt, die auf dem Vergleich der Pixel zweier Bilder beruhten. Die vorliegende Erfindung kann jedoch gleichermaßen in anderen Anwendungen eingesetzt werden, bei denen es darum geht, Positionsverschiebungen rasch und mit hoher Präzision zu messen, z. B. bei der Fluktuationsmessung von Geschwindigkeit, seitlicher Abweichung und Positionsverschiebung auf dem Gebiet des Weitertransportes eines Erzeugnisses bei festgelegter Geschwindigkeit.
  • Wie der obigen Beschreibung zu entnehmen ist, kann nach dem Algorithmus des erfindungsgemäßen Bildpositionsverschiebungsverfahrens, das sequentiell die Positionsverschiebungen jedes der Zeilenblöcke, die das Bild in eine Anzahl gleicher Teile aufteilen, weil die Positionsverschiebung zwischen dem Bezugsbild und dem Testbild für jeden Zeilenblock in x- und y-Richtung ausgeführt wird, selbst wenn das Testbild nichtlineare Verschiebungen und Vergrößerungen/Verkleinerungen aufweist, eine Positionsabstimmung mit minimalen Fehlern vorgenommen und ein hoher Grad an Zuverlässigkeit erreicht werden. Da die Positionsverschiebungen innerhalb einer begrenzten Verzögerungszeit entsprechend einiger weniger Zeilenblöcke berechnet werden kann (Da jeder Zeilenblock normalerweise aus einigen wenigen Dutzend Zeilen besteht und das Bild typischerweise Hunderte oder Tausende Zeilen breit ist, wird diese Zeitverzögerung auf nur einen Bruchteil der Zeit geschätzt, die nötig wäre, um das gesamte Bild einzugeben), kann die vergleichende Berechnung der Pixel weiterhin im wesentlichen gleichzeitig mit der Eingabe des Bildes erfolgen, wodurch sich die für den Testprozeß erforderliche Zeitspanne extrem kurz halten läßt. Da beim herkömmlichen Verfahren der Testprozeß erst starten kann, nachdem das gesamte Bild eingelesen worden ist, kann die vorliegende Erfindung eine erhebliche Verkürzung der Verarbeitungszeit bewirken. Da weiterhin das Testbild überflüssig wird, sobald die Berechnung der Positionsverschiebung und der Pixelvergleich abgeschlossen sind, kann das Testbild für jeden Zeilenblock erneuert werden, wobei nur wenige Zeilenblöcke des Testbildes zu einem bestimmten Zeitpunkt im Speicher zu halten sind. Daher kann der für das Speichern des Test bildes benötigte Bildspeicher auf einen Bruchteil des Umfanges beschränkt werden, der für das Speichern des gesamten Bildes erforderlich wäre.
  • Bei dem erfindungsgemäßen Positionsabstimmungsverfahren können die Positionsverschiebungen eines bestimmten Zeilenblockes einem vorbestimmten Wert gleichgesetzt werden, wenn die im Schritt der Berechnung der Positionsverschiebung des Bildes für diesen Zeilenblock berechnete Positionsverschiebung um mehr als einen Schwellenwert größer ist als die des vorherigen Zeilenblockes. In einem derartigen Fall ist es möglich, unerwünschte Ergebnisse zu vermeiden, die auftreten könnten, wenn durch Pseudo-Abstimmung ein zu großer Fehler entsteht, oder die Fälle einer zu starken Positionsverschiebungskorrektur zu vermeiden, die in dem Sinne zu stark sind, daß der Betrag der Positionsverschiebungskorrektur das tatsächlich Mögliche bei weitem überschreitet, und die Positionsverschiebungskorrektur kann graduell vorgenommen werden, sodaß die Verbindung des Bildes zwischen den Zeilenblöcken selbst nach ausgeführter Positionsverschiebungskorrektur gleichmäßig bleibt.
  • Bei dem erfindungsgemäßen Positionsabstimmungsverfahren kann, wenn eine Schablonenabstimmung für einen bestimmten Zeilenblock bezüglich des Testbildes unter Nutzung der Zellen oder Auswahlzellen des Bezugsbildes als Schablonen vorgenommen wird, die Adresse jeder der Zellen des Testbildes anhand der Positionsverschiebung des vorherigen Zeilenblockes gegenüber der Zelle oder Auswahlzelle des Bezugsbildes an der entsprechenden Adresse ausgeglichen, der sogenannte Suchbereich bei der Ausführung der Schablonenabstimmung eingeengt und die Verarbeitungszeit deutlich reduziert werden, während sich die Toleranz bei der Positionsverschiebung erhöhen läßt.
  • Bei dem erfindungsgemäßen Positionsabstimmungsverfahren kann, wenn der Positionsabstimmungsausgleich für jeden Zeilenblock anhand der Positionsverschiebung eines der dem aktuellen Zeilenblock vorausgehenden oder ihm folgenden Zeilenblockes erfolgt, die Akkumulation der Positionsverschiebung gebührend berücksichtigt werden.
  • Das erfindungsgemäße System zur Erzeugnistestung benutzt Bilderfassungsmittel für die sequentielle Eingabe einer horizontalen Abtastzeile oder einer Gruppe horizontaler Abtastzeilen eines Bildes eines zu testenden Erzeugnisses, Positionsverschiebungsberechnungsmittel zur Berechnung der Positionsverschiebung eines Bildes auf der Grundlage einer für jeden Zeilenblock, der aus einer vorbestimmten Anzahl benachbarter horizontaler Abtastzeilen des Testbildes und eines Bezugsbildes besteht, durchgeführten Zellenabstimmung, Ausgleichsmittel zum Ausgleich der Positionsverschiebung des Testbildes gegenüber dem Bezugsbild gemäß der vom Positionsverschiebungsberechnungsmittel berechneten Positionsverschiebung, und Unterschiedsberechnungsmittel zum Vergleich des Testbildes, für das die Positionsverschiebung ausgeglichen wurde, mit dem Bezugsbild und zur Gewin nung von Unterschiedswerten zwischen beiden, so daß jedes Erzeugnis auf das Vorliegen oder Fehlen von Defekten geprüft werden kann, indem die Identität der beiden Bilder anhand der berechneten Unterschiede zwischen ihnen bestimmt wird. Die Form des Erzeugnisses und des Bildmusters auf dem Erzeugnis können daher in Echtzeit mit einem minimalen Aufwand an Hardware schnell bewertet werden, wobei das Vorhandensein nichtlinearer Bildpositionsverschiebungen toleriert wird.

Claims (5)

1. Verfahren zur Positionsabstimmung von Bildern, wobei Bilddaten von zwei Bildern eines identischen Bildmusters verglichen werden, indem Bilddaten eines der Bilder als Bezugsbilddaten verwendet und Positionsverschiebungen zwischen den beiden Bildern ausgeglichen werden, wenn eine Identität der beiden Bilder anhand berechneter Unterschiede zwischen ihnen festgestellt wird;
wobei, da eine horizontale Abtastlinie oder eine Gruppe horizontaler Abtastlinien sequentiell übermittelt wird, ein Prozeß der Positionsverschiebungsberechnung für die Bilder und ein Prozeß des Positionsabstimmungsausgleichs auf der Grundlage der berechneten Positionsverschiebung für jeden Zeilenblock, der aus einer vorbestimmten Zahl aufeinanderfolgender horizontaler Abtastlinien bezüglich der beiden Bilder eines nominell identischen Bildmusters ausgeführt wird;
DADURCH GEKENNZEICHNET, DASS
der Prozeß zur Berechnung der Positionsverschiebung folgende Schritte aufweist:
Aufteilung jedes Zeilenblocks des Bezugsbildes in eine Anzahl von Zellen;
Ausführung einer Schablonenabstimmung am Bezugsbild, wobei die Zellen als Schablonen verwendet werden;
Auswahl von Zellen zur Berechnung der Positionsverschiebung durch quantitative Bewertung der Ergebnisse der Schablonenabstimmung;
Einteilung der Auswahlzellen in x-, y- und xy-Zellen zum Erkennen der Verschiebung in x-, y- beziehungsweise sowohl x- als auch y-Richtung und zu ihrer Erfassung als solche;
Ausführung einer Schablonenabstimmung am anderen Bild, wobei die erfaßten Auswahlzellen als Schablonen verwendet werden, und Berechnung der Positionsverschiebung des anderen Bildes anhand des Ergebnisses der Schablonenabstimmung.
2. Verfahren zur Positionsabstimmung von Bildern nach Anspruch 1, dadurch gekennzeichnet, daß der Prozeß zur Berechnung der Positionsverschiebung die folgenden Schritte aufweist:
Ausführung einer Schablonenabstimmung bezüglich des anderen Bildes unter Verwendung von Auswahlzellen, die durch die Aufteilung jedes Zeilenblockes des Bezugsbildes in eine Anzahl von Zellen gewonnen wurden, als Schablonen;
quantitative Bewertung der Ergebnisse der Schablonenabstimmung als gut oder schlecht;
Berechnung der Positionsverschiebung der Bilder anhand der als gut bewerteten Ergebnisse der Schablonenabstimmung.
3. Verfahren zur Positionsabstimmung von Bildern nach Anspruch 2, dadurch gekennzeichnet, daß, wenn eine Anzahl von als Schablonen dienenden Zellen oder Auswahlzellen in einem Zeilenblock des Bezugsbildes vorliegt, eine Anzahl guter Passungsergebnisse vorhanden ist und eine Anzahl von Fällen einer Positionsverschiebung für einen entsprechenden Zeilenblock des anderen Bildes gewonnen wurde, das Ergebnis des Prozesses zur Berechnung der Positionsverschiebung als Durchschnittswert der Fälle von Positionsverschiebung gegeben wird.
4. Verfahren zur Positionsabstimmung von Bildern nach Anspruch 1, dadurch gekennzeichnet, daß, wenn die für einen bestimmten Zeilenblock berechnete Positionsverschiebung um mehr als einen Schwellenwert größer ist als die des vorherigen Zeilenblockes, die Positionsverschiebung des bestimmten Zeilenblockes mit einem vorbestimmten Wert gleichgesetzt wird.
5. Verfahren zur Positionsabstimmung von Bildern nach Anspruch 1, dadurch gekennzeichnet, daß, wenn eine Schablonenabstimmung für einen bestimmten Zeilenblock bezüglich des anderen Bildes vorgenommen wird, indem die Zellen oder Auswahlzellen des Bezugsbildes als Schablonen verwendet werden, die. Adresse jeder der Zellen des anderen Bildes anhand der Positionsverschiebung des vorhergehenden Zeilenblockes bezüglich der Zelle oder Auswahlzelle des Bezugsbildes an der entsprechenden Adresse ausgeglichen wird.
DE69604349T 1995-07-20 1996-07-17 Verfahren zur Bildübereinstimmung Expired - Lifetime DE69604349T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18365495A JP3725207B2 (ja) 1995-07-20 1995-07-20 画像位置合わせ方法及びそれを用いる製品検査装置

Publications (2)

Publication Number Publication Date
DE69604349D1 DE69604349D1 (de) 1999-10-28
DE69604349T2 true DE69604349T2 (de) 2000-02-03

Family

ID=16139595

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69604349T Expired - Lifetime DE69604349T2 (de) 1995-07-20 1996-07-17 Verfahren zur Bildübereinstimmung

Country Status (4)

Country Link
US (1) US6005977A (de)
EP (1) EP0755024B1 (de)
JP (1) JP3725207B2 (de)
DE (1) DE69604349T2 (de)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5966126A (en) * 1996-12-23 1999-10-12 Szabo; Andrew J. Graphic user interface for database system
DE19727471C1 (de) * 1997-06-27 1998-12-17 Siemens Ag Verfahren zur automatischen Intensitätseinstellung einer Beleuchtung für Einrichtungen zur Lageerkennung und/oder Qualitätskontrolle bei der automatischen Bestückung von Bauelementen
US7006708B1 (en) 1998-06-23 2006-02-28 Sharp Kabushiki Kaisha Image processor, image processing method, and medium on which image processing program is recorded
EP1018708B1 (de) * 1999-01-06 2015-03-11 National Instruments Corporation Anordnung und Verfahren zur Stichprobenauswahl und/oder Platzierung von Objekten mittels Sequenzen niedriger Abweichung
JP4392886B2 (ja) * 1999-01-22 2010-01-06 キヤノン株式会社 画像抽出方法及び装置
US6888958B1 (en) * 1999-03-30 2005-05-03 Kabushiki Kaisha Toshiba Method and apparatus for inspecting patterns
WO2001022070A1 (en) * 1999-09-20 2001-03-29 Matsushita Electric Industrial Co., Ltd. Method and system of lcd inspection by pattern comparison
EP1089214A3 (de) * 1999-09-30 2005-01-26 Matsushita Electric Industrial Co., Ltd. Gerät und Verfahren zur Bilderkennung
US6642961B1 (en) * 2000-07-12 2003-11-04 Vanguard International Semiconductor Corp. Method of defective pixel address detection for image sensors having windowing function
US6404905B1 (en) 2000-08-31 2002-06-11 Large Scale Proteomics Corp. Method and apparatus for impressing a master pattern to a gel image
US6785419B1 (en) * 2000-12-22 2004-08-31 Microsoft Corporation System and method to facilitate pattern recognition by deformable matching
US6845178B1 (en) * 2001-06-27 2005-01-18 Electro Scientific Industries, Inc. Automatic separation of subject pixels using segmentation based on multiple planes of measurement data
JP4275345B2 (ja) * 2002-01-30 2009-06-10 株式会社日立製作所 パターン検査方法及びパターン検査装置
US20040145784A1 (en) * 2003-01-28 2004-07-29 Murray David K. Scanner apparatus with field segmentation and method of operating the same
CA2540084A1 (en) * 2003-10-30 2005-05-12 Nec Corporation Estimation system, estimation method, and estimation program for estimating object state
US7796800B2 (en) * 2005-01-28 2010-09-14 Hewlett-Packard Development Company, L.P. Determining a dimensional change in a surface using images acquired before and after the dimensional change
US8238635B2 (en) * 2008-03-21 2012-08-07 General Electric Company Method and system for identifying defects in radiographic image data corresponding to a scanned object
US8644581B2 (en) * 2008-11-04 2014-02-04 Beckman Coulter, Inc. Systems and methods for cellular analysis data pattern global positioning
JP5494330B2 (ja) * 2010-07-26 2014-05-14 富士ゼロックス株式会社 画像処理装置及びプログラム
JP5603720B2 (ja) * 2010-09-13 2014-10-08 新日本工機株式会社 検査画像の生成方法、それを用いた画像検査方法、並びに外観検査装置
JP6468415B2 (ja) 2013-10-16 2019-02-13 富士ゼロックス株式会社 画像処理装置及び画像処理プログラム
US9258446B2 (en) 2013-10-16 2016-02-09 Fuji Xerox Co., Ltd. Image processing apparatus
US10445616B2 (en) 2015-01-22 2019-10-15 Bae Systems Information And Electronic Systems Integration Inc. Enhanced phase correlation for image registration
US10274958B2 (en) * 2015-01-22 2019-04-30 Bae Systems Information And Electronic Systems Integration Inc. Method for vision-aided navigation for unmanned vehicles
CN108355987B (zh) * 2018-01-08 2019-10-11 西安交通大学 一种基于分块模板匹配的电池丝印质量检测方法
DE102018220236A1 (de) * 2018-11-26 2020-05-28 Heidelberger Druckmaschinen Ag Schnelle Bildentzerrung für Bildinspektion

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5313840A (en) * 1976-07-23 1978-02-07 Hitachi Ltd Analogy calculator
US4473293A (en) * 1979-04-03 1984-09-25 Optimetrix Corporation Step-and-repeat projection alignment and exposure system
US4443096A (en) * 1981-05-18 1984-04-17 Optimetrix Corporation On machine reticle inspection device
US4499595A (en) * 1981-10-01 1985-02-12 General Electric Co. System and method for pattern recognition
US4614430A (en) * 1983-04-28 1986-09-30 Hitachi Ltd. Method of detecting pattern defect and its apparatus
GB2177834B (en) * 1985-07-02 1988-11-16 Ferranti Plc Pattern detection in two dimensional signals
US5067162A (en) * 1986-06-30 1991-11-19 Identix Incorporated Method and apparatus for verifying identity using image correlation
US4783826A (en) * 1986-08-18 1988-11-08 The Gerber Scientific Company, Inc. Pattern inspection system
US5023917A (en) * 1988-08-15 1991-06-11 At&T Bell Laboratories Method and apparatus for pattern inspection
US5321772A (en) * 1990-03-05 1994-06-14 Honeywell Inc. Digital image processor
JPH03260782A (ja) * 1990-03-09 1991-11-20 Eastman Kodak Japan Kk パターン認識装置
US5495535A (en) * 1992-01-31 1996-02-27 Orbotech Ltd Method of inspecting articles
WO1995000337A1 (en) * 1993-06-17 1995-01-05 The Analytic Sciences Corporation Automated system for print quality control

Also Published As

Publication number Publication date
EP0755024A2 (de) 1997-01-22
JPH0935063A (ja) 1997-02-07
US6005977A (en) 1999-12-21
DE69604349D1 (de) 1999-10-28
EP0755024B1 (de) 1999-09-22
JP3725207B2 (ja) 2005-12-07
EP0755024A3 (de) 1997-05-02

Similar Documents

Publication Publication Date Title
DE69604349T2 (de) Verfahren zur Bildübereinstimmung
DE3587846T2 (de) Verfahren und Gerät zum Prüfen der Geometrie von Mehrschichtmustern für integrierte Schaltungsstrukturen.
DE102014205726B4 (de) Verfahren zum bestimmen von profildaten für ein kantenmerkmal in einem inspektionssystem mit maschineller bildverarbeitung
DE60100594T2 (de) Verfahren und system zur aufspürung von fehlern auf einer gedruckten leiterplatte
DE3687220T2 (de) Verfahren und vorrichtung zur detektion von musterfehlern.
DE3248928C2 (de)
DE3210814C2 (de) Verfahren zum Bestimmen einer optimalen Schwelle für die Umsetzung eines Videosignals in ein Binärsignal und Schaltungsanordnung zur Durchführung des Verfahrens
DE69131591T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE2404183C3 (de) Vorrichtung zur Erkennung der Lage eines Musters
DE19526194C2 (de) Verfahren zur Feststellung eines Fehlers eines ICs unter Verwendung eines Strahls geladener Teilchen
DE4108288C2 (de)
DE69323512T2 (de) Verfahren und Vorrichtung zur Bestimmung einer Fehlregistrierung
DE3686386T2 (de) Verfahren und vorrichtung zur mustermaskierung.
DE4416801A1 (de) Verfahren und Vorrichtung zur Mustererkennung
DE69921277T2 (de) System und Verfahren zur Fehlererkennung in einer elektrischen Schaltung durch Ruhestromanalyse
DE3879015T2 (de) Verfahren und vorrichtung zur ueberfruefung von lochmaskenplatten.
DE112011104912B4 (de) Rasterelektronenmikroskop
WO1999064815A1 (de) Verfahren zur bestimmung des abstandes p einer kante eines strukturelementes auf einem substrat
DE2753593A1 (de) Vorrichtung zur automatischen aussenpruefung von objekten
DE69132285T2 (de) Verfahren und Gerät zur Bilddateninspektion
WO2007079934A2 (de) Verfahren und system zur optischen inspektion einer periodischen struktur
DE102007025304B4 (de) Verfahren zur Verbesserung der Reproduzierbarkeit einer Koordinaten-Messmaschine und deren Genauigkeit
DE69228514T2 (de) Gerät zur Bestimmung einer Bildhandbewegung
DE2256617C3 (de) Einrichtung zur Analyse einer Vorlage
DE102011012929B4 (de) Bildmessvorrichtung, Bildmessverfahren und Computerprogrammprodukt

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
R081 Change of applicant/patentee

Ref document number: 755024

Country of ref document: EP

Owner name: N.T.T. FANET SYSTEMS CORP., JP

Free format text: FORMER OWNER: NIPPON TELEGRAPH AND TELEPHONE , N.T.T. FANET SYSTEMS CORP., , JP

Effective date: 20121001

Ref document number: 755024

Country of ref document: EP

Owner name: NTT COM SOLUTION & ENGINEERING CORP., JP

Free format text: FORMER OWNER: NIPPON TELEGRAPH AND TELEPHONE , N.T.T. FANET SYSTEMS CORP., , JP

Effective date: 20121001

Ref document number: 755024

Country of ref document: EP

Owner name: NIPPON TELEGRAPH AND TELEPHONE CORP., JP

Free format text: FORMER OWNER: N.T.T. FANET SYSTEMS CORP., NTT COM SOLUTION & ENGINEERING, , JP

Effective date: 20121031

Ref document number: 755024

Country of ref document: EP

Owner name: NTT COM SOLUTION & ENGINEERING CORP., JP

Free format text: FORMER OWNER: N.T.T. FANET SYSTEMS CORP., NTT COM SOLUTION & ENGINEERING, , JP

Effective date: 20121031

Ref document number: 755024

Country of ref document: EP

Owner name: NIPPON TELEGRAPH AND TELEPHONE CORP., JP

Free format text: FORMER OWNER: NIPPON TELEGRAPH AND TELEPHONE , N.T.T. FANET SYSTEMS CORP., , JP

Effective date: 20121001

R082 Change of representative

Ref document number: 755024

Country of ref document: EP

Representative=s name: GULDE HENGELHAUPT ZIEBIG & SCHNEIDER, DE

Effective date: 20121001

Ref document number: 755024

Country of ref document: EP

Representative=s name: GULDE HENGELHAUPT ZIEBIG & SCHNEIDER, DE

Effective date: 20121031