DE3545960C1 - Verfahren und Anordnung zur Erkennung von Teilen - Google Patents

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Anordnung zur Erkennung von Teilen oder zur Hervorhebung von Merkmalen von Objekten, die in beliebiger Orientierung angeordnet sind, durch Aufnahme, Speichern und digitalisier­ te Weiterverarbeitung einer Vielzahl von in rascher Folge aufgenommenen Bildern, z. B. zur Erhöhung der Kanten- und Konturenkontraste, um so Angreifpunkte für Handhabungsgerä­ te oder Prüfgeräte zu ermitteln.

Die automatische Handhabung von Teilen beliebiger Form ge­ winnt in Produktions- und Logistikprozessen zunehmend an Bedeutung. Häufig ist die Beschickung von hochautomatisier­ ten Fertigungsstraßen der einzig verbliebene manuell durchgeführte Vorgang. Auch in Versandlagern tritt bei der Kommissionierung von Artikeln die für Menschen eintönige repetitive Aufgabe auf, Teile aus einem Behälter in einen anderen zu befördern.

Es wurde bereits versucht, derartige Tätigkeiten zu automatisieren und zu diesem Zweck Handhabungsgeräte einzusetzen, die eine gewisse Bilderkennungsfähigkeit auf­ weisen müssen, die wegen der geforderten Geschwindigkeiten nur auf optischem ganzbildlichen Wege realisiert werden kann.

Der technologisch schwierigste Fall dieser Art von Bilder­ kennung tritt beim sogenannten "Griff in die Kiste" auf, da hier das Handhabungsgerät vor der Aufgabe steht, ein in beliebiger Orientierung vor dem Hintergrund gleicher Teile angeordnetes Teil in einem Behälter zu erkennen und einen Greifpunkt für den Ansatz des Handhabungsgerätes zu ermit­ teln. Dies wird oft noch dadurch erschwert, daß Merkmale auf der Oberfläche der Teile, die zur Ermittlung des Greif­ punktes nicht interessieren, größere Kontraste aufweisen als die eigentlich interessierenden Kanten. Diese Kon­ traste können z. B. bei Verpackungen vom Aufdruck herrühren, bei Metallteilen von unterschiedlicher Reflexion wegen un­ terschiedlicher Orientierung zur Lichtquelle, usw.

Es ist bekannt, ein in digitalisierter Form gespeichertes Bild derart zu bearbeiten, daß die Kantenkontraste erhöht oder die Grauwerte einander angeglichen werden. Hierbei ist ein einzelnes digitalisiertes Bild verwendet unter der Vorraussetzung, daß die Konturen der zu ergreifenden Teile genügend deutlich von den anderen Bildelementen abgehoben sind (z. B. R. B. Kelley in Proceedings of the 7th International Conference in Industrial Robot Technology, Gothenburg, 2.-4. Oktober 1984). Da diese Vorraussetzung jedoch nut sehr selten erfüllt ist, haben derartige Handhabungsgeräte bisher trotz starken Bedarfs nur wenig praktischen Einsatz.

Auch in der Zeitschrift Elektronik, Nr. 13 vom 2. 7. 1982, Seiten 134 bis 141, wird darauf hingewiesen, daß zum Er­ kennen sich überlappender Werkstücke beim "Griff in die Kiste" aus einem Grauwertbild gerade Konturlinien und Ecken extrahiert werden können, wobei diese Bilddaten in einer zweiten Stufe einer modellgesteuerten Analyse unter­ worfen werden, um damit zu einer Identifikation des obe­ ren Werkstücks, d. h. zu einer Kantenkontrastverstärkung zu gelangen.

Aus der DE-OS 34 12 533 ist ein Verfahren zur Gewinnung der Information übr die dreidimensionale geometrische Konfiguration einer Szene mit Hilfe einer optoelektroni­ schen Bildsensors bekannt, wobei eine Umordnung einer mit dem Bildsensor aufgenommenen Bildsequenz der interessie­ renden Szene in einer Folge von Stereobildpaaren stetig wachsender Stereobasis vorgenommen wird, welche aufgrund der quasi-stetig zunehmenden Änderungen der Unterschiede innerhalb jedes Stereo-Bildpaares mit Hilfe eines direkten Bildvergleichsverfahrens bezüglich der gesuchten dreidimen­ sionalen Anordnung ausgewertet werden können. Bei diesem bekannten Verfahren zur Aufnahme einer dreidimensionalen Konfiguration einer Szene ist jedoch eine bewegte Kamera erforderlich, wobei die einzelnen aufgenommenen Bilder der Sequenz einerseits von sehr eng benachbarten aufeinander­ folgenden Standorten der bewegten Kamera aufgenommen wer­ den müssen, um aufgrund einer genügend hohen Ähnlichkeit mit einem bestimmten Algorithmus ausgewertet werden zu kön­ nen, wobei die virtuelle Gesamtbasis zwischen einem ersten und einem letzten Bild der Sequenz groß zu wählen ist, um eine genügend genaue Stereoinformation ableiten zu können.

All diese bekannten Arten der Kantenkontrastverstärkung bzw. der dreidimensionalen Erkennung ungeordneter Gegen­ stände erfordern noch einen großen Rechenaufwand und damit auch einen großen Zeitaufwand.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und eine Anordnung zur Erkennung von Teilen oder zur Hervorhebung von Merkmalen von Objekten zu schaffen, die mit erheblich geringerem Rechenaufwand und dadurch mit erheblich geringerem Zeitaufwand auskommen und damit eine rasche und sichere Erkennung von beliebig orientierten Tei­ len ermöglichen.

Ausgehend von dem Verfahren der eingangs näher genannten Art wird zur Lösung dieser Aufgabe vorgeschlagen, daß vor jedem Einsatz des Handhabungsgerätes die Vielzahl von Bildern der zu handhabenden oder zu prüfenden Teile und/oder Objekte von mindestens einer stationär angeordneten Kamera mit unterschiedlichen Lichtver­ hältnissen aufgenommen werden, die zwischen Kanten- und Konturenkontrasten und Flächenmerkmalen unterscheiden und daß die so gewonnenen Bilder dahin gehend verarbeitet werden, daß die Kanten- und Konturenkontraste verstärkt und die Flächenmerkmale eliminiert werden.

Diese unterschiedlichen Lichtverhältnisse können entweder durch unterschiedliche Beleuchtungswinkel oder durch unter­ schiedliche Polarisierung der verwendeten Lichtquellen oder auch durch unterschiedliche spektrale Zusammensetzun­ gen realisiert werden.

Die Weiterverarbeitung der Vielzahl von Bildern kann durch einfache Operationen an Pixeln und insbesondere durch Binärdarstellung um eine Grauwertgrenze erfolgen. Die Wei­ terverarbeitung kann aber auch durch einfache Verknüpfung entsprechender Pixel aufeinanderfolgender Bilder und insbe­ sondere durch logische UND-Operationen erfolgen.

Eine erfindungsgemäße Anordnung zur Durchfühung dieses Verfahrens besteht aus mindestens einer Videokamera, einer Beleuchtungsanlage und einem Steuerrechner, wobei die Beleuchtungsanlage eine Vielzahl von verteilt angeordneten Lichtquellen aufweist denen ein Lichtquellensteuergerät zugeordnet ist, und daß gegebenenfalls den Kameraobjektiven eine Filteranordnung zugeordnet ist.

Vorteilhafterweise sind die Kameras CCD-Kameras, während die ihnen zugeordnete Filteranordnungen verschwenkbare Spektralfilter und/oder verschwenkbare und verdrehbare Po­ larisationsfilter sind, die per Fernsteuerung vom Rechner in den Strahlengang bzw. aus dem Strahlengang be­ wegbar sind.

Als Lichtquelle kommen Glühbirnen oder Blitzlampen mit zugeordneten Reflektoren in Frage oder auch Spiegel, die nacheinander einen umlaufenden gebündelten Strahl auf die zu erkennenden Teile reflektieren.

Mit der Erfindung wird also der Vorteil erzielt, daß die wahllos angeordneten Teile mehrmals in rascher Folge oder gleichzeitig aufgenommen werden und zwar bei unterschied­ lichen Aspektwinkeln der Beleuchtung und/oder verschie­ denen Polarisationswinkeln und/oder verschiedenen spektra­ len Zusammensetzungen des Lichts. Die bereits während der Aufnahme digitalisierten und gegebenenfalls binär weiter­ verarbeiteten Bilder werden mittels einfacher logischer Verknüpfungen zu einem Bild zusammengesetzt, dessen Haupt­ merkmal es ist, daß die Kanten und Konturen der Teile gegenüber ihren Oberflächenstrukturen hervorgehoben sind. Die erforderliche Apparatur besteht neben der Kamera und dem Bildverarbeitungsrechner aus mehreren verteilten Lichtquellen, einem Steuergerät und einem steuerbaren Filtervorsatz.

Mit der Erfindung wird ohne nennenswerte Verteuerung des gesamten Bilderkennungssystems und ohne nennenswerten Ge­ schwindigkeitsverlust bei der Verarbeitung der Bilder eine erhebliche Verbesserung der Bilderkennungsfähigkeit der Handhabungsgeräte erreicht.

Im folgenden wird die Erfindung anhand der Zeichnung näher erläutert, in der ein vorteilhaftes Ausführungsbeispiel dargestellt ist. Es zeigt

Fig. 1 schematisch eine Anordnung zur Erkennung der Teile;

Fig. 2 ein ursprüngliches Grauwertbild ohne Verarbeitung und

Fig. 3 ein mit dieser Anordnung erzieltes Bild.

Bei dem in Fig. 1 dargestellten Ausführungsbeispiel einer erfindungsgemäßen Anordnung ist mit 1 ein Behälter bezeich­ net, in dem eine Vielzahl von Teilen in regelloser Orien­ tierung nebeneinander und übereinander angeordnet sind. Oberhalb des Behälters 1 ist ein Gestell 2 angeordnet, mit einer Videokamera 3, die vorteilhafterweise eine CCD-Kamera ist und der ein Steuergerät 4 zugeordnet ist. Im gewählten Ausführungsbeispiel sind vier Lichtquellen 5 verteilt derart angeordnet, daß sie die Teile im Behälter 1 aus un­ terschiedlichen Richtungen beleuchten. Vor dem Objektiv der Kamera 3 ist eine Filteranordnung 6 vorgesehen, die Spektralfilter und/oder Polarisationsfilter enthalten kann und die mittels Fernsteuerung durch einen Rechner 7 in den Strahlengang verschwenkbar bzw. aus dem Strahlengang ver­ schwenkbar und in ihm verdrehbar sein können. Die Kamera 3 ist über geeignete Video- und Steuerkabel mit einem Steuerrechner 7 verbunden, in dem auch die Bildverarbei­ tung erfolgt. Mit 4 ist das Lichtquellensteuergerät be­ zeichnet, das ebenso wie die Filteranordnung 6 über Steuer­ leitungen mit dem Rechner 7 verbunden ist, wobei das Lichtquellensteuergerät 4 außerdem noch mit der Kamera 3 verbunden ist.

Das Lichtquellensteuergerät 4 hat die Aufgabe auf Befehl des Rechners 7 eine der Lichtquellen 5 einzuschalten und im geeigneten Zeitpunkt an die Kamera 3 das Auslesekommando zu geben, worauf diese Kamera das Videosignal zum Rechner überträgt, wo es digitalisiert und im Bildspeicher abgelegt wird. Notwendige Einstellungen der Filteranordnung 6 steuert der Rechner 7 im voraus durch Befehle an die Fil­ teranordnung 6.

Die Lichtquellen 5 können Glühbirnen oder Blitzlampen mit Reflektor sein. Sie können auch als Spiegel ausgestaltet sein, die einen, analog einem Leuchtturm umlaufenden ge­ bündelten Lichtstrahl kurzzeitig auf den Behälter 1 reflek­ tieren. In diesem Fall wird das Auslesen der von der Kamera 3 gesammelten Bildinformation durch Lichtsensoren in den Spiegel getriggert.

Nachdem ein Bild durch die erste Lichtquelle 5 aufgenommen worden ist, werden die folgenden Lichtquellen nacheinander eingeschaltet und weitere Bilder von der Kamera 3 nachein­ ander aufgenommen und an den Rechner 7 geliefert, bevor ein nicht dargestelltes Handhabungsgerät eines der Teile ergreift und aus dem Behälter 1 befördert. Die Bilder wer­ den also gemäß der Anzahl der Lichtquellen 5 in rascher Folge aufgenommen, jedoch mit unterschiedlichen, zwischen Kantenkontrasten und Flächenmerkmalen diskriminierenden Lichtverhältnissen, wonach die so gewonnenen Bilder mit­ tels einfacher Operationen an Pixeln (z. B. Binärdarstel­ lung um eine Grauwertgrenze) oder einfacher Verknüpfung entsprechender Pixel der aufeinanderfolgenden Bilder (z. B. logische UND-Operationen) in den gewünschten Merkmalen ver­ stärkt und die unerwünschten Merkmale eliminiert werden.

Fig. 3 zeigt ein Beispiel einer Aufnahme der in einem Be­ hälter 1 angeordneten Teile 8 nach viermaliger Aufnahme unter verschiedenen Beleuchtungswinkeln (die verschiedenen Schattenwurf erzeugen), Binärdarstellung jeder der Einzel­ aufnahmen um einen geeigneten Schwellwert und pixelweiser Verknüpfung der vielen Binärbilder durch logische UND-Ope­ rationen. Die Kantenkontraste sind derart verstärkt, daß nunmehr ein geeignetes Mittel zur Steuerung des Handha­ bungsgerätes gegeben ist, das an den entsprechenden Kanten angreift und das Teil aus dem Behälter 1 befördert.

Claims (11)

1. Verfahren zur Erkennung von Teilen oder zur Hervorhebung von Merkmalen von Objekten, die in beliebiger Orientie­ rung angeordnet sind, durch Aufnahme, Speichern und di­ gitalisierte Weiterverarbeitung einer Vielzahl von in rascher Folge aufgenommenen Bildern, z. B. zur Erhöhung der Kanten- und Konturenkontraste, um so Angreifpunkte für Handhabungsgeräte oder Prüfgeräte zu ermitteln, da­ durch gekennzeichnet, daß vor jedem Einsatz des Handha­ bungsgerätes die Vielzahl von Bilder der zu handhabenden oder zu prüfenden Teile und/oder Objekte von mindestens einer stationär angeordneten Kamera mit unterschiedli­ chen Lichtverhältnissen aufgenommen werden, die zwischen Kantenkontrasten und Flächenmerkmalen unterscheiden und daß die so gewonnenen Bilder dahin gehend verarbeitet werden, daß die Kanten- und Konturenkontraste verstärkt und die Flächenmerkmale eliminiert werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die unterschiedlichen Lichtverhältnisse durch unter­ schiedliche Beleuchtungswinkel realisiert werden.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die unterschiedlichen Lichtverhältnisse durch unter­ schiedliche Polarisierung der verwendeten Lichtquellen realisiert werden.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die unterschiedlichen Lichtverhältnisse durch Lichtquel­ len unterschiedlicher spektraler Zusammensetzung reali­ siert werden.

5. Verfahren nach Ansprüchen 1 bis 4, dadurch gekennzeich­ net, daß die Weiterverarbeitung der Vielzahl von Bil­ dern durch einfache Operationen an Pixeln und insbeson­ dere durch Binärdarstellung um eine Grauwertgrenze er­ folgt.

6. Verfahren nach einem der Ansprüche 1 bis 4, dadurch ge­ kennzeichnet, daß die Weiterverarbeitung der Vielzahl von Bildern durch einfacher Verknüpfung entsprechender Pixel aufeinanderfolgender Bilder und insbesondere durch logische UND-Operationen erfolgt.

7. Anordnung zur Durchführung des Verfahrens nach einem oder mehreren der Ansprüche 1 bis 6, bestehend aus mindestens einer Videokamera, einer Beleuchtungsanlage und einem Steuerrechner, dadurch gekennzeichnet, daß die Beleuchtungsanlage eine Vielzahl von verteilt angeordneten Lichtquellen aufweist, denen ein Lichtquel­ lensteuergerät zugeordnet ist, und daß gegebenenfalls den Kameraobjektiven eine Filteranordnung zugeordnet ist.

8. Anordnung nach Anspruch 7, dadurch gekennzeichnet, daß die Kameras eine CCD-Kamera sind und die ihr zugeordnete Filteranordnungen verschwenkbare Spektralfilter und/ oder verschwenkbare und drehbare Polarisationsfilter sind, die per Fernsteuerung vom Rechner in den Strahlen­ gang bzw. aus dem Strahlengang bewegbar sind.

9. Anordnung nach Ansprüchen 7 und 8, dadurch gekennzeich­ net, daß die Lichtquellen Glühbirnen oder Blitzlampen mit zugeordneten Reflektoren sind.

10. Anordnung nach Ansprüchen 7 und 8, dadurch gekennzeich­ net, daß die Lichtquellen Spiegel sind, die nachein­ ander einen umlaufenden gebündelten Strahl auf die zu erkennenden Teile der Objekte reflektieren.

11. Anordnung nach Anspruch 7, gekennzeichnet durch mehrere Kameras und mehrere Strahlungsquellen, wobei die Kameras und die Strahlungsquellen einander derart zugeordnet sind, daß verschiedene Kameras für verschie­ dene Strahlungsquellen unterschiedliche Empfindlichkei­ ten aufweisen.