DE112022006793T5

DE112022006793T5 - Steuergerät und erfassungssystem

Info

Publication number: DE112022006793T5
Application number: DE112022006793.4T
Authority: DE
Inventors: Zeyuan SUN; Yuta Namiki
Original assignee: Fanuc Corp
Current assignee: Fanuc Corp
Priority date: 2022-05-19
Filing date: 2022-05-19
Publication date: 2025-01-16
Also published as: TW202346047A; CN119212834A; JPWO2023223503A1; WO2023223503A1

Abstract

Steuergerät (20), umfassend: eine Einheit zur Bilderfassung (121), um von einem Bildsensor eine Vielzahl von Bildern zu erfassen, die durch aufeinanderfolgendes Abbilden eines Werkstücks erhalten werden; und eine Einheit zur Zielbestimmung (122), um auf der Grundlage der Vielzahl von Bildern das Werkstück, das sich in einem stationären Zustand befindet, als ein Objekt zu bestimmen, an dem durch eine industrielle Maschine Arbeiten ausgeführt werden sollen.

Description

FELD
Die vorliegende Erfindung bezieht sich auf ein Steuergerät und ein Erfassungssystem.
HINTERGRUND
Es sind Robotersysteme bekannt, die so konfiguriert sind, dass sie Zielobjekte, die auf einem Fördergerät befördert werden, aufnehmen und in einer vorbestimmten Position anordnen, oder unter Verwendung eines Roboters Arbeiten durchführen zum Aufnehmen von Zielobjekten, die in loser Schüttung geladen sind. Beispielsweise bezieht sich PTL 1 auf ein System zur Handhabung von Gütern durch einen Roboter und wird wie folgt beschrieben: „Für den zweiten und die nachfolgenden Entnahmevorgänge führt ein Steuergerät 30 eine Differenzprüfung durch, um einen Gegenstand W zu erfassen, dessen Änderungsbetrag zwischen einem neuen RGB-Bild 40b, das von einer Kamera 20 nach dem Beginn der vorherigen Auswahlverarbeitung erfasst wurde, und einem RGB-Bild 40a, das bei der vorherigen Erfassungsverarbeitung verwendet wurde, gleich oder kleiner als ein Schwellenwert ist, führt die Auswahlverarbeitung durch, um den Gegenstand W, der ein nächstes Bewegungsziel ist, aus den Gegenständen W auszuwählen, deren Änderungsbetrag gleich oder kleiner als der Schwellenwert ist, und führt eine Bewegungsverarbeitung durch.“ (Absatz 0148).
PTL 2 bezieht sich auf ein robotergestütztes Speichergerät und wird wie folgt beschrieben: „Ein auf einem Transportförderer 23 kontinuierlich befördertes Zielobjekt 21 wird von einer Kamera 29 fotografiert, und eine Position und eine Haltung des Zielobjekts werden durch Bildverarbeitung erfasst. Eine Förderstrecke wird durch einen Encoder für das Transportband 23 erfasst. Aus der erfassten Position und der erfassten Haltung des Zielobjekts sowie aus der erfassten Transportdistanz werden Bewegungsdaten eines Roboters erzeugt und eine Haltung des Roboters verändert, um das Zielobjekt zu ergreifen und in einem Speicherkörper 49 zu speichern.“ (Zusammenfassung).
[ZITIERLISTE]
[PATENTLITERATUR]

[PTL 1] Ungeprüfte japanische Patentveröffentlichung (Kokai) Nr. 2021-146404 A
[PTL 2] Ungeprüfte japanische Patentveröffentlichung (Kokai) Nr. 2001-277165 A

ZUSAMMENFASSUNG
[TECHNISCHES PROBLEM]
In einem System zum Aufnehmen von Werkstücken, die in loser Schüttung von einem Roboter geladen werden, und einem Aufnahmesystem zum Erfassen von Werkstücken, die separat auf einem Transportförderer befördert werden, durch einen Bildsensor und zum Aufnehmen des erfassten Werkstücks können einige Werkstücke, die ein Ziel für die Aufnahme sind, wie z. B. eine Medikamententablette, eine bestimmte Zeitspanne benötigen, bis die Position und Lage des Werkstücks stabil sind, nachdem das Werkstück in einen Behälter oder den Transportförderer gelegt wurde. Wenn ein Roboter in einem Aufnahmesystem für ein solches Werkstück versucht, ein Werkstück aufzunehmen, bevor die Position und die Lage des Werkstücks stabil sind, scheitert der Roboter bei der Aufnahme des Werkstücks, was zu einer Zeitverschwendung führt.
(LÖSUNG DES PROBLEMS)
Ein Aspekt der vorliegenden Offenbarung ist eine Steuerung, die Folgendes umfasst: eine Einheit zur Bilderfassung, die so konfiguriert ist, dass sie von einem Bildsensor eine Vielzahl von Bildern von Werkstücken erfasst, die nacheinander von dem Bildsensor erfasst werden; und eine Einheit zur Zielbestimmung, die so konfiguriert ist, dass sie ein Werkstück in einem stationären Zustand als ein Ziel für die Bearbeitung durch eine industrielle Maschine auf der Grundlage der Vielzahl von Bildern bestimmt.
Ein weiterer Aspekt der vorliegenden Offenbarung ist ein Erfassungssystem, das Folgendes umfasst: einen Bildsensor; eine Einheit zur Bilderfassung, die so konfiguriert ist, dass sie von dem Bildsensor eine Vielzahl von Bildern von Werkstücken erfasst, die nacheinander von dem Bildsensor erfasst werden; und eine Einheit zur Zielbestimmung, die so konfiguriert ist, dass sie ein Werkstück in einem stationären Zustand als Ziel für die Bearbeitung durch eine industrielle Maschine auf der Grundlage der Vielzahl von Bildern bestimmt.
[VORTEILHAFTE WIRKUNGEN DER ERFINDUNG]
Gemäß der oben beschriebenen Konfiguration kann ein Werkstück in einem stationären Zustand als Ziel für die Aufnahme festgelegt werden, die Möglichkeit eines Aufnahmefehlers kann somit reduziert werden und die Zykluszeit der Bearbeitung einer industriellen Maschine kann verkürzt werden.
Die Objekte, die Merkmale und die Vorteile sowie andere Objekte, Merkmale und Vorteile werden aus der detaillierten Beschreibung typischer Ausführungsformen der vorliegenden Erfindung, die in den beigefügten Zeichnungen dargestellt sind, deutlicher.
KURZBESCHREIBUNG DER ZEICHNUNGEN

1 ist ein Diagramm, das eine Gerätekonfiguration eines Erfassungssystems gemäß einer Ausführungsform zeigt.
2 ist ein Diagramm, das ein Beispiel für eine Hardware-Konfiguration einer Steuerung des Bildsensors, einer Robotersteuerung und eines Einlern-Handgeräts zeigt.
3 ist ein funktionelles Blockdiagramm der Steuerung des Bildsensors und der Robotersteuerung.
4 ist ein Diagramm, das die Bildverarbeitung für eine Einheit zur Zielbestimmung veranschaulicht, um ein Werkstück in einem stationären Zustand als ein Ziel für die Aufnahme gemäß einem ersten Beispiel zu bestimmen.
5 ist ein Diagramm, das die Bildverarbeitung für die Einheit zur Zielbestimmung veranschaulicht, um ein Werkstück in einem stationären Zustand als ein Ziel für die Aufnahme gemäß dem ersten Beispiel zu bestimmen.
6 ist ein Flussdiagramm, das einen Bestimmungsvorgang eines Ziels für die Aufnahme gemäß dem ersten Beispiel zeigt.
7 ist ein Diagramm, das die Bildverarbeitung für eine Einheit zur Zielbestimmung veranschaulicht, um ein Werkstück in einem stationären Zustand als ein Ziel für die Aufnahme gemäß einem zweiten Beispiel zu bestimmen.
8 ist ein Flussdiagramm, das einen Bestimmungsvorgang eines Ziels für die Aufnahme gemäß dem zweiten Beispiel veranschaulicht.
9 ist ein Diagramm, das ein Beispiel für einen UI-Bildschirm zeigt, der von einer Einstelleinheit bereitgestellt wird.

BESCHREIBUNG DER AUSFÜHRUNGSFORMEN
Im Folgenden werden Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben. Ein ähnlicher Konfigurationsteil oder ein ähnlicher Funktionsteil ist in den Zeichnungen mit dem gleichen Bezugszeichen versehen. Um das Verständnis zu erleichtern, wird der Maßstab in den Zeichnungen entsprechend geändert. Ein in der Zeichnung dargestellter Aspekt ist ein Beispiel für die Umsetzung der vorliegenden Erfindung, und die vorliegende Erfindung ist nicht auf den dargestellten Aspekt beschränkt.
1 ist ein Diagramm, das eine Gerätekonfiguration eines Erfassungssystems 100 gemäß einer Ausführungsform zeigt. Das Erfassungssystem 100 ist als Robotersystem zur Erfassung eines Werkstücks durch einen Bildsensor 70 und zur Durchführung der Handhabung des Werkstücks konfiguriert. Wie in 1 dargestellt, umfasst das Erfassungssystem 100 einen Roboter 30, eine Robotersteuerung 50, die den Roboter 30 steuert, ein Einlern-Handgerät 10, das mit der Robotersteuerung 50 verbunden ist, den Bildsensor 70 und eine Steuerung des Bildsensors 20, die den Bildsensor 70 steuert. Die Steuerung des Bildsensors 20 ist mit der Robotersteuerung 50 verbunden. Ferner ist im Erfassungssystem 100 ein Peripheriegerät 80 angeordnet. Bei dem Peripheriegerät 80 handelt es sich beispielsweise um einen Behälter, in den Werkstücke eingelegt werden, ein Fördergerät, das Werkstücke transportiert, und dergleichen.
Ein Beispiel, in dem der Roboter 30 ein vertikaler Gelenkroboter ist, wird hier beschrieben, aber ein Roboter verschiedener Typen, wie ein Parallelgelenkroboter und ein Doppelarmroboter, kann als Roboter 30 entsprechend dem Ziel für die Bearbeitung verwendet werden. Der Roboter 30 kann die gewünschte Arbeit durch einen Endeffektor ausführen, der an einem Handgelenkteil angebracht ist. Der Endeffektor ist ein externes Gerät, das je nach Gebrauch austauschbar ist und beispielsweise eine Hand, ein Werkzeug oder ähnliches ist. 1 zeigt ein Beispiel, in dem eine Hand 33 als ein Beispiel für den Endeffektor verwendet wird. Die Hand kann so konfiguriert sein, dass sie ein Zielobjekt mit einem Greifhaken ergreift, oder sie kann so konfiguriert sein, dass sie ein Zielobjekt mit einer Einheit zur Adsorption adsorbiert und hält. In dem Erfassungssystem 100 führt der Roboter 30 die Handhabung von Werkstücken mit Hilfe der Hand 33 durch. Es sollte beachtet werden, dass die Handhabung verschiedene Arten von Arbeiten durch den Roboter umfassen kann, wie z. B. das Aufnehmen und Ablegen, das Einbringen in einen Behälter und eine Kiste sowie das Palettieren.
In der vorliegenden Ausführungsform wird davon ausgegangen, dass der Bildsensor 70 eine Kamera ist, die ein zweidimensionales Bild erfassen kann und in einem Arbeitsbereich an einer Position befestigt ist, an der die Kamera ein Bild eines Werkstücks erfassen kann. Es sollte beachtet werden, dass ein dreidimensionaler Sensor, der ein Abstandsbild oder eine dreidimensionale Punktgruppe erfassen kann, als Bildsensor 70 verwendet werden kann. Der Bildsensor 70 kann an einem Armspitzenabschnitt des Roboters 30 angebracht werden.
Die Steuerung des Bildsensors 20 hat eine Funktion zur Steuerung des Bildsensors 70 und eine Funktion zur Durchführung einer Bildverarbeitung an einem vom Bildsensor 70 erfassten Bild. Die Steuerung des Bildsensors 20 enthält Modelldaten über ein Zielobjekt und hat eine Funktion zur Durchführung einer Erfassungsverarbeitung zur Erfassung eines Zielobjekts durch Mustervergleich zwischen einem Bild des Zielobjekts in einem erfassten Bild und den Modelldaten.
1 zeigt ein Beispiel, bei dem die Steuerung des Bildsensors 20 als ein Gerät konfiguriert ist, das getrennt von der Robotersteuerung 50 bereitgestellt wird, aber die Funktion der Steuerung des Bildsensors 20 kann in der Robotersteuerung 50 implementiert sein.
Einige Werkstücke, die vom Roboter 30 gehandhabt werden sollen, wie z. B. eine Medikamententablette, haben eine Position und eine Haltung, die nicht sofort stabil sind, nachdem die Werkstücke in einen Behälter gelegt oder in ein Transportgerät gesteckt wurden, und die erst nach einer gewissen Zeit stabil werden. Die Aufnahme eines Werkstücks erfolgt vorzugsweise in einem Zustand, in dem das Werkstück stabil ist. Für ein Werkstück, das in einem Behälter platziert oder in ein Fördergerät eingelegt ist, kann das Erfassungssystem 100 gemäß der vorliegenden Ausführungsform ein Werkstück in einem stabilen Zustand als Ziel für die Aufnahme festlegen und eine hohe Effizienz der Aufnahmearbeiten erreichen.
2 ist ein Diagramm, das ein Beispiel für eine Hardware-Konfiguration der Steuerung des Bildsensors 20, der Robotersteuerung 50 und des Einlern-Handgeräts 10 zeigt. Wie in 2 dargestellt, kann die Steuerung des Bildsensors 20 eine Konfiguration als gewöhnlicher Computer haben, in dem ein Speicher 22 (wie ein ROM, ein RAM und ein nichtflüchtiger Speicher), eine Anzeigeeinheit 23, eine Betriebseinheit 24 einschließlich verschiedener Eingabegeräte, eine Eingangs-/Ausgangsschnittstelle 25 und dergleichen über einen Bus mit einem Prozessor 21 verbunden sind. Die Eingangs-/Ausgangsschnittstelle 25 kann verschiedene Eingangs-/Ausgangsschnittstellen wie eine Netzwerkschnittstelle, eine serielle Kommunikationsschnittstelle und eine Speicherkartenschnittstelle umfassen. Die Steuerung des Bildsensors 20 kann als Spezialgerät konfiguriert sein, das auf eine Funktion als Steuerung des Bildsensors spezialisiert ist, oder sie kann aus einem Allzweckcomputer wie einem Personal Computer gebildet sein.
Die Robotersteuerung 50 kann wie ein gewöhnlicher Computer konfiguriert sein, in dem ein Speicher 52 (z. B. ein ROM, ein RAM und ein nichtflüchtiger Speicher), eine Eingangs-/Ausgangsschnittstelle 53, eine Betriebseinheit 54 mit verschiedenen Betriebsschaltern und dergleichen über einen Bus mit einem Prozessor 51 verbunden sind. Die Eingangs-/Ausgangsschnittstelle 53 kann verschiedene Eingangs-/Ausgangsschnittstellen umfassen, wie z. B. eine Netzwerkschnittstelle, eine serielle Kommunikationsschnittstelle und eine Speicherkartenschnittstelle.
Das Einlern-Handgerät 10 wird als Gerät zum Anlernen der Bedienung des Roboters 30 und zur Durchführung einer Bedienungseingabe und einer Bildschirmanzeige zur Durchführung verschiedener Arten von Einstellungen verwendet. Das Einlern-Handgerät 10 kann wie ein gewöhnlicher Computer konfiguriert sein, bei dem ein Speicher 12 (z. B. ein ROM, ein RAM und ein nichtflüchtiger Speicher), eine Anzeigeeinheit 13, eine Betriebseinheit 14, die aus einem Eingabegerät wie einer Tastatur (oder einem Software-Schlüssel) gebildet ist, eine Eingangs-/Ausgangsschnittstelle 15 und dergleichen über einen Bus mit einem Prozessor 11 verbunden sind. Die Eingangs-/Ausgangsschnittstelle 15 kann verschiedene Eingangs-/Ausgangsschnittstellen umfassen, wie z. B. eine Netzwerkschnittstelle, eine serielle Kommunikationsschnittstelle und eine Speicherkartenschnittstelle. Das Einlern-Handgerät 10 kann aus einem Tablet-Terminal, einem Smartphone und anderen Informationsverarbeitungsgeräten gebildet sein.
3 ist ein funktionales Blockdiagramm der Steuerung des Bildsensors 20 und der Robotersteuerung 50. Wie in 3 dargestellt, umfasst die Steuerung des Bildsensors 20 eine Einheit zur Bilderfassung 121, eine Einheit zur Zielbestimmung 122 und eine Einstelleinheit 123. Die Robotersteuerung 50 umfasst eine Einheit zur Bewegungssteuerung 151, die eine Bewegung des Roboters 30 auf der Grundlage eines Bewegungsprogramms steuert.
Die Einheit zur Bilderfassung 121 steuert den Bildsensor 70 und nimmt ein vom Bildsensor 70 erfasstes Bild auf. In der vorliegenden Ausführungsform erfasst die Einheit zur Bilderfassung 121 eine Vielzahl von Bildern von Werkstücken, die nacheinander vom Bildsensor 70 erfasst werden.
Die Einheit zur Zielbestimmung 122 extrahiert ein Werkstück in einem stationären Zustand, basierend auf der Vielzahl von Bildern, die von dem Bildsensor 70 erfasst wurden, und bestimmt das Werkstück als ein Ziel für die Arbeit durch den Roboter 30. Die Einheit zur Zielbestimmung 122 teilt der Robotersteuerung 50 das Werkstück mit, das als Ziel für die Bearbeitung durch den Roboter bestimmt wurde.
Die Einstelleinheit 123 akzeptiert eine Eingabe verschiedener Arten von Einstellungen (z.B. einen Parameter, der für die Bildverarbeitung verwendet wird), um die Verarbeitung des Herausziehens eines Werkstücks in einem stationären Zustand durch die Einheit zur Zielbestimmung 122 durchzuführen.
Im Folgenden werden zwei spezifische Beispiele für den Betrieb der Einheit zur Zielbestimmung 122 zur Bestimmung eines Werkstücks in einem stationären Zustand als Ziel für die Aufnahme durch den Roboter 30 beschrieben. In den Beispielen wird davon ausgegangen, dass es sich bei einem Werkstück um eine Medikamententablette handelt und das Peripheriegerät- 80 ein Behälter ist, in den die Werkstücke gelegt werden.
Erstes Beispiel
Nachfolgend wird ein erstes Beispiel mit Bezug auf die 4 bis 6 beschrieben. 4 und 5 sind Diagramme, die die Bildverarbeitung für die Einheit zur Zielbestimmung 122 veranschaulichen, um ein Werkstück in einem stationären Zustand als ein Ziel für die Aufnahme gemäß dem ersten Beispiel zu bestimmen. 6 ist ein Flussdiagramm, das einen Bestimmungsvorgang eines Ziels für die Aufnahme gemäß dem ersten Beispiel illustriert. Der Bestimmungsvorgang eines Ziels für die Aufnahme gemäß dem ersten Beispiel wird unter Bezugnahme auf das Flussdiagramm in 6 beschrieben.
Zunächst nimmt ein Benutzer eine Einstellung vor, um ein sich bewegendes Werkstück von einem Ziel eines Aufnahmevorgangs durch den Roboter 30 auszuschließen (d. h. um ein Werkstück in einem stationären Zustand als Ziel für die Aufnahme einzustellen) (Schritt S1). Die Einstellung wird beispielsweise über einen Bildschirm der Benutzerschnittstelle (UI) angenommen, der von der Einstelleinheit 123 bereitgestellt wird.
Als Nächstes werden, wie in 4 dargestellt, Werkstücke W, bei denen es sich um Medikamententabletten handelt, in das Peripheriegerät (Behälter) 80 gelegt (Schritt S2). Der Bildsensor 70 ist an einer Position angeordnet, an der der Bildsensor 70 ein Bild der Werkstücke W auf dem Peripheriegerät (Behälter) 80 erfassen kann. Der Bildsensor 70 nimmt nacheinander Bilder der Werkstücke W auf. Auf diese Weise werden eine erste Bilderfassung (Schritt S3) und eine zweite Bilderfassung (Schritt S4) für die Werkstücke W durchgeführt. Wie in 4 dargestellt, wird angenommen, dass ein durch die erste Bilderfassung erfasstes Bild ein Bild M1 und ein durch die zweite Bilderfassung erfasstes Bild ein Bild M2 ist. Sieben Werkstücke W1 bis W7 werden in jedem der Bilder M1 und M2 erfasst.
Die Einheit zur Zielbestimmung 122 vergleicht die beiden Bilder M1 und M2 und extrahiert so als Bereich mit einer Bewegung auf dem Bild einen Bereich mit einer Änderung eines Pixelwertes zwischen den beiden Bildern (Schritt S5). Im vorliegenden Beispiel wird ein Pixelbereich der vier Werkstücke W2 bis W5 als ein Bereich mit einer Änderung zwischen den beiden Bildern extrahiert. Die Einheit zur Zielbestimmung 122 bestimmt als Nichtzielbereich D1 für die Erfassung einen Bereich, der die vier Werkstücke W2 bis W5 enthält, indem sie einen vorbestimmten Rand zu dem Pixelbereich des sich bewegenden Werkstücks hinzufügt. Der Nicht-Zielbereich D1 für die Erfassung ist ein Bereich, der kein Ziel für die Erfassungsverarbeitung zur Erfassung eines Werkstücks ist.
Es sollte beachtet werden, dass in einer Situation, in der der Bildsensor 70 auf dem Roboter 30 montiert ist und Bilder von Werkstücken durch den Bildsensor 70 erfasst werden, während sich der Roboter 30 bewegt, bevor Pixelwerte von zwei aufeinanderfolgend in Schritt S5 erfassten Bildern verglichen werden, eine Umwandlung eines Bildes (Translation, Rotation und dergleichen eines Bildes) als Vorverarbeitung in einer solchen Weise durchgeführt werden kann, dass derselbe Bereich in den beiden Bildern zu sehen ist, basierend auf der Bilderfassungsposition des Bildsensors 70, an der der Bildsensor ein Bild der Werkstücke erfasst. Auch in einer Situation, in der Werkstücke auf einem Fördergerät befördert werden und der in einem Arbeitsbereich befestigte Bildsensor 70 Bilder der auf dem Fördergerät beförderten Werkstücke erfasst, kann, bevor Pixelwerte von zwei in Schritt S5 nacheinander erfassten Bildern verglichen werden, eine Umwandlung eines Bildes (Translation, Rotation und dergleichen eines Bildes) als Vorverarbeitung in einer solchen Weise durchgeführt werden, dass der gleiche Bereich auf einem Förderband in den beiden Bildern zu sehen ist, basierend auf der Fördergeschwindigkeit und dergleichen des Fördergeräts.
Die Einheit zur Zielbestimmung 122 führt die Verarbeitung des Ausschlusses des Nicht-Zielbereichs D1 für die Erfassung aus dem Bild M2, das das letzte Bild ist, durch (Schritt S6). Dabei ist die Verarbeitung des Ausschlusses des Nicht-Zielbereichs D1 für die Erfassung aus dem Bild M2 eine Verarbeitung zum Einstellen des Nicht-Zielbereichs D1 für die Erfassung als ein ungültiges Pixel in dem Bild M2 oder eine Verarbeitung zur Durchführung einer Maskenverarbeitung an Pixeln, die in dem Nicht-Zielbereich D1 für die Erfassung in dem Bild M2 enthalten sind. Wenn die erste Verarbeitung durchgeführt wird, kann die Einheit zur Zielbestimmung 122 die Erfassungsverarbeitung an dem verbleibenden Bildbereich durchführen, der auf dem Bild M2 in einem Zustand definiert ist, in dem der Nicht-Zielbereich D1 für die Erfassung aus dem Bild M2 ausgeschlossen ist (Schritt S7). In diesem Fall wird der zu erfassende Nicht-Zielbereich D1 von einem Ziel für die Erfassungsverarbeitung ausgeschlossen, und somit kann die für die Erfassungsverarbeitung erforderliche Zeit verkürzt werden.
Es wird ein Fall beschrieben, in dem die letztgenannte Verarbeitung durchgeführt wird. 5 zeigt einen Zustand, in dem der zu erfassende Nicht-Zielbereich D1 im Bild M2 maskiert ist (z. B. durch eine Hintergrundfarbe gefärbt). Die Einheit zur Zielbestimmung 122 führt die Erfassungsverarbeitung zur Erfassung eines Werkstücks auf dem Bild M2 durch, das beispielsweise einer solchen Maskenverarbeitung unterzogen wurde (Schritt S7). Durch die Durchführung der Erfassungsverarbeitung auf dem Bild M2 in einem Zustand, in dem ein Bereich mit einem sich bewegenden Werkstück maskiert ist, kann die für die Erfassungsverarbeitung erforderliche Zeit verkürzt werden. Genauer gesagt, durch Maskieren eines Bereichs, der ein sich bewegendes Werkstück enthält, tritt eine solche Verarbeitungslast, dass ein Bewertungswert (Berechnungswert eines Ähnlichkeitsgrads zwischen einem Ziel in einem Bild und Modelldaten) in der Erfassungsverarbeitung berechnet wird, für ein Pixel in dem maskierten Bereich nicht auf, und somit kann die für die Erfassungsverarbeitung erforderliche Zeit verkürzt werden.
Durch die Erfassungsverarbeitung werden die Werkstücke W1, W6 und W7 als Werkstücke bestimmt, die ein Ziel für die Aufnahme sind, und an die Robotersteuerung 50 gemeldet. Die Einheit zur Bewegungssteuerung 151 der Robotersteuerung 50 führt einen Aufnahmevorgang für die von der Einheit zur Zielbestimmung 122 gemeldeten Werkstücke W1, W6 und W7 durch (Schritt S8).
Auf diese Weise kann gemäß dem ersten Beispiel durch Ausführen der Erfassungsverarbeitung in einem Zustand, in dem ein Bereich mit einem sich bewegenden Werkstück aus einem Bild, in dem Werkstücke erfasst werden, ausgeschlossen ist, ein Werkstück in einem stationären Zustand als Ziel für die Aufnahme durch den Roboter 30 bestimmt werden. Mit anderen Worten, die Möglichkeit, dass der Roboter 30 versucht, den Aufnahmevorgang an einem sich bewegenden Werkstück durchzuführen und dabei scheitert, kann reduziert werden, und die Zykluszeit des gesamten Aufnahmevorgangs kann verkürzt werden. Ferner kann durch die Durchführung der Erfassungsverarbeitung in einem Zustand, in dem ein Bereich mit einem sich bewegenden Werkstück aus einem Bild, in dem Werkstücke erfasst werden, ausgeschlossen ist, die für die Erfassungsverarbeitung erforderliche Zeit verkürzt werden, und die Zykluszeit des gesamten Aufnahmevorgangs kann verkürzt werden.
Zweites Beispiel
Nachfolgend wird ein zweites Beispiel mit Bezug auf die 7 und 8 beschrieben. 7 ist ein Diagramm, das die Bildverarbeitung für die Einheit zur Zielbestimmung 122 zur Bestimmung eines Werkstücks in einem stationären Zustand als Ziel für die Aufnahme gemäß dem zweiten Beispiel zeigt. 8 ist ein Flussdiagramm, das einen Bestimmungsvorgang eines Ziels für die Aufnahme gemäß dem zweiten Beispiel veranschaulicht. Der Bestimmungsvorgang eines Ziels für die Aufnahme gemäß dem zweiten Beispiel wird unter Bezugnahme auf das Flussdiagramm in 8 beschrieben. Es ist zu beachten, dass die Schritte S11 bis S14 des Flussdiagramms in 8 die gleichen sind wie die Schritte S1 bis S4 im ersten Beispiel.
Zunächst nimmt ein Benutzer eine Einstellung vor, um ein sich bewegendes Werkstück von einem Ziel eines Aufnahmevorgangs durch den Roboter 30 auszuschließen (d. h. um ein Werkstück in einem stationären Zustand als Ziel für die Aufnahme einzustellen) (Schritt S11). Die Einstellung wird z. B. über einen UI-Bildschirm angenommen, der von der Einstelleinheit 123 bereitgestellt wird.
Als nächstes werden die Werkstücke W, bei denen es sich um Medikamententabletten handelt, in das Peripheriegerät (Behälter) 80 gelegt (Schritt S12), wie in 7 dargestellt. Der Bildsensor 70 wird an einer Position angeordnet, an der der Bildsensor 70 ein Bild der Werkstücke W auf dem Peripheriegerät (Behälter) 80 erfassen kann. Der Bildsensor 70 nimmt nacheinander Bilder der Werkstücke W auf. Auf diese Weise werden eine erste Bilderfassung (Schritt S13) und eine zweite Bilderfassung (Schritt S14) für die Werkstücke W durchgeführt. Wie in 7 dargestellt, wird angenommen, dass ein durch die erste Bilderfassung erfasstes Bild ein Bild M11 und ein durch die zweite Bilderfassung erfasstes Bild ein Bild M12 ist. Sieben Werkstücke W1 bis W7 werden in jedem der Bilder M11 und M12 erfasst.
Die Einheit zur Zielbestimmung 122 führt eine Erfassungsverarbeitung durch, um jeweils ein Werkstück auf dem Bild M11 und dem Bild M12 zu erfassen (Schritt S15). Auf diese Weise können als Erfassungsergebnis die Positionen der Werkstücke W1 bis W7 im Bild M11 und die Positionen der Werkstücke W1 bis W7 im Bild M12 erfasst werden.
Es sollte beachtet werden, dass in einer Situation, in der der Bildsensor 70 auf dem Roboter 30 montiert ist und Bilder von Werkstücken durch den Bildsensor 70 erfasst werden, während sich der Roboter 30 bewegt, die Bilderfassungsposition des Bildsensors 70, an der der Bildsensor ein Bild von Werkstücken aufnimmt, sich ändert und die Position eines Zielobjekts (stationäres Zielobjekt) in einem Bild sich zwischen zwei aufeinanderfolgenden erfassten Bildern ändert. Daher kann in einer solchen Situation, wenn eine Position eines Werkstücks als Erfassungsergebnis in Schritt S15 berechnet wird, die Berechnung so durchgeführt werden, dass die Position eines stationären Zielobjekts in einem Bild zwischen den beiden erfassten Bildern die gleiche ist, indem eine Änderung der Erfassungsposition berücksichtigt wird. Auch in einer Situation, in der Werkstücke auf einem Fördergerät befördert werden und der in einem Arbeitsbereich befestigte Bildsensor 70 Bilder der auf dem Fördergerät beförderten Werkstücke aufnimmt, ändert sich die Position eines auf einem Förderband stationären Zielobjekts zwischen zwei aufeinanderfolgenden erfassten Bildern. Daher kann in einer solchen Situation, wenn die Position eines Werkstücks als Erfassungsergebnis in Schritt S15 berechnet wird, die Berechnung so durchgeführt werden, dass die Position eines auf dem Förderband stationären Zielobjekts in einem Bild zwischen den beiden erfassten Bildern gleich ist, indem eine Fördergeschwindigkeit und dergleichen des Fördergeräts berücksichtigt wird.
Die Einheit zur Zielbestimmung 122 extrahiert auf der Grundlage des Erfassungsergebnisses (Schritt S16) ein Werkstück, das keine Positionsänderung zwischen dem Bild M11 und dem Bild M12 unter den Werkstücken W1 bis W7 aufweist, als ein Werkstück in einem stationären Zustand.
Im vorliegenden Beispiel wird davon ausgegangen, dass sich die Positionen der Werkstücke W2 bis W5 ändern, während sich die Positionen der Werkstücke W1, W6 und W7 nicht ändern. In diesem Fall werden in Schritt S16 die Werkstücke W1, W6 und W7 als Werkstücke in einem stationären Zustand extrahiert und der Robotersteuerung 50 als Ziel für die Aufnahme mitgeteilt. Die Einheit zur Bewegungssteuerung 151 der Robotersteuerung 50 führt einen Entnahmevorgang an den von der Einheit zur Zielbestimmung 122 gemeldeten Werkstücken W1, W6 und W7 durch (Schritt S17).
Auf diese Weise kann gemäß dem zweiten Beispiel ein stationäres Werkstück als Ziel für die Aufnahme durch den Roboter 30 bestimmt werden. Mit anderen Worten, die Möglichkeit, dass der Roboter 30 versucht, den Aufnahmevorgang an einem sich bewegenden Werkstück durchzuführen und dabei scheitert, kann reduziert und die Zykluszeit des gesamten Aufnahmevorgangs verkürzt werden.
Als nächstes wird ein Beispiel eines UI-Bildschirms zur Durchführung von Einstellungen im Zusammenhang mit dem Vorgang zur Bestimmung eines Werkstücks in einem stationären Zustand als Ziel für die Aufnahme durch den Roboter 30 unter Bezugnahme auf 9 beschrieben. 9 zeigt ein Beispiel für einen solchen UI-Bildschirm 90. Der UI-Bildschirm 90 kann von der Einstelleinheit 123 erzeugt und auf einem Anzeigebildschirm der Anzeigeeinheit 13 des Einlern-Handgeräts 10 angezeigt werden. In diesem Fall kann eine Eingabe in den UI-Bildschirm 90 über die Betriebseinheit 14 des Einlern-Handgeräts 10 erfolgen.
Wie in 9 dargestellt, enthält der UI-Bildschirm 90 ein Kontrollkästchen 91, um das Erfassungssystem 100 zu veranlassen, einen Aufnahmevorgang in einem Zustand durchzuführen, in dem sich bewegende Werkstücke von einem Ziel für die Aufnahme ausgeschlossen sind. Durch Aktivieren des Kontrollkästchens 91 kann der Vorgang des Aufnehmens von Werkstücken in einem Zustand, in dem sich bewegende Werkstücke von einem Ziel für die Aufnahme ausgeschlossen sind, wie im ersten Beispiel und im zweiten Beispiel beschrieben, durchgeführt werden. Es sei darauf hingewiesen, dass der UI-Bildschirm 90 mit einem Auswahlfeld versehen sein kann, um festzulegen, welcher der Vorgänge aus dem ersten Beispiel und der Vorgang aus dem zweiten Beispiel ausgeführt wird.
Der UI-Bildschirm 90 kann ferner ein Spezifikationsfeld 92 zur Angabe einer Größe (Pixelzahl) eines Randes enthalten, wenn ein Nicht-Zielbereich für die Erfassung durch Hinzufügen eines Randes zu einem Pixelbereich eines sich bewegenden Werkstücks in einem Fall des Vorgangs im ersten Beispiel festgelegt wird.
Der UI-Bildschirm 90 kann ferner ein Spezifikationsfeld 93 enthalten, um anzugeben, um wie viele Pixel oder mehr ein Werkstück zwischen aufeinanderfolgenden Bildern bewegt wird, um das Werkstück von einem Ziel für die Bearbeitung auszuschließen. Das Spezifikationsfeld 93 kann sowohl für den Fall angewendet werden, dass ein Werkstück, das sich zwischen dem Bild M1 und dem Bild M2 ändert, im ersten Beispiel ausgeschlossen werden soll, als auch für den Fall, dass ein Werkstück, das sich zwischen dem Bild M11 und dem Bild M12 ändert, im zweiten Beispiel ausgeschlossen werden soll. Es sollte beachtet werden, dass in dem hier beispielhaft dargestellten Spezifikationsfeld 93 eine Position (Pixelzahl) in einem Bild als das Ausmaß einer Bewegung eines Werkstücks, das von einem Ziel für die Bearbeitung ausgeschlossen werden soll, angegeben werden kann, aber das Spezifikationsfeld 93 kann so konfiguriert werden, dass eine Position (z.B. Millimeter) in einem realen Raum als das Ausmaß einer Bewegung eines Werkstücks, das von einem Ziel für die Bearbeitung ausgeschlossen werden soll, angegeben werden kann. Alternativ kann, wenn ein Bewegungsbetrag eines auszuschließenden Werkstücks durch eine Pixelzahl in das Spezifikationsfeld 93 eingegeben wird, ein durch Umwandlung der Pixelzahl in einen Bewegungsbetrag in einem realen Raum erhaltener Wert angezeigt werden, so dass der Bewegungsbetrag in dem realen Raum bestätigt werden kann.
Wie oben beschrieben, ist es gemäß der vorliegenden Ausführungsform möglich, das Auftreten von Zeitverschwendung aufgrund der Tatsache zu verhindern, dass ein Roboter versucht, ein Werkstück aufzunehmen, bevor eine Position und eine Haltung des Werkstücks stabil sind, und das Werkstück nicht aufnimmt. Mit anderen Worten, ein Werkstück in einem stationären Zustand kann als Ziel für die Aufnahme festgelegt werden, die Möglichkeit eines Fehlschlags bei der Aufnahme kann somit reduziert werden, und die Zykluszeit der Arbeit durch einen Roboter kann verkürzt werden.
Die vorliegende Erfindung wurde oben unter Verwendung der typischen Ausführungsformen beschrieben, aber es wird von denjenigen mit gewöhnlichen Fachkenntnissen auf dem Gebiet verstanden werden, dass Änderungen, andere verschiedene Änderungen, Auslassung und Hinzufügung in jeder der oben beschriebenen Ausführungsformen gemacht werden können, ohne vom Umfang der vorliegenden Erfindung abzuweichen.
Die oben beschriebenen Ausführungsformen können nicht nur auf ein Handhabungssystem durch einen Roboter, sondern auch auf ein System verschiedener industrieller Maschinen angewendet werden, die die Effizienz der Arbeit verbessern können, indem sie ein Werkstück in einem stationären Zustand als Ziel für die Arbeit festlegen.
In den oben beschriebenen Ausführungsformen wird das Beispiel der Entnahme eines Werkstücks, wie z. B. einer Tablette, mit einer stabilen Position und einer stabilen Haltung und das Einstellen des entnommenen Werkstücks als Ziel für die Aufnahme beschrieben, aber die oben beschriebenen Ausführungsformen können beispielsweise auch auf Arbeiten zur Entnahme eines Behälters (wie z. B. einer Flasche) mit einer stabilen Position und einer stabilen Haltung, der auf einem Fördergerät transportiert wird, und zum Einfüllen von Werkstücken in den Behälter durch einen Roboter angewendet werden.
In dem im ersten oder zweiten Beispiel beschriebenen Erfassungssystem 100 kann der Bildsensor 70 so voreingestellt sein, dass er nacheinander Bilder der Werkstücke W erfasst, und die Einheit zur Zielbestimmung 122 kann so konfiguriert sein, dass sie automatisch ein Werkstück in einem stationären Zustand auf der Grundlage von aufeinanderfolgenden, vom Bildsensor 70 erfassten Bildern extrahiert, damit der Roboter 30 den Aufnahmevorgang für das Werkstück in einem stationären Zustand durchführen kann. In diesem Fall muss ein Benutzer keinen Vorgang zum Erzeugen eines Auslösesignals durchführen, das den Bildsensor 70 zum Betrieb veranlasst und die Verarbeitung zum Durchführen des Aufnahmevorgangs aufruft, wenn Werkstücke in einen Behälter und dergleichen gelegt werden.
Im ersten und zweiten Beispiel, die oben beschrieben wurden, wird der Vorgang der Extraktion eines Werkstücks in einem stationären Zustand auf der Grundlage von zwei nacheinander erfassten Bildern beschrieben, aber ein Werkstück in einem stationären Zustand kann auf der Grundlage von drei oder mehr nacheinander erfassten Bildern extrahiert werden. Wenn ein Werkstück in einem stationären Zustand auf der Grundlage von drei oder mehr aufeinanderfolgend erfassten Bildern extrahiert wird, können beispielsweise Werkstücke mit einer Bewegung zwischen einem ersten erfassten Bild und einem dritten erfassten Bild und Werkstücke mit einer Bewegung zwischen einem zweiten erfassten Bild und dem dritten erfassten Bild extrahiert werden, und die Erfassungsverarbeitung kann in einem Zustand durchgeführt werden, in dem die extrahierten Werkstücke von dem letzten Bild (dem dritten erfassten Bild) ausgeschlossen sind.
Der mit Bezug auf 9 beschriebene UI-Bildschirm kann die Einstellung eines Bilderfassungszyklus beinhalten, bei dem Bilder von Werkstücken nacheinander vom Bildsensor erfasst werden. In diesem Fall kann ein Benutzer einen geeigneten Bilderfassungszyklus entsprechend einer Eigenschaft eines Werkstücks, das ein Ziel für die Bearbeitung ist, einstellen.
Die Anordnung der Funktionsblöcke in dem in 3 beschriebenen Funktionsblockdiagramm ist ein Beispiel, und es sind verschiedene Modifikationsbeispiele für eine Anordnung der Funktionsblöcke möglich. Beispielsweise ist auch ein Konfigurationsbeispiel möglich, bei dem mindestens eine der in der Steuerung des Bildsensors 20 angeordneten Einheit zur Bilderfassung, Einheit zur Zielbestimmung und Einstelleinheit auf der Seite der Robotersteuerung 50 angeordnet ist.
Die in 3 dargestellten Funktionsblöcke des Bildsensors und der Robotersteuerung können durch die Ausführung verschiedener Arten von Software, die in einem Speichergerät gespeichert sind, durch den Prozessor des Bildsensors und der Robotersteuerung erreicht werden, oder sie können durch eine Konfiguration erreicht werden, in der Hardware wie ein anwendungsspezifischer integrierter Schaltkreis (ASIC) ein Hauptkörper ist.
Das Programm zur Ausführung verschiedener Verarbeitungsarten, wie z.B. der Bestimmungsverarbeitung eines Ziels für die Aufnahme (6 und 8) in den oben beschriebenen Ausführungsformen, kann in verschiedenen computerlesbaren Aufzeichnungsmedien aufgezeichnet werden (z.B. in einem ROM, einem EEPROM, einem Halbleiterspeicher wie einem Flash-Speicher, einem magnetischen Aufzeichnungsmedium und einer optischen Platte wie einer CD-ROM und einer DVD-ROM).
BEZUGSZEICHENLISTE

10: Einlern-Handgerät
20: Steuerung des Bildsensors
30: Roboter
33: Hand
50: Robotersteuerung
70: Bildsensor
80: Peripheriegerät
100: Erfassungssystem
11, 21, 51: Prozessor
12, 22, 52: Speicher
13, 23: Anzeigeeinheit
14, 24, 54: Betriebseinheit
15, 53, 25: Eingangs-/Ausgangsschnittstelle
121: Einheit zur Bilderfassung
122: Einheit zur Zielbestimmung
123: Einstelleinheit
151: Einheit zur Bewegungssteuerung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2021-146404 A [0003]
JP 2001-277165 A [0003]

Claims

Eine Steuerung, die Folgendes umfasst: eine Einheit zur Bilderfassung, die so konfiguriert ist, dass sie von einem Bildsensor eine Vielzahl von Bildern von Werkstücken erfasst, die nacheinander von dem Bildsensor erfasst werden; und eine Einheit zur Zielbestimmung, die so konfiguriert ist, dass sie ein Werkstück in einem stationären Zustand als ein Ziel für die Bearbeitung durch eine industrielle Maschine auf der Grundlage der Vielzahl von Bildern bestimmt.
Die Steuerung nach Anspruch 1, wobei die Einheit zur Zielbestimmung eine Bildverarbeitung zum Extrahieren eines sich bewegenden Werkstücks auf der Grundlage der Vielzahl von Bildern und zum Entfernen des sich bewegenden Werkstücks aus einem letzten Bild aus der Vielzahl von Bildern durchführt, eine Erfassungsverarbeitung zum Erfassen eines Werkstücks auf dem letzten Bild durchführt, in dem das sich bewegende Werkstück ausgeschlossen ist, und ein durch die Erfassungsverarbeitung erfasstes Werkstück als das Ziel für die Bearbeitung bestimmt.
Die Steuerung nach Anspruch 2, wobei die Bildverarbeitung eine Maskenverarbeitung zum Maskieren eines Bereichs, der das sich bewegende Werkstück enthält, auf dem letzten Bild umfasst, und die Einheit zur Zielbestimmung die Erfassungsverarbeitung auf dem letzten Bild durchführt, das der Maskenverarbeitung unterzogen wurde.
Die Steuerung nach Anspruch 2 oder 3, ferner umfassend eine Einstelleinheit, die so konfiguriert ist, dass sie einen bei der Bildverarbeitung verwendeten Parameter einstellt, wobei der Parameter mindestens einen der folgenden Parameter umfasst einen ersten Parameter zum Einstellen, wie viele Pixel oder mehr ein Werkstück zwischen aufeinanderfolgenden Bildern aus der Vielzahl von Bildern bewegt wird, um das Werkstück als das sich bewegende Werkstück zu extrahieren, und einen zweiten Parameter zum Einstellen einer Größe eines Randbereichs, der als ein vom letzten Bild auszuschließender Bereich zu einer Peripherie eines Pixelbereichs des sich bewegenden Werkstücks hinzugefügt werden muss.
Die Steuerung nach Anspruch 1, wobei die Einheit zur Zielbestimmung eine Erfassungsverarbeitung zum Erfassen eines Werkstücks auf jedem der Vielzahl von Bildern durchführt, und das Werkstück im stationären Zustand auf der Grundlage einer Position eines bei der Erfassungsverarbeitung für jedes der mehreren Bilder erfassten Werkstücks extrahiert und das extrahierte Werkstück als das Ziel für die Bearbeitung bestimmt.
Ein Erfassungssystem, das Folgendes umfasst: einen Bildsensor; eine Einheit zur Bilderfassung, die so konfiguriert ist, dass sie von dem Bildsensor eine Vielzahl von Bildern von Werkstücken erfasst, die nacheinander von dem Bildsensor erfasst werden; und eine Einheit zur Zielbestimmung, die so konfiguriert ist, dass sie ein Werkstück in einem stationären Zustand als ein Ziel für die Bearbeitung durch eine industrielle Maschine auf der Grundlage der Vielzahl von Bildern bestimmt.
Das Erfassungssystem nach Anspruch 6, wobei die Einheit zur Zielbestimmung eine Bildverarbeitung zum Extrahieren eines sich bewegenden Werkstücks auf der Grundlage der Vielzahl von Bildern und zum Entfernen des sich bewegenden Werkstücks aus einem letzten Bild aus der Vielzahl von Bildern durchführt eine Erfassungsverarbeitung zum Erfassen eines Werkstücks auf dem letzten Bild durchführt, in dem das sich bewegende Werkstück ausgeschlossen ist, und ein durch die Erfassungsverarbeitung erfasstes Werkstück als das Ziel für die Bearbeitung bestimmt.
Das Erfassungssystem nach Anspruch 7, wobei die Bildverarbeitung eine Maskenverarbeitung zum Maskieren eines Bereichs, der das sich bewegende Werkstück enthält, auf dem letzten Bild umfasst, und die Einheit zur Zielbestimmung die Erfassungsverarbeitung auf dem letzten Bild durchführt, das der Maskenverarbeitung unterzogen wurde.
Das Erfassungssystem nach Anspruch 7 oder 8, ferner umfassend eine Einstelleinheit, die so konfiguriert ist, dass sie einen bei der Bildverarbeitung verwendeten Parameter einstellt, wobei der Parameter mindestens eines der folgenden Elemente umfasst einen ersten Parameter zum Einstellen, wie viele Pixel oder mehr ein Werkstück zwischen aufeinanderfolgenden Bildern aus der Vielzahl von Bildern bewegt wird, um das Werkstück als das sich bewegende Werkstück zu extrahieren, und einen zweiten Parameter zum Einstellen einer Größe eines Randbereichs, der als ein vom letzten Bild auszuschließender Bereich zu einer Peripherie eines Pixelbereichs des sich bewegenden Werkstücks hinzugefügt werden muss.
Das Erfassungssystem nach Anspruch 6, wobei die Einheit zur Zielbestimmung eine Erfassungsverarbeitung zum Erfassen eines Werkstücks auf jedem der Vielzahl von Bildern durchführt, und das Werkstück im stationären Zustand auf der Grundlage einer Position eines bei der Erfassungsverarbeitung für jedes der mehreren Bilder erfassten Werkstücks extrahiert und das extrahierte Werkstück als das Ziel für die Bearbeitung bestimmt.