DE102009046107A1

DE102009046107A1 - System and method for interaction between a person and a machine

Info

Publication number: DE102009046107A1
Application number: DE200910046107
Authority: DE
Inventors: Javier Massanell; Thomas May
Original assignee: IFM Electronic GmbH
Current assignee: PMDtechnologies AG
Priority date: 2009-10-28
Filing date: 2009-10-28
Publication date: 2011-05-05
Also published as: WO2011051285A1

Abstract

System für eine Interaktion zwischen einer Person und einer Maschine, insbesondere einem Roboter, - mit Markierungsmitteln, die an der Person an bestimmten Positionen, vorzugsweise Endpositionen von Extremitäten oder Gelenken, angeordnet sind, - mit mindestens einer 3-D-TOF-Kamera zur dreidimensionalen Erfassung des Interaktionsbereichs und zur Erfassung der Markierungsmittel, - mit einer Auswerteeinheit, die derart ausgestaltet ist, dass ausgehend von den erfassten Markierungsmitteln ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt wird, - mit einer Steuereinheit, die die Maschine derart ansteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht gefährdet wird.System for an interaction between a person and a machine, in particular a robot, - with marking means which are arranged on the person at certain positions, preferably end positions of extremities or joints, - with at least one 3-D TOF camera for three-dimensional Detection of the interaction area and for the detection of the marking means, - with an evaluation unit, which is designed such that, based on the detected marking means, a model of the person is created and a position and a movement of the person is recorded and / or predetermined, - with a control unit, which controls the machine in such a way that if the position and / or movement of the person is critical, the person is not endangered.

Description

Die Erfindung betrifft ein System und ein Verfahren zur Interaktion zwischen einer Person und einer Maschine, insbesondere einem Roboter, bei dem an der Person an bestimmten Positionen Markierungsmittel angeordnet sind und mithilfe einer 3D-TOF-Kamera erfasst werden können. Die Maschine wird über eine Steuereinheit derart angesteuert, dass die erkannte Person nicht in ihrer Sicherheit gefährdet wird.The invention relates to a system and a method for interaction between a person and a machine, in particular a robot, in which marking means are arranged on the person at specific positions and can be detected by means of a 3D TOF camera. The machine is controlled by a control unit so that the recognized person is not endangered in their safety.

Aus der DE 10 2005 003 827 B4 ist bereits eine Vorrichtung und ein Verfahren zur Interaktion zwischen einem Menschen und einer Robotereinheit an einem Roboterarbeitsplatz bekannt, bei der die Annäherung eines Menschen anhand zweier Sicherheitsschwellen überwacht wird. Über eine erste Sensoreinheit wird eine Annäherung eines Menschen an den Arbeitsplatz derart erfasst, dass bei einem Unterschreiten eines ersten Sicherheitsabstandes ein erstes Signal und bei einem Unterschreiten eines zweiten Sicherheitsabstandes ein zweites Signal erzeugt wird. Bei Vorliegen des ersten Signals ist es vorgesehen, die Robotereinheit in einem vorgebbaren Zustand, in einen so genannten sicheren Betriebshalt zu überführen. Liegt das zweite Signal vor, wird die Robotereinheit in einen so genannten Not-Aus-Zustand überführt, in dem die Robotereinheit bewegungslos in ihrer momentanen Stellung verharrt. Weiterhin ist es vorgesehen, dass am Arbeitsplatz der Robotereinheit ein zusätzlicher Sicherheitsschalter angeordnet ist, der die Robotereinheit in den Zustand des sicheren Betriebshaltes überführt.From the DE 10 2005 003 827 B4 There is already known an apparatus and a method for interaction between a human and a robot unit at a robot workstation, in which the approach of a human is monitored by means of two safety thresholds. By means of a first sensor unit, an approach of a person to the workstation is detected in such a way that when a first safety distance is undershot, a first signal is generated and when a second safety distance is undershot, a second signal is generated. In the presence of the first signal, it is provided to transfer the robot unit in a predefinable state to a so-called safe operating stop. If the second signal is present, the robot unit is transferred to a so-called emergency stop state, in which the robot unit remains motionless in its current position. Furthermore, it is provided that an additional safety switch is arranged at the workstation of the robot unit, which transfers the robot unit into the state of safe operating stop.

Aus der DE 103 20 343 B4 ist ein Verfahren zur überwachten Kooperation zwischen einer Robotereinheit und einem Menschen bekannt, bei dem nach einem vorgebbaren Programmablauf Handhabungsschritte innerhalb eines sowohl von der Robotereinheit als auch vom Menschen zugänglichen gemeinsamen Arbeitsraumes durchgeführt werden. Hierbei ist es vorgesehen, dass der Robotereinheit bei relativer Annäherung an den Menschen ein Bewegungsmuster aufgeprägt wird, dass sich durch die Bewegungsrichtung, Bewegungsgeschwindigkeit sowie dem Abstand der Robotereinheit relativ zum Menschen auszeichnet. Aus einer Vielzahl unterschiedlicher abgespeicherter Bewegungsmuster wird ein für den Menschen individuelles Bewegungsmuster ausgewählt, so dass dem Menschen ein Gefühl an Arbeitssicherheit und Kontrolle über die Robotereinheit vermittelt wird. Jedes Bewegungsmuster liegt mindestens in einer ersten und zweiten Qualitätsstufe vor, die sich beispielsweise in ihrer Bewegungsgeschwindigkeit und/oder Bewegungsrichtung unterscheiden. Unter Berücksichtigung eines aktuellen Abbremsweges der Robotereinheit sowie einer maximalen eigenen Bewegungsgeschwindigkeit des Menschen wird die Robotereinheit solange abgebremst oder zum Stillstand gebracht, bis eine Kollisionsgefahr auszuschließen ist.From the DE 103 20 343 B4 A method for supervised cooperation between a robot unit and a person is known in which, after a predefinable program sequence, handling steps are carried out within a common working space accessible to both the robot unit and the human. In this case, it is provided that the robot unit is impressed on a relative approach to humans, a movement pattern that is characterized by the direction of movement, movement speed and the distance of the robot unit relative to humans. From a multiplicity of different stored movement patterns, an individual movement pattern is selected for the person, so that the person is given a sense of occupational safety and control over the robot unit. Each movement pattern is present at least in a first and second quality level, which differ, for example, in their movement speed and / or movement direction. Taking into account a current braking distance of the robot unit and a maximum own movement speed of the human, the robot unit is braked or brought to a standstill until a risk of collision is ruled out.

Aus dem Stand der Technik sind ferner Systeme zur dreidimensionalen Bilderfassung bekannt, welche mit Hilfe einer aktiven Beleuchtung arbeiten. Dazu gehören so genannten Time-of-flight-(TOF-) oder Laufzeitmesssysteme. Diese verwenden eine amplitudenmodulierte oder gepulste Beleuchtung, zur Ausleuchtung der zu erfassenden dreidimensionalen Szenerie.Systems for three-dimensional image acquisition which operate with the aid of active illumination are also known from the state of the art. These include so-called time-of-flight (TOF) or transit time measurement systems. These use amplitude-modulated or pulsed illumination to illuminate the three-dimensional scene to be detected.

Mit Kamerasystem soll insbesondere alle 3D-TOF-Kamerasysteme mit umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u. a. in den Anmeldungen DE 196 35 932 , EP 1 777 747 , US 6 587 186 und auch DE 197 04 496 beschrieben und beispielsweise von der Firma ,ifm electronic gmbh' als Frame-Grabber O3D101/M01594 zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.In particular, all 3D TOF camera systems should be included with the camera system, which obtain runtime information from the phase shift of an emitted and received radiation. In particular, PMD cameras with photonic mixer detectors (PMD) are suitable as 3D TOF cameras, as described, inter alia, in the applications DE 196 35 932 . EP 1 777 747 . US Pat. No. 6,587,186 and also DE 197 04 496 described and for example by the company, ifm electronic gmbh 'as a frame grabber O3D101 / M01594 relate. In particular, the PMD camera allows a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.

Aufgabe der Erfindung ist es ein System mit einer 3D-TOF-Kamera für ein Interaktions-System zwischen einer Person und einer Maschine weiter zu bilden.The object of the invention is to further develop a system with a 3D TOF camera for an interaction system between a person and a machine.

Die Aufgabe wird in vorteilhafter Weise durch die erfindungsgemäße Vorrichtung und dem erfindungsgemäßen Verfahren der unabhängigen Ansprüche gelöst.The object is achieved in an advantageous manner by the device according to the invention and the method according to the invention of the independent claims.

Vorteilhaft sieht das erfindungsgemäße System für eine Interaktion zwischen einer Person und einer Maschine, insbesondere einem Roboter, Markierungsmittel vor, die an bestimmten Positionen der Person, vorzugsweise an Endpositionen von Extremitäten oder Gelenken, angeordnet sind. Mindestens eine 3D-TOF-Kamera dient zur dreidimensionalen Erfassung des Interaktionsbereichs und zur Erfassung der Markierungsmittel. Mit Hilfe einer Auswerteeinheit wird ausgehend von den erfassten Markierungsmitteln ein Modell der Person erstellt und eine Position und eine Bewegung der Person erfasst und/oder vorbestimmt. Anhand der erfassten und/oder vorbestimmten Position und Bewegung der Person wird die Maschine über eine Steuereinheit derart angesteuert, dass bei einer sicherheitskritischen Position und/oder Bewegung der Person, die Person nicht weiter gefährdet wird.Advantageously, the system according to the invention for an interaction between a person and a machine, in particular a robot, before marking means, which are arranged at certain positions of the person, preferably at end positions of extremities or joints. At least one 3D TOF camera is used for the three-dimensional acquisition of the interaction area and for the detection of the marking means. With the aid of an evaluation unit, based on the detected marking means, a model of the person is created and a position and a movement of the person are detected and / or predetermined. Based on the detected and / or predetermined position and movement of the person, the machine is controlled via a control unit such that in a safety-critical position and / or movement of the person, the person is not further endangered.

Zweckmäßiger Weise sind die Markierungsmittel als Reflektoren ausgebildet, so wird in vorteilhafter Weise sichergestellt, dass auch bei starkem Umgebungslicht das Markierungsmittel eindeutig und sicher vom Hintergrund unterschieden werden kann.Appropriately, the marking means are designed as reflectors, it is advantageously ensured that even with strong Ambient light the marker can be clearly and reliably distinguished from the background.

Weiterhin ist es nützlich die Markierungsmittel mit unterschiedlichen optischen Eigenschaften auszugestalten. So ist es möglich, für bestimmte Positionen Markierungsmittel mit besonderen optischen Eigenschaften bereitzustellen. So kann beispielsweise ein Reflektor, der am Kopf der Person angeordnet ist, eine andere optische Eigenschaft aufweisen als die Reflektoren die an der Schulter oder an der Hand angeordnet sind. Prinzipiell ist es denkbar, für jede Position eine eigene optische Eigenschaft vorzusehen.Furthermore, it is useful to design the marking agents with different optical properties. Thus, it is possible to provide markers with particular optical properties for certain positions. For example, a reflector, which is arranged on the head of the person, have a different optical property than the reflectors which are arranged on the shoulder or on the hand. In principle, it is conceivable to provide a separate optical property for each position.

Gemäß einer weiteren Ausgestaltung ist es vorgesehen, eine Arbeitskleidung der interagierenden Person mit Markierungsmittel an den bestimmten Positionen auszustatten.According to a further embodiment, it is provided to equip a working clothes of the interacting person with marking means at the specific positions.

Weiterhin ist es von Vorteil mehr als eine 3D-TOF-Kamera vorzusehen. Die Verwendung mehrerer Kameras erlaubt es insbesondere, die Sicherheit der erfassten Daten zu erhöhen. Darüber hinaus ist es mithilfe mehrerer Kameras möglich auch gegebenenfalls durch die Person oder der Maschine verdeckte Bereiche zu erfassen.Furthermore, it is advantageous to provide more than a 3D TOF camera. In particular, the use of multiple cameras allows the security of the collected data to be increased. In addition, using multiple cameras, it is also possible to detect areas that may be hidden by the person or the machine.

In einer weiteren Ausgestaltung ist es vorteilhaft, innerhalb des Interaktionsbereichs mindestens zwei, personenunabhängige Referenzmarkierungen, insbesondere Reflektoren, vorzusehen. Ort und Abstand dieser Referenzmarkierungen sind in Bezug auf mindestens eine 3D-TOF-Kamera bekannt, sodass ausgehend von diesen Referenzmarkierungen das 3D-Modell einer 3D-TOF-Kamera kalibriert werden kann. Ferner ist es von Vorteil, auch ein Verfahren zum Betreiben des vorgenannten Systems bereitzustellen, bei dem die mit der Maschine interagierende Person anhand von Markierungsmitteln, die an bestimmten Stellen der Person angeordnet sind, in seiner Position und Bewegung erfasst wird, wobei anhand der erfassten Markierungsmittel zunächst ein Modell der Person ermittelt wird, anhand dessen die weiteren Berechungen erfolgen.In a further embodiment, it is advantageous to provide at least two, person-independent reference markings, in particular reflectors, within the interaction area. The location and spacing of these reference marks are known with respect to at least one 3D TOF camera so that the 3D model of a 3D TOF camera can be calibrated based on these reference marks. Furthermore, it is also advantageous to provide a method for operating the aforementioned system, in which the person interacting with the machine is detected in its position and movement by means of marking means which are arranged at certain locations of the person, wherein the basis of the detected marking means First, a model of the person is determined, on the basis of which further calculations are made.

Das Verfahren lässt sich weiter verbessern, indem vor der Interaktion der Person mit der Maschine in einer Startphase zunächst alle Markierungsmittel der Person erfasst werden. So kann sichergestellt werden, dass für die Person ein geeignetes Modell für die weiteren Berechungen hinterlegt werden kann.The method can be further improved by first detecting all of the person's markers before the person interacts with the machine in a startup phase. This can ensure that a suitable model for the further calculations can be deposited for the person.

Zweckmäßiger Weise ist es vorgesehen, dass die Person in der Startphase bestimmte Positionen einnimmt und/oder bestimmte Gesten durchführt. So wird beispielsweise sichergestellt, dass alle Gelenkpunkte der Person erkannt und eine maximale Bewegungsmöglichkeit der Person erfasst wird.Appropriately, it is intended that the person in the starting phase takes certain positions and / or performs certain gestures. This ensures, for example, that all points of the person's joints are recognized and a maximum range of motion of the person is detected.

Vorteilhaft wird die Interaktion mit der Maschine nur dann freigegeben, wenn in der Startphase alle erwarteten Markierungsmittel eindeutig erkannt wurden.Advantageously, the interaction with the machine is only released if all expected marking means were clearly identified in the starting phase.

In einer weiteren Ausgestaltung ist es vorgesehen, bei einer erkannten oder prognostizierten Sicherheitskritischen Position und/oder Bewegung der Person die Maschine so anzusteuern, dass eine Gefährdung der Person auszuschließen ist.In a further embodiment, it is provided to control the machine in a recognized or predicted safety-critical position and / or movement of the person so that a risk to the person is excluded.

Liegen die erkannten oder prognostizierten Positionen und/oder Bewegung der Person innerhalb eines erwarteten Prozessbereiches, ist es vorteilhaft vorgesehen einen kooperativen Prozessablauf zwischen Maschine und der Person aufrechtzuerhalten.If the recognized or predicted positions and / or movement of the person lie within an expected process area, it is advantageously provided to maintain a cooperative process sequence between the machine and the person.

Es zeigen:Show it:

1 schematisch ein erfindungsgemäßes System, 1 schematically a system according to the invention,

2 einen Maschinenarbeitsbereich mit einer kooperierenden Person, 2 a machine work area with a cooperating person,

3 eine kooperierende Person innerhalb eines Interaktionsbereichs, 3 a cooperating person within an interaction area,

4 eine kooperierende Person außerhalb des Interaktionsbereichs in der Startphase. 4 a cooperating person outside the interaction area in the starting phase.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem 3D-TOF-Kamerasystem, wie es beispielsweise aus der DE 197 04 496 bekannt ist. 1 shows a measurement situation for an optical distance measurement with a 3D TOF camera system, as for example from the DE 197 04 496 is known.

Das 3D-TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. ein Beleuchtungsmodul 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3D-TOF-Kamera 200 mit einer Empfangsoptik 150 und einem Fotosensor 15. Der Fotosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.The 3D TOF camera system here comprises a transmitting unit or a lighting module 100 with a light source 12 and associated beam shaping optics 50 and a receiving unit or 3D TOF camera 200 with a receiving optics 150 and a photosensor 15 , The photosensor 15 is preferably designed as a pixel array, in particular as a PMD sensor. The receiving optics typically consist of improving the imaging properties of a plurality of optical elements. The beam shaping optics 50 the transmitting unit 100 is preferably formed as a reflector. However, it is also possible to use diffractive elements or combinations of reflective and diffractive elements.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Fotosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Fotosensor 15. Im Photosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.The measurement principle of this arrangement is based essentially on the fact that, based on the phase difference of the emitted and received light, the transit time of the emitted and reflected light can be determined. For this purpose, the light source and the photosensor 15 via a modulator 18 together with a specific modulation frequency with a first phase position a applied. The light source sends according to the modulation frequency 12 an amplitude modulated signal with the phase a. This signal or the electromagnetic radiation is in the illustrated case of an object 20 reflects and hits due to the distance traveled correspondingly phase-shifted with a second phase position b on the photosensor 15 , In the photosensor 15 becomes the signal of the first phase a of the modulator 18 mixed with the received signal, which has meanwhile assumed a second phase position b, and determines the phase shift or the object distance from the resulting signal.

2 zeigt schematisch einen Maschinenarbeitsplatz mit einem Roboter 30 und einer kooperierenden Person 300. Der Roboter 30 ist hier als Greif- bzw. Werkzeug-Roboter mit mehreren Gelenkarmen 32 und Gelenken 33 ausgestaltet. Zwischen der Person 300 und dem Roboter 30 befindet sich ein Arbeitsplatz 500, der gemeinsam von der Person 300 und dem Roboter 30 vorzugsweise kooperierend genutzt wird. Die gesamte Situation in der sich der Roboter 30 und die Person 300 befinden wird von einer 3D-TOF-Kamera 10 erfasst. Zur besseren Erkennung der Extremitäten der Person 300 sind an bevorzugten Stellen wie beispielsweise Kopf, Schulter, Handgelenk, Arm- und Kniegelenk sowie im Fußbereich Markierungsmittel, vorzugsweise Reflektoren, angeordnet. Die von der 3D-TOF-Kamera erfasste Situation wird mithilfe einer Auswerteeinheit bzw. Bildverarbeitung 210 verarbeitet und insbesondere im Hinblick auf Position und Bewegung der Person 300 ausgewertet. Die Daten der Auswerteeinheit 210 werden vorzugsweise einer Steuereinheit 35 des Roboters 30 zu Verfügung gestellt. Ausgehend von den Position-, Bewegungs- und Lagedaten der Person 300 kann in Relation zu den bekannten Positions- und Bewegungsplänen des Roboters eine sicherheitskritische Lage der Person 300 erkannt werden. Um die Gefahr für die Person zu reduzieren oder gegebenenfalls auch abzuwenden, kann es vorgesehen sein, beispielsweise die Geschwindigkeit der Robotergelenke bei Annäherung zu verringern, sodass sichergestellt werden kann, dass der Roboterarm jederzeit gefahrlos zum Stillstand gebracht werden kann. 2 schematically shows a machine workstation with a robot 30 and a cooperating person 300 , The robot 30 is here as a gripper or tool robot with multiple articulated arms 32 and joints 33 designed. Between the person 300 and the robot 30 there is a workplace 500 that is shared by the person 300 and the robot 30 is preferably used cooperatively. The whole situation in which the robot 30 and the person 300 will be located by a 3D TOF camera 10 detected. For better recognition of the extremities of the person 300 are at preferred locations such as head, shoulder, wrist, arm and knee joint and foot markers, preferably reflectors arranged. The situation detected by the 3D TOF camera is determined by means of an evaluation unit or image processing 210 processed and in particular with regard to position and movement of the person 300 evaluated. The data of the evaluation unit 210 are preferably a control unit 35 of the robot 30 made available. Based on the position, movement and position data of the person 300 can in relation to the known position and movement plans of the robot a safety-critical position of the person 300 be recognized. In order to reduce the risk for the person or possibly avert it, it can be provided, for example, to reduce the speed of the robot joints when approaching, so that it can be ensured that the robot arm can be brought to a standstill at any time without danger.

Bei einer kooperierenden Interaktion zwischen Person 300 und Roboter 30 werden von der Person 300 vorbestimmte Bewegungsmuster erwartet. Kooperiert die Person 300 innerhalb dieser Bewegungsmuster, hält die Maschine den kooperativen Prozessablauf aufrecht. Weicht die Person 300 jedoch von diesem Prozessablauf ab, geht die Maschine gegebenenfalls in einen Sicherheitsmodus oder weicht den Bewegungen der Person 300 aus.In a cooperative interaction between person 300 and robots 30 be from the person 300 expected movement patterns expected. Cooperates the person 300 Within these movement patterns, the machine maintains the cooperative process flow. Dodges the person 300 however, from this process flow, the machine may enter a safety mode or evade the person's movements 300 out.

Auch für den kooperierenden Prozessablauf ist es vorgesehen, dass die maximale Geschwindigkeit des Roboters so gewählt ist, dass er innerhalb einer vorgegebenen Sicherheitsgrenze bei Gefahr zum Stillstand kommt. Beispielsweise kann es vorgesehen sein, dass die Geschwindigkeit des Roboters mit abnehmendem Abstand der Person 300 von dem Roboter 30 reduziert wird.Also for the cooperating process flow, it is provided that the maximum speed of the robot is selected so that it comes to a standstill within a predetermined safety limit in case of danger. For example, it may be provided that the speed of the robot decreases with decreasing distance of the person 300 from the robot 30 is reduced.

3 zeigt schematisch die interaktive Situation in einer Aufsicht. Beispielhaft sind in diesem Ausführungsbeispiel drei 3D-TOF-Kameras 10 vorgesehen, die innerhalb ihres Erfassungsbereiches E den Interaktionsbereich I der Maschine 30 vollständig erfassen. Der Interaktionsbereich I der Maschine 30 wird vornehmlich durch die maximalen Bewegungsmöglichkeiten des Roboters aufgespannt und umfasst selbstverständlich nicht nur eine zweidimensionale Ebene, sondern auch einen entsprechenden Volumenbereich. In der Darstellung befindet sich die Person 300 am Maschinenarbeitsplatz 500 und kann beispielsweise das auf dem Arbeitsplatz 500 befindliche Arbeitsmittel 510 dem Roboter 30 kooperativ zur Verfügung stellen. 3 schematically shows the interactive situation in a supervision. By way of example, in this embodiment, three 3D TOF cameras 10 provided within its coverage area E the interaction area I of the machine 30 completely capture. The interaction area I of the machine 30 is mainly spanned by the maximum range of motion of the robot and of course not only includes a two-dimensional plane, but also a corresponding volume range. In the presentation is the person 300 at the machine workplace 500 and, for example, that on the workstation 500 working equipment 510 the robot 30 cooperatively provide.

4 zeigt eine mögliche Startphase der in 3 gezeigten Arbeitssituation. Im dargestellten Fall befindet sich die Person 300 in einer vorbestimmten Startposition SP. Diese Startposition befindet sich vorzugsweise außerhalb des Interaktionsbereiches, sodass in dieser Phase zunächst keine potenzielle Gefahr von der Maschine 30 ausgeht. Innerhalb der Startphase ist es erfindungsgemäß vorgesehen, dass die Person 300 sich vor Beginn einer Interaktion dem System in der Startposition SP zu erkennen gibt. Vorteilhaft nimmt die Person eine bestimmte Haltung oder eine bestimmte Geste ein, um dem System die Erkennung der Markierungsmittel zu erleichtern bzw. die Zuverlässigkeit der Erkennung zu verbessern. Zu einer weiteren Verbesserung der Erkennung kann es zudem auch vorgesehen sein, mehrere Positionen oder Gesten einzunehmen. Nachdem die Person anhand der Erfassung aller erwarteten Markierungsmittel sicher erfasst und erkannt wurde gibt das System eine mögliche Interaktion frei. 4 shows a possible starting phase of in 3 shown work situation. In the case shown is the person 300 in a predetermined starting position SP. This starting position is preferably outside the interaction area, so at this stage initially no potential danger from the machine 30 emanates. Within the starting phase, it is inventively provided that the person 300 to recognize the system in the starting position SP before the beginning of an interaction. Advantageously, the person assumes a particular posture or gesture to facilitate recognition of the markers to the system or to improve the reliability of the recognition. To further improve recognition, it may also be provided to take multiple positions or gestures. After the person has been safely detected and identified by collecting all expected tagging means, the system releases a possible interaction.

Personen die ohne Markierungsmittel in den Erfassungsbereich E eindringen werden als potenziell gefährdet eingestuft. Abhängig von Geschwindigkeit und Richtung des eindringenden Objektes werden sicherheitsrelevante Maßnahmen bis hin zum Not-Halt der Maschine durchgeführt.Persons who enter the detection area E without marking agents are classified as potentially endangered. Depending on the speed and direction of the penetrating object, safety-related measures are taken up to the emergency stop of the machine.

Durch dieses Vorgehen wird sichergestellt, dass nur entsprechend autorisierte Personen, nämlich solche, die durch bestimmte Markierungsmittel gekennzeichnet sind, kooperativ mit der Maschine in Wechselwirkung treten können. Nicht autorisierte Personen bzw. unbekannte Objekte werden vorsorglich als Sicherheitsrisiko eingestuft.This procedure ensures that only appropriately authorized persons, namely those who are identified by certain marking means, can cooperatively interact with the machine. Unauthorized persons or unknown objects are classified as a precautionary safety risk.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102005003827 B4 [0002]
DE 10320343 B4 [0003]
DE 19635932 [0005]
EP 1777747 [0005]
US 6587186 [0005]
DE 19704496 [0005, 0024]

Claims

System for interaction between a person and a machine, in particular a robot, With marking means arranged on the person at specific positions, preferably end positions of extremities or joints, With at least one 3D TOF camera for the three-dimensional detection of the interaction area and for the detection of the marking means, With an evaluation unit, which is designed such that, based on the detected marking means, a model of the person is created and a position and a movement of the person are detected and / or predetermined, - With a control unit that controls the machine so that in a safety-critical position and / or movement of the person, the person is not endangered.

System according to claim 1, wherein the marking means are formed as reflectors.

System according to one of the preceding claims, in which the marking means are designed with different optical properties

A system according to any one of the preceding claims, wherein a working attire of the interacting person has marking means at the determined positions.

System according to one of the preceding claims, comprising at least two 3D TOF cameras.

System according to one of the preceding claims, in which at least two, person-independent reference mark, in particular reflectors, are mounted within the interaction area.

Method for operating a system according to one of the preceding claims, in which a person interacting with the machine is detected in its position and movement by marking means which are arranged at certain locations of the person, whereby based on the detected marking means, first a model of the person is determined on the basis of which further calculations are made.

Method according to Claim 7, in which, prior to the interaction of the person with the machine in a starting phase, first all marking means of the person are detected.

Method according to one of claims 7 to 8, wherein the person in the starting phase occupies certain positions and / or performs gestures.

Method according to one of claims 7 to 9, wherein in the start phase, the interaction with the machine is released only upon detection of all expected marking means.

Method according to one of claims 7 to 10, wherein based on the last positions and / or movements of the person, taking into account the determined model, the next movement of the person is predetermined or predicted.

Method according to one of claims 7 to 11, wherein in a detected or predicted safety critical position and / or movement of the person, the machine is controlled so that a risk to the person is excluded.

Method according to one of claims 7 to 12, wherein the machine with the person maintains a cooperative process flow when the detected or predicted position and / or movement of the person lies within an expected process area.