AT500234A1

AT500234A1 - PROCESSING DEPTH IMAGE DATA

Info

Publication number: AT500234A1
Application number: AT0067702A
Authority: AT
Original assignee: Vincze Markus Dr; Pichler Andreas Dipl Ing; Haeusler Kurt Dipl Ing
Priority date: 2002-05-02
Filing date: 2002-05-02
Publication date: 2005-11-15
Also published as: DE10319819A1

Description

• · · · « - 1 -• · · · " - 1 -

Verarbeitung von TiefenbilddatenProcessing of depth image data

Die Erfindung bezieht sich auf die Verarbeitung von Tiefenbilddaten, wobei jeder Bildpunkt die Distanz zur Kameraebene angibt, um Informationen über das abgebildete Objekt zu erhalten. Insbesondere betrifft die Erfindung ein Verfahren, das Informationen von Objektmerkmalen bestimmt, wie sie in Fertigungsprozessen benötigt werden. Solche prozesswesentlichen Merkmale sind z.B. Regionen mit Freiformflächen, Vertiefungen, Löchern oder Kühlrippen. Das Verfahren bestimmt die Art des Merkmals, seine Position und Orientierung und ermöglicht so, dass die Parameter des anschließenden Bearbeitungsverfahrens an die jeweilige Oberfläche angepaßt werden können.The invention relates to the processing of depth image data, wherein each pixel indicates the distance to the camera plane to obtain information about the imaged object. In particular, the invention relates to a method that determines information of object features as needed in manufacturing processes. Such process-essential features are e.g. Regions with free-form surfaces, indentations, holes or cooling fins. The method determines the type of feature, its position and orientation and thus allows the parameters of the subsequent processing method can be adapted to the respective surface.

Tiefenbilddaten, im folgenden auch oft einfach Tiefendaten genannt, können gemäß dem Stand der Technik durch verschiedene Sensoren aufgenommen werden. Die Schwierigkeit besteht in der Erkennung der relevanten Information in den so erhaltenen Bilddaten, wobei die Frage, welche Informationen relevante Informationen sind, von der Aufgabe, der Anwendung und dem Fertigungsprozess abhängt. Die Erfindung bezieht sich auf die Erkennung der relevanten geometrischen Merkmale von Teilen und Objekten, die bei Fertigungsprozessen oder bei Serviceaufgaben Vorkommen.Depth image data, also referred to below as simply depth data, can be recorded by various sensors according to the prior art. The difficulty is in the recognition of the relevant information in the image data thus obtained, the question of which information is relevant information depends on the task, the application and the manufacturing process. The invention relates to the detection of the relevant geometric features of parts and objects that occur in manufacturing processes or service tasks.

Beispiele, bei denen die Erfindung zum Einsatz kommen kann, sind: Pulver- und Sprühlackieren, Waschen und Reinigen (auch mit Hochdruck), Entfetten, Sandstrahlen, Flammen, Kleben, Polieren, Entgraten und Inspizieren. Prinzipiell kann die Methode auf alle Bearbeitungsprozesse angewendet werden, da sich die Bearbeitung an der Geometrie der Teile orientiert. So ist beispielsweise die Lackierbewegung über eine ebene Fläche der Geometrie genauso anzupassen wie die Lackierbewegung, um in ein Loch hineinzusprühen. Die Ebene kann mit parallelen geraden Bewegungen abgedeckt werden, ein Loch verlangt das Hineinsprühen in diese Vertiefung in mehreren Orientierungen, um alle Seiten des Loches zu lackieren. Dies bedeutet, dass die Erkennung dieser prozesswesentlichen geometrischen Merkmale für die Automatisierung des Prozesses notwendig ist.Examples in which the invention can be used are: powder and spray painting, washing and cleaning (also with high pressure), degreasing, sandblasting, flame, gluing, polishing, deburring and inspection. In principle, the method can be applied to all machining processes, since the machining is based on the geometry of the parts. For example, the painting movement over a flat surface of the geometry is just as adaptable as the painting movement to spray into a hole. The plane can be covered with parallel straight movements, a hole requires spraying into this recess in several orientations to paint all sides of the hole. This means that the recognition of these process-essential geometric features is necessary for the automation of the process.

Die erfindungsgemäße Erkennung dieser Merkmale in Tiefenbildem verwendet Methoden der Bildverarbeitung. Gängige Erkennungsmethoden für Kanten werden z.B. in in Jiang X. Y., Bunke H.: Fast Segmentation of ränge images into planar regions by scan linc grouping. Machinc Vision and Applications. 7(2):115-122. 1994 und in in Hoover A. et al.: An -2- -2- • · • · · experimental comparison of ränge image Segmentation algorithms. IEEE Transactions on Pattem Analysis and Machine Intelligence, 1996 untersucht, Regionen mit gleichen Eigenschaften werden z.B. in Besl J. P., Jain C. R.: Segmentation through variable-order surface fitting. IEEE Transactions on Pattem Analysis and Machine Intelligence, 10:167-192, 1988.; in Jiang X. Y., Bunke H.: Fast Segmentation of ränge images into planar regions by Scan line grouping. Machine Vision and Applications, 7(2):115-122, 1994: in Jolion J., Meer P., Bataouche S.: Robust clustering with applications in Computer Vision. IEEE Transactions on Pattem Analysis and Machine Intelligence, 13(8):791-802, 1991 und in Hoover A. et al.: An experimental comparison of ränge image Segmentation algorithms. IEEE Transactions on Pattem Analysis and Machine Intelligence, 1996 segmentiert. Der Offenbarungsgehalt der genannten Literaturstellen wird durch Bezugnahme in die vorliegende Anmeldung übernommen.The recognition according to the invention of these features in depth images uses methods of image processing. Common detection methods for edges are e.g. in Jiang X. Y., Bunke H .: Fast Segmentation of Ranks images into planar regions by scan linc grouping. Machinc Vision and Applications. 7 (2): 115-122. 1994 and in Hoover A. et al .: An -2- ······· experimental comparison of ranked image segmentation algorithms. IEEE Transactions on Pattem Analysis and Machine Intelligence, 1996, regions with similar properties are e.g. in Besl J.P., Jain C.R .: Segmentation through variable-order surface fitting. IEEE Transactions on Pattem Analysis and Machine Intelligence, 10: 167-192, 1988; in Jiang X. Y., Bunke H .: Almost Segmentation of Ranks images into planar regions by Scan Line Grouping. Machine Vision and Applications, 7 (2): 115-122, 1994: in Jolion J., Sea P., Bataouche S .: Robust clustering with applications in Computer Vision. IEEE Transactions on Pattem Analysis and Machine Intelligence, 13 (8): 791-802, 1991 and in Hoover A. et al .: An experimental comparison of ranked image segmentation algorithms. IEEE Transactions on Pattem Analysis and Machine Intelligence, 1996 segmented. The disclosure of the cited references is incorporated by reference into the present application.

Die letztgenannte Veröffentlichung präsentiert einen Vergleich der bekanntesten Methoden. Es wird gezeigt, dass Messunsicherheiten und die Vielzahl an möglichen geometrischen Formen sowohl die Erkennung von Kanten als auch die Segmentierung in Regionen nur mit Unsicherheiten zulassen.The latter publication presents a comparison of the best known methods. It is shown that uncertainties of measurement and the variety of possible geometrical shapes allow both the detection of edges and the segmentation in regions with uncertainties.

Im Stand der Technik ist somit die Erkennung von ebenen, zylindrischen oder kugelförmigen Flächen, die mittels elementarer Merkmalserkennung von Kanten, Regionen und Ebenen höherer Ordnung erreicht wird, möglich. Eine allgemeine Beschreibung der Geometrie wird in sogenannten „Rapid Prototyping“ Methoden oder in der medizinischen Bildverarbeitung verwendet. Diese Methode erzeugt ein Dreiecksnetz basierend auf den Tiefenbilddaten wie in Hoppe H. et al.: Surface Reconstruction from unorganised points, SIGGRAPH '92 Conference Proceedings, 71-78. ACM SIGGRAPH. July 1992 beschrieben ist. Auch die Offenbarung dieser Literaturstelle wird durch Bezugnahme in die vorliegende Anmeldung übernommen. Mit derartigen Dreiecksnelzcn kann jede Geometrie dargestellt werden. Werkzeuge wie VTK (Visualisation Tool Kil) unterstützen die Erzeugung und Handhabung dieser Dreiecksnetze,In the prior art, it is thus possible to detect planar, cylindrical or spherical surfaces which are achieved by means of elementary feature recognition of edges, regions and higher-order planes. A general description of the geometry is used in so-called "rapid prototyping" methods or in medical image processing. This method generates a triangle mesh based on the depth image data as described in Hoppe H. et al .: Surface Reconstruction of Unorganized Points, SIGGRAPH '92 Conference Proceedings, 71-78. ACM SIGGRAPH. July 1992 is described. The disclosure of this reference is incorporated by reference into the present application. With such triangles, any geometry can be represented. Tools such as VTK (Visualization Tool Kil) support the generation and handling of these triangular networks,

Aufgabenorientierte Ansätze zur Bildverarbeitung sind für Vidcobildcr (Grauwert- oder Farbbilder) bekannt aus: Mitzkus N. et al.: Shapc dctcction dcvicc and method for dctecting the shapc of a moving object. EP0922931, 1999; aus Califano Λ.: Gcncralizcd ncighborhood paramelcr transform for image feature extraction. US5073962. 1991; aus Akinori W. et al.: Apparatus for cxtracting pattern fealures. US5870490, 1999; ausTask-oriented approaches to image processing are known for vidcobildcr (grayscale or color images) from: Mitzkus N. et al .: Shapc dctcction dcvicc and method for dctecting the shape of a moving object. EP0922931, 1999; from Califano Λ .: Gcncralizcd ncighborhood paramelcr transform for image feature extraction. US5073962. 1991; from Akinori W. et al .: Apparatus for cxtracting pattern fealures. US5870490, 1999; out

Hiroyuki O et al.: Skin area detection for video image Systems. EP0836326, 1998; aus Pentland A. et al.: Detection, recognition and coding of complex objects using probalistic eigenspace analysis. US5710833,1998; aus Shin-Yi H.: Mehod for identifying objects and features in an image. US5640468, 1997 und aus Fumio K.: Method of extracting features 5 of image. US5479535, 1995. Der Offenbarungsgehalt der genannten Literaturstellen wird durch Bezugnahme in die vorliegende Anmeldung übernommen.Hiroyuki O et al .: Skin area detection for video image systems. EP0836326, 1998; from Pentland A. et al .: Detection, recognition and coding of complex objects using probalistic eigenspace analysis. US5710833,1998; from Shin-Yi H .: Mehod for identifying objects and features in an image. US5640468, 1997 and Fumio K .: Method of extracting features 5 of image. US5479535, 1995. The disclosure of the cited references is incorporated by reference into the present application.

Diese bekannten Methoden unterscheiden sich vom Gegenstand der Erfindung durch die Art der Eingangsdaten und der speziellen Art der Datenverarbeitung, da nur Farbbilder oder Grauwertbilder klassifiziert werden, jedoch keine Tiefenbilder. Für die eingangs 10 genannten Zwecke ist eine Klassifizierung von Farbbildern oder Grauwertbildem aber nicht hilfreich.These known methods differ from the subject matter of the invention by the nature of the input data and the particular type of data processing, since only color images or gray level images are classified, but no depth images. However, classification of color images or gray value images is not helpful for the purposes mentioned in the introduction.

Ein Verfahren, das aus: Robertson, C., Fisher, R.B., et.al.: Fitting of constrained feature models to poor 3D data; Proc. Adaptive Computing in Design and Manufacture (ACDM 2000), Plymouth, UK, pp 149-160, April., 2000; bekannt ist, extrahiert parametrische 15 Modelle von Merkmalen aus den mit Unsicherheiten behafteten 3D- oder Tiefenbilddaien, wobei zur Optimierung der Parameter ein evolutionärer Algorithmus verwendet wird. Der Offenbarungsgehalt der genannten Literaturstelle wird durch Bezugnahme in die vorliegende Anmeldung übernommen. Der Ansatz beschränkt sich auf die Erkennung von Kreisen, wie sie durch Bohrungen oder kreisrunde Vertiefungen entstehen und kann auch 20 nicht auf andere Merkmale angewandt bzw. dafür adaptiert werden.A method consisting of: Robertson, C., Fisher, R.B., et al .: Fitting of constrained feature models to poor 3D data; Proc. Adaptive Computing in Design and Manufacture (ACDM 2000), Plymouth, UK, pp 149-160, April., 2000; is known, extracts parametric models of features from the uncertain 3D or depth image data using an evolutionary algorithm to optimize the parameters. The disclosure of said reference is incorporated by reference into the present application. The approach is limited to the detection of circles created by drilling or circular pits and can not be applied or adapted to other features.

Die Erfindung hat das Ziel, ein Verfahren der eingangs genannten Art anzugeben, das es ermöglicht, vorgegebene Oberflächenmerkmale wie Vertiefungen, Löcher, Rippen, Rippenfelder, etc. von Gegenständen, deren Oberfläche in der Folge bearbeitet wird, zu erkennen. 25 Erfindungsgemäß werden diese Ziele dadurch erreicht dass, aus elementaren geometrischen Merkmalen, wie Kanten, und Regionen, durch vorbestimmte, geeignete Kriterien die Oberflächenmerkmale ausgewählt, erkannt, abgegrenzt und lokalisiert werden, die für einen nachfolgenden Fertigungsprozess bedeutsam sind.The invention aims to provide a method of the type mentioned, which makes it possible to recognize predetermined surface features such as depressions, holes, ribs, ribbed fields, etc. of objects whose surface is processed in the sequence. According to the invention, these goals are achieved by selecting, identifying, delimiting and locating, from elementary geometric features such as edges and regions, by predetermined suitable criteria, the surface features that are significant to a subsequent manufacturing process.

Durch diese Verfahrensschritte erhält man die gewünschten klassifizierten geometrischen 30 Merkmale der dem Verfahren unterworfenen Teile.These steps provide the desired classified geometric features of the parts subjected to the process.

* · · f · · a* · · F · a

• ····· ·· , J • · · · · « g ··· · ·· · ... -4-• ····· ··, J • · · · · · · · · · · · · · ·

Die Erfindung wird im Folgenden anhand eines Beispieles näher erläutert. Die einzelnen Schritte werden in der Zeichnung nach Art von Blockdiagrammen dargestellt, Zusammenhänge mit der geometrischen Situation werden dargelegt. Dabei zeigt die Fig.l ein prinzipielles Blockschaltbild des erfindungsgemäßen Verfahrens zum Erkennen von prozessorientierten Merkmalen in Tiefenbildem, die Fig. 2 ein detailliertes Blockschaltbild, die Fig. 3 die geometrischen Grundlagen für die Erkennung einer Vertiefung anhand dreier Pixel, die Fig. 4 ein Blockschaltbild des Ausschnittes: „Extraktion von Vertiefungen“ der Fig. 2, die Fig. 5 ein Blockschaltbild des Ausschnittes: „Suche der Randpunkte in den vier Hauptrichtungen“ der Fig. 4, die Fig. 6 eine geometrische Erläuterung für die Interpolation von Schattenpunkten, die Fig. 7 ein Blockschaltbild des Ausschnittes: „Klassifizierung von 3D Vertiefungspunkten“ der Fig. 4, die Fig. 8 ein Blockschaltbild des Ausschnittes: „Berechnung der Öffnungsdeckfläche der Vertiefungen“ der Fig. 4 und die Fig. 9 ein detailliertes Blockschaltbild für den Ausschnitt: „Extraktion von Rippenregionen“ der Fig. 2.The invention will be explained in more detail below with reference to an example. The individual steps are represented in the drawing in the form of block diagrams, relationships with the geometric situation are explained. FIG. 2 shows a detailed block diagram, FIG. 3 shows the geometric principles for the recognition of a depression on the basis of three pixels, FIG. 4 shows a block diagram 5, a block diagram of the section: "Search of the edge points in the four main directions" of Fig. 4, Fig. 6 shows a geometric explanation for the interpolation of shadow points, the Fig. 7 is a block diagram of the section: "Classification of 3D pit points" of Fig. 4, Fig. 8 is a block diagram of the section: "Calculation of the opening deck of the pits" of Fig. 4 and Fig. 9 is a detailed block diagram for the section : "Extraction of Rib Regions" of FIG. 2.

Als Beispiel eines Einsatzes der Erfindung sei die Automatisierung eines Fertigungsprozesses für kleine Losgrößen angegeben. Bei Prozessen wie z.B., dem Reinigen, Lackieren, Entgraten und Polieren, werden derzeit Programme für den Roboter für jedes einzelne Teil manuell erstellt. Jedes neue Teil muss neu programmiert werden. Dies ist bei hoher Variantenzahl jedoch nicht wirtschaftlich. Der Prozess, z.B. des Lackierens, benötigt spezielle Lackierstrategien abhängig von geometrischen Merkmalen der Teile. Eine ebene Fläche kann mit beliebig orientierten, parallelen geraden Bewegungen lackiert werden, in eine Vertiefung muss ganz speziell hineingesprüht werden. Die Erfindung ermöglicht es nun, diese prozessorientierten geometrischen Merkmale (Ebene, Vertiefung) automatisch zu erfassen und so eine nachfolgende automatische Planung der Bearbeitungsbewegungen für den Roboter, der die Lackierung durchführt, zu ermöglichen.As an example of an application of the invention, the automation of a manufacturing process for small batches is given. In processes such as cleaning, painting, deburring, and polishing, programs for the robot are currently created manually for each part. Every new part has to be reprogrammed. However, this is not economical with a large number of variants. The process, e.g. Painting, requires special painting strategies depending on geometric features of the parts. A flat surface can be painted with arbitrarily oriented, parallel straight movements, in a recess must be specially sprayed into it. The invention now makes it possible to automatically detect these process-oriented geometric features (plane, depression) and thus to enable subsequent automatic planning of the machining movements for the robot performing the painting.

Da in Teilcfamilicn, darunter versteht man Teile mit ähnlichen Merkmalen aber unterschiedlicher Größe oder Anordnung der Merkmale, beispielsweise große und kleine -5- ··» 9 9In subfamilies, this means parts with similar features but different size or arrangement of the features, for example, large and small -5- ·· 9 9

Motoren, nur eine begrenzte Anzahl an Merkmalen vorkommt, kann durch die Erkennung dieser Merkmale das ganze Teilespektrum automatisch bearbeitet werden. Das große Potential liegt in der Umsetzung dieses Ansatzes auf die verschiedenen Fertigungsprozesse und in der dadurch ermöglichten Automatisierung.Motors, only a limited number of features occurs, by recognizing these features, the whole parts spectrum can be automatically edited. The great potential lies in the implementation of this approach on the various manufacturing processes and the resulting automation.

Die Erfindung betrifft die Methode zur Erkennung von Objektmerkmalen unter Verwendung von Wissen über den Fertigungsprozess, das für die Verarbeitungsaufgabe relevant ist. Je nach dem durchzuftihrenden Fertigungsprozess sind andere Objektmerkmale relevant. Eine Beschreibung der relevanten Merkmale wird verwendet, um die Erkennungsmethode festzulegen. Der Fortschritt dieser Methode ist die Fokussierung auf die Fertigungsaufgabe, und folglich die Erhöhung der Zuverlässigkeit der Merkmalserkennung. Ein anderer Fortschritt ist die automatische Durchführung der Erkennungsmethode, die notwendig ist um die Methode in der Fertigung oder kommerziell einzusetzen.The invention relates to the method of recognizing object features using knowledge of the manufacturing process that is relevant to the processing task. Depending on the production process to be carried out, other object features are relevant. A description of the relevant features is used to set the detection method. The advancement of this method is the focus on the manufacturing task, and consequently the increase of the reliability of feature recognition. Another advance is the automatic implementation of the detection method, which is necessary to use the method in production or commercial.

Die Erfindung präsentiert ein Verfahren, um prozessorientiertes Wissen für die Merkmalserkennung zu verwenden. Bekannte Methoden werden verwendet um elementare geometrische Merkmale zu bestimmen. Elementare geometrische Merkmale sind derzeit das aus den Tiefenbilddaten erzeugte Dreiecksnetz, die Kantenerkennung und die Segmentierung in Regionen. Die Erfindung zeigt die Methode der Merkmalserkennung anhand zweier Merkmale, die für den Prozess des Lackierens relevant sind: Vertiefungen und Rippen. Es ist in Kenntnis der Erfindung für den Fachmann auf dem Gebiet der Auswertung von Bilddaten einfach, ähnliche Methoden zur Erkennung anderer Merkmale zu spezifizieren, auch wenn ein anderer Fertigungsprozess bedient wird.The invention presents a method to use process-oriented knowledge for feature recognition. Known methods are used to determine elementary geometric features. Elementary geometric features are currently the triangle mesh generated from the depth image data, edge detection and segmentation in regions. The invention shows the feature recognition method by means of two features relevant to the process of painting: recesses and ribs. It will be readily understood by those skilled in the art of evaluating image data to specify similar methods for detecting other features, even if a different manufacturing process is being used.

Das erfindungsgemäße Verfahren erzielt eine Klassifizierung des gesamten aufgenommenen Objektes, wobei die Oberfläche des Objektes mit nicht überlappenden Regionen beschrieben wird und jede Region einem Merkmal zugewiesen wurde.The method according to the invention achieves a classification of the entire recorded object, wherein the surface of the object is described with non-overlapping regions and each region has been assigned to a feature.

Die Fig. 1 zeigt das Verfahren in seiner Gesamtheit:Fig. 1 shows the process in its entirety:

Ein Tiefenbild besteht aus dreidimensionalen (3D) Punktdaten oder aus der Tiefendistanz zur Kamera jedes Bildpunktes. Das Tiefenbildes kann nach einer der bekannten, oben erwähnten Lichtschnittmethode, Moire-Methode, Linienprojektion, Laufzeitmethode) oder einem ähnlichen Verfahren aufgenommen werden. Eine oder mehrere Aufnahmen von -6- # · -6- # · • · • · ♦ einem Objekt werden mittels einer Kalibrierung oder Registrierung nach einem der oben genannte Verfahren zu einem gesamten Tiefenbild zusammengesetzt.A depth image consists of three-dimensional (3D) point data or the depth distance to the camera of each pixel. The depth image can be taken by one of the known light-section method mentioned above, Moire method, line projection, time-of-flight method) or a similar method. One or more images of an object are assembled into an entire depth image by calibration or registration according to one of the above methods.

Sodann erfolgt die Aufarbeitung der Tiefenbilddaten. Diese Funktion dient der Bearbeitung der Tiefenbilddaten für die weitere Verarbeitung. In der Fertigung werden mehrere Teile auf einem Rahmen montiert. Der Rahmen wird im Tiefenbild auch erfasst. Der Rahmen ist als bekannt anzusehen und kann daher aus dem Bild durch Subtraktion eliminiert werden. Kleine Artefakte, beispielsweise Ungenauigkeiten in der Bildaufnahme, Ausreißer, Rauschen, od.dergl., werden durch Filterung eliminiert. Nach der Entfernung des Rahmens bleiben im Tiefenbild nur die Teile übrig, die jetzt als einzelne Objekte abgegrenzt werden. Das Ergebnis ist eine Tabelle mit den 3D Punkten für jedes einzelne Teil. Alle weiteren Funktionen werden für jedes einzelne Teil durchgefuhrt.Then the processing of the depth image data takes place. This function is used to edit the depth image data for further processing. In production, several parts are mounted on a frame. The frame is also captured in the depth image. The frame is considered to be known and can therefore be eliminated from the image by subtraction. Small artifacts, such as inaccuracies in image capture, outliers, noise, or the like, are eliminated by filtering. After removing the frame, only those parts remain in the depth image, which are now delimited as individual objects. The result is a table with the 3D points for each part. All other functions are carried out for each individual part.

Sodann erfolgt die Bestimmung elementarer geometrischer Merkmale zur Vorbereitung der nachfolgenden Erkennung der prozessorientierten Merkmale. Diese Funktion ist eine Sammlung bekannter Methoden, beispielsweise der oben angegebenen, zum Bestimmen von elementaren geometrischen Merkmalen. Elementare geometrische Merkmale sind derzeit das aus den Tiefenbilddaten erzeugte Dreiecksnetz, die Kantenerkennung und die Segmentierung in Regionen. Andere Methoden um elementare Merkmale zu bestimmen können analog verwendet werden. Das Ergebnis dieses Verfahrensschrittes ist eine Tabelle mit den bestimmten elementaren geometrischen Merkmalen. Nachdem so die elementaren geometrischen Merkmale erfasst sind, erfolgt die Erkennung prozessorientierter Merkmale.Then, the determination of elementary geometric features to prepare the subsequent recognition of the process-oriented features. This function is a collection of known methods, such as those given above, for determining elementary geometric features. Elementary geometric features are currently the triangle mesh generated from the depth image data, edge detection and segmentation in regions. Other methods to determine elementary features can be used analogously. The result of this method step is a table with the determined elementary geometric features. After the elementary geometric features are detected, the process-oriented features are identified.

Dieser Block fasst die Funktionen zusammen, die in Fig. 2 im Detail angegeben werden. Die elementaren geometrischen Merkmale werden, wie weiter unten erläutert, so kombiniert, dass die prozessorientierten Merkmale erkannt werden. Das Ergebnis ist eine Liste der klassifizierten Regionen, wobei die Regionen alle im Bild erfassten Bereiche des Objektes abdecken.This block summarizes the functions given in detail in FIG. The elementary geometric features are, as explained below, combined in such a way that the process-oriented features are recognized. The result is a list of classified regions, where the regions cover all areas of the object captured in the image.

Auf diese Weise erhält man die zugewiesenen Tiefendaten, da nunmehr jeder klassifizierten Region die 3D-Punkte zugewiesen sind, die im Tiefenbild dem Bereich dieser Region entsprechen.In this way one obtains the assigned depth data since now each classified region is assigned the 3D points that correspond to the area of this region in the depth image.

Die Fig. 2 gibt ein detailliertes Blockschaltbild der Fig. 1. Die einzelnen Blöcke werden im folgenden genauer beschrieben: -7-Fig. 2 gives a detailed block diagram of Fig. 1. The individual blocks are described in more detail below: -7-

Registrierung:Registration:

Im Block Registrierung werden ein oder mehrere Tiefenbilder des gleichen Objektes (und des Rahmens, auf dem die Objekte montiert sind) auf ein Referenzkoordinatensystem bezogen. Gibt es ein Tiefenbild, ist dieser Prozess trivial. Bei Tiefenbildem aus mehreren Ansichten wird eine Kalibrierung durchgeführt, indem ein Kalibrierungsobjekt in allen Tiefenbildem aufscheint. Die zweite Möglichkeit besteht durch den Prozess der Registrierung, wie er beispielsweise in: Besl J.P., McKay N.D.: A method for registration of 3-D shapes, IEEE Transactions on Pattem Analysis and Machine Intelligence, 14(2), 239-256, 1992, beschrieben ist, eine Registrierung zu erhalten, sodass dieIn the registration block, one or more depth images of the same object (and the frame on which the objects are mounted) are referenced to a reference coordinate system. If there is a depth image, this process is trivial. For depth images from multiple views, a calibration is performed by making a calibration object appear in all depth images. The second possibility is through the process of registration, as described, for example, in: Besl JP, McKay ND: A method for registration of 3-D shapes, IEEE Transactions on Pattem Analysis and Machine Intelligence, 14 (2), 239-256, 1992 , is to receive a registration so that the

Koordinatensysteme der einzelnen Tiefenbilder in das Referenzsystem transformiert werden können. Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Das Ergebnis ist eine Liste der 3D Punkte für alle Ansichten.Coordinate systems of the individual depth images can be transformed into the reference system. The disclosure of this document is incorporated by reference into the present specification. The result is a list of 3D points for all views.

Entfernen des Teileträgers aus den Daten:Removing the parts carrier from the data:

Die Teile, von denen Tiefenbilder aufgenommen werden, können einzeln transportiert werden. Oft hängen diese Teile auch in einem Teileträger, der jedoch nicht dem Fertigungsprozess unterzogen werden soll. Es wird ein Bild des leeren Teileträgers aufgenommen und als Tiefenbild des Teileträgers gespeichert. Um im Tiefenbild den Teileträger zu eliminieren, wird ein Differenzbild zwischen Tiefenbild und Tiefenbild des Teileträgers gebildet. Das Differenzbild ist ein binäres Bild, in dem Werte ungleich Null (0) eine Region anzeigen wo ein Teil aufgenommen wurde, das heißt, eine Region wo substantielle Differenz zwischen den Tiefenwerten des Teileträgers und dem Tiefenbild zeigen. Bereiche mit dem Wert null zeigen den Bereich des Teileträgers an.The parts from which depth images are taken can be transported individually. Often, these parts also hang in a parts carrier, which should not be subjected to the manufacturing process. An image of the empty parts carrier is taken and saved as a depth image of the parts carrier. In order to eliminate the parts carrier in the depth image, a difference image is formed between the depth image and the depth image of the parts carrier. The difference image is a binary image in which non-zero (0) values indicate a region where a part was captured, that is, a region where there is substantial difference between the depth values of the parts carrier and the depth image. Areas with the value zero indicate the area of the parts carrier.

Aufgrund von Messunsicherheiten der Tiefenbilder gibt es falsche Punkte im Differenzbild. Durch die Anwendung einer der im Stand der Technik verfügbaren Erosionsfunktionen auf das Differenzbild (z.Bsp. Gonzales R.C., Woods, R.E.: Digital Image Processing, Addison Wcsley, 1993; der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen), werden diese falschen Datenpunkte beseitigt. Anschließend werden mittels einer Dilationsfunktion die ursprünglichen Ausmaße der Teile wieder hcrgestellt. Für alle Punkte ungleich null im Diffcrcnzbild werden die korrespondierenden Punkte des Ticfenbildcs ausgcwählt und in einer neuen Liste der 3D Punkte für alle Ansichten ohne den Tcilcträger eingetragen. -8- ♦ · * ·Due to measurement uncertainties of the depth images, there are wrong points in the difference image. By applying one of the erosion functions available in the prior art to the differential image (e.g., Gonzales RC, Woods, RE: Digital Image Processing, Addison Wcsley, 1993, the disclosure of which is incorporated herein by reference) eliminated these wrong data points. Subsequently, the original dimensions of the parts are restored by means of a dilation function. For all non-zero points in the diffraction image, the corresponding points of the image image are selected and entered in a new list of 3D points for all views without the substrate support. -8- ♦ · * ·

Teilevereinzelung:Part separation:

Wenn mehr als ein Teil im Tiefenbild aufgenommen wurde, so werden die 3D Punktdaten der Teile jetzt in eine Tabelle pro Teil aufgeteilt. Dazu wird eine Methode zum Segmentieren in Regionen auf das Tiefenbild (die Liste der 3D Punkte für alle Ansichten ohne den Teileträger) angewendet, z.B. eine der in Jain, A.K., Murty, M.N., Flynn, P.J.: Data Clsutering: A Review, ACM Computing Surveys 31(3), 1999, angeführten Methoden. Der Offenbarungsgehalt dieser Druckschriften wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Das Ergebnis dieser Methode ist eine Karte der Regionen. Die Regionen werden nun gruppiert, in dem alle Regionen, die nahe zu ihren Nachbarn liegen, in einer Gruppe zusammengefasst werden. Eine Gruppe entspricht einem Teil. Für jedes Teil werden die korrespondierenden Tiefendaten aus dem Tiefenbild ausgeschnitten. Das Ergebnis ist eine Liste mit den 3D Punkten jedes Teils.If more than one part was taken in the depth image, the 3D point data of the parts is now divided into a table per part. For this purpose, a method of segmenting in regions on the depth image (the list of 3D points for all views without the parts carrier) is applied, e.g. one of the methods cited in Jain, A.K., Murty, M.N., Flynn, P.J .: Data Clsutering: A Review, ACM Computing Surveys 31 (3), 1999. The disclosure of these references is incorporated by reference into the present specification. The result of this method is a map of the regions. Regions are now grouped by grouping together all regions that are close to their neighbors. One group corresponds to one part. For each part, the corresponding depth data is cut out of the depth image. The result is a list of the 3D points of each part.

Die nachfolgend beschriebenen Blöcke der Fig. 2 werden auf jedes Teil, wie es in der Funktion Teilevereinzelung erhalten wurde, angewendet.The blocks of Fig. 2 described below are applied to each part as obtained in the part separation function.

Dreiecksrepräsentation: Für die 3D Punkte eines Teiles wird ein Netz, beispielsweise mittels der Methode der Delaunay Triangulation, Edelsbrunner H., Mücke E. P: Three-dirnensional alpha shapes; λ., p \r~ι η λί τι i mnzt rv^ivj i itiiiacu/iiuu Ull v ui. υ, ι, i 7 y*t, guiti'i iui 1. ο/υυιυαιαιι^υιιαιι dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Um die Datenmenge zu verkleinern wird, bevorzugt nach der Methode in der gleichen Veröffentlichung, eine Dezimierung der Anzahl der Dreiecke durchgeführt. Das gesamte Verfahren arbeitet mit und ohne Dezimierung oder anderen Verfahren zur Änderung der Auflösung.Triangular representation: For the 3D points of a part, a mesh is created, for example by means of the method of Delaunay triangulation, Edelsbrunner H., Mücke E. P: Three-dirnensional alpha shapes; λ., p \ r ~ ι η λί τι i mnzt rv ^ ivj i itiiiacu / iiuu Ull v ui. υ, ι, i 7 y * t, guiti'i iui 1. ο / υυιυαιαιι ^ υιιαιι this document is incorporated by reference into the present description. In order to reduce the amount of data, the number of triangles is preferably decimated according to the method in the same publication. The whole process works with and without decimation or other methods of changing the resolution.

Kantenerkennung:Edge detection:

Diese Funktion erkennt Sprung- und Gradientenkanten. Sprungkanten werden erkannt, wenn die Differenz der Tiefenwerte benachbarter Punkte (auch Pixel genannt) größer als ein minimaler Wert ist. Gradientenkanten sind Kanten, bei denen die Differenz der Normalvektoren von benachbarten Punkten des Tiefenbildes maximal oder minimal ist. Der Normalvcktor für einen Punkt ist der Normalvektor der Ausgleichsebcne berechnet über eine gewisse Anzahl, z.B. neun mal neun, an Nachbarpunkten (auch Pixelnachbarschaft genannt). Das Ergebnis sind die 3D Kantenpunkte. *··· -9-This function detects jump and gradient edges. Jump edges are recognized when the difference in depth values of adjacent points (also called pixels) is greater than a minimum value. Gradient edges are edges where the difference of the normal vectors from adjacent points of the depth image is maximal or minimal. The normal votor for a point is the normal vector of the compensation field calculated over a certain number, e.g. nine times nine, at neighboring points (also called pixel neighborhood). The result is the 3D edge points. * ··· -9-

Extraktion von Rippenregionen:Extraction of rib regions:

Diese Funktion implementiert ein Beispiel einer Methode für die Erkennung prozessorientierter Merkmale. Das bestimmte Merkmal ist eine Rippenregion, wie sie häufig bei industriellen Teilen Vorkommen. Die Beschreibung die ausführlich weiter unten anhand der Fig. 4 gegeben wird, spezifiziert die Kennzeichen dieser Funktion.This feature implements an example of a method for recognizing process-oriented features. The particular feature is a rib region, as commonly found in industrial parts. The description given in detail below with reference to Figure 4 specifies the characteristics of this function.

Eine Rippenregion ist gekennzeichnet durch eine Gruppe paralleler Linien in einem Tiefenbild. Das Ergebnis dieser Funktion ist eine Tabelle der 3D Konturpunkte, die den Umfang der Rippenregion angibt.A rib region is characterized by a group of parallel lines in a depth image. The result of this function is a table of 3D contour points that indicates the circumference of the rib region.

Extraktion von Vertiefungen:Extraction of wells:

Eine Vertiefung verlangt für den Prozess des Lackierens eine spezielle Lackierstrategie.A recess requires a special painting strategy for the painting process.

Die Definition einer Vertiefung geht aus Fig. 3 hervor. Der Querschnitt durch die Vertiefung geht von Pixel i über Pixel j zu Pixel k. Von einer Vertiefung spricht man, wenn die Strecke dl + d2 um mehr als ein gewisser Prozentsatz (z.B. 15%) länger ist als die Stecke d. Mit dieser Funktion werden Vertiefungen erkannt. Anhand der Fig. 4 wird weiter unten im Detail beschrieben, wie die Extraktion von Vertiefungen bewerkstelligt wird. Das Ergebnis dieser Funktion sind die 3D Konturpunkte der Vertiefung, d.h., die Konturpunkte, die den Rand der Region definieren.The definition of a depression is shown in FIG. 3. The cross-section through the depression goes from pixel i via pixel j to pixel k. A depression is said to be longer than the distance dl + d2 by more than a certain percentage (e.g., 15%). With this function pits are detected. With reference to Fig. 4 will be described in detail below how the extraction of depressions is accomplished. The result of this function are the 3D contour points of the pit, that is, the contour points that define the edge of the region.

Zusammenfuhren der Merkmale:Conjunctions of characteristics:

Die Dreiecksrepräsentation beschreibt das komplette Teil. Die Regionen, die als Rippen oder Vertiefung klassifiziert wurden, sind Teile der kompletten Dreiecksrepräsentation. Sie werden von der kompletten Dreiecksrepräsentation abgezogen, sodass eine komplette, nicht überlappende und vollständig klassifizierte Repräsentation des Teils (in Rippen, Vertiefungen und Oberflächen mit normaler Dreiecksrepräsentation) vorliegt. Die Punkte des Tiefenbildes werden der jeweiligen Klassifizierung zugeordnet. Das Ergebnis sind die klassifizierten Regionen.The triangle representation describes the complete part. The regions classified as ribs or depressions are parts of the complete triangle representation. They are subtracted from the complete triangle representation, so that there is a complete, non-overlapping and fully classified representation of the part (in ridges, pits, and surfaces with normal triangle representation). The points of the depth image are assigned to the respective classification. The result is the classified regions.

Im Folgenden wird anhand der Fig. 4 das erfindungsgemäße Erkennen von Vertiefungen beschrieben. Dazu werden folgende Schritte durchgefiihrt:The recognition of recesses according to the invention will be described below with reference to FIG. The following steps are carried out for this purpose:

Suche der Randpunkte in den vier Hauptrichtungen: • · · · · -10- Für jedes Pixel des Tiefenbildes wird in die vier Hauptrichtungen (wie in Fig. 3 angegeben), bezeichnet durch die Hinuneisrichtungen N, S, W und 0, nach Randpunkten gesucht. Die genaue Vorgangsweise wird in Fig. 5 und dem Text weiter unten eingehend erläutert.Searching of the Boundary Points in the Four Major Directions: • For each pixel of the depth image, search is made for edge points in the four main directions (as indicated in Fig. 3) designated by the directions N, S, W, and 0 , The exact procedure is explained in detail in Fig. 5 and the text below.

Klassifizierung von 3D Vertiefungspunkten: Für jeden Punkt des Tiefenbildes wird bestimmt, ob dieser Punkt einer Vertiefung zuzuordnen ist oder nicht. Die Vorgehensweise ist in Fig. 6 und dem Text unten erläutert.Classification of 3D well points: For each point of the depth image it is determined whether or not this point belongs to a well. The procedure is explained in Fig. 6 and the text below.

Anhäufen von Vertiefungspunkten:Accumulation of specialization points:

Die als Vertiefungspunkte markierten Punkte des Tiefenbildes werden mittels ihrer Nachbarpunkte zu Punkthäufungen gruppiert. Zu dieser Gruppierung (oder Clustering) können bekannte Methoden, wie z.B. VTK oder Jain, A.K., Murty, M.N., Flynn, P.J.: Data Clustering: A Review, ACM Computing Surveys 31(3), 1999, verwendet werden. Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Eine Punkthäufung besteht aus einer minimalen Anzahl an Punkten, z.B. 30, die in einer Nachbarschaft von maximalem Radius, z.B. 10 Pixel, sein müssen. Das Ergebnis sind die gefundenen Anhäufungen und die zugeordneten Vertiefungspunkte.The points of the depth image marked as depression points are grouped by means of their neighboring points into point clusters. To this grouping (or clustering) known methods, such as e.g. VTK or Jain, A.K., Murty, M.N., Flynn, P.J .: Data Clustering: A Review, ACM Computing Surveys 31 (3), 1999. The disclosure of this document is incorporated by reference into the present specification. A cluster of points consists of a minimum number of points, e.g. 30, which are in a neighborhood of maximum radius, e.g. 10 pixels, must be. The result is the accumulations found and the assigned well points.

Deiecuiiuiig uer uunungsuecKiiacne uer verueiung: Für jede Anhäufung wird eine konvexe Hülle berechnet und die Deckfläche der Öffnung der Vertiefung bestimmt. Die Vorgehensweise ist in Fig. 8 und dem Text unten erläutert.Deiecuiiuiig uu uunungsuecKiiacne üer entueiung: For each accumulation a convex envelope is calculated and the top surface of the opening of the depression determined. The procedure is explained in Fig. 8 and the text below.

Im Folgenden wird anhand der Fig. 5 die Suche der Randpunkte in den vier Hauptrichtungen (aus Fig. 3) im Detail beschrieben. Folgende Schritte werden für jede der vier Hauptrichtungen durchgefuhrt:In the following, the search of the edge points in the four main directions (from FIG. 3) will be described in detail with reference to FIG. The following steps are performed for each of the four main directions:

Berechnung der Winkel zwischen den 3D Pixeln:Calculation of the angles between the 3D pixels:

Ausgehend von dem gerade untersuchten Pixel i, werden in eine der Hauptrichtungen Vektoren von Pixel i zum nächsten Pixel, übernächsten Pixel, usw., gebildet. Fig. 6 veranschaulicht die Situation. Von Pixel i werden zu den Pixeln i-kmin bis i-kmax die Richtungsvektoren gebildet, wobei gilt kmin die minimale und kmax die maximale Breite • · · · -11 -einer Vertiefung angibt. Das Ergebnis ist eine Folge von Richtungsvektoren für eine Hauptrichtung.Starting from the pixel i being investigated, vectors of pixels i to the next pixel, but next to the pixel, etc., are formed in one of the main directions. Fig. 6 illustrates the situation. From pixel i, the direction vectors are formed to the pixels i-kmin to i-kmax, where kmin is the minimum and kmax is the maximum width • · · · -11 of one pit. The result is a sequence of direction vectors for one main direction.

Berechnung der Winkeldifferenz: Für jeweils zwei aufeinanderfolgende Richtungsvektoren wird der einschließende Winkel berechnet. Das Ergebnis ist eine Folge von Winkeln für diese Hauptrichtung.Calculation of the angle difference: For every two consecutive direction vectors, the enclosing angle is calculated. The result is a sequence of angles for this main direction.

Bestimmen des Randpunktes:Determining the edge point:

Der Randpunkt (Pixel n in Fig. 6) ist gekennzeichnet durch eine Vorzeichenänderung in der Winkelfolge und durch eine Winkeländerung größer als ein minimaler Wert, z.B. 2 Grad. Die minimale Winkeländerung wird gefordert, um ungenaue Messdaten nicht fälschlich als Vertiefung zu klassifizieren. Das Ergebnis ist der Randpunkt.The edge point (pixel n in Fig. 6) is characterized by a sign change in the angle sequence and by an angle change greater than a minimum value, e.g. 2 degrees. The minimum angle change is required to incorrectly classify imprecise measurement data as a pit. The result is the edge point.

Auffullen von Schatten durch Interpolation:Filling shadows by interpolation:

Durch die Sensoren, die zur Aufnahme von Tiefenbildem verwendet werden, entstehen Abschattungen, die im Tiefenbild durch Tiefenwerte 0 (Null) eines Pixels erkennbar sind. Bei Vertiefungen sind Schattenpixel natürlich, da die Sensoren über eingeschränkte Blickrichtungen verfügen. Um diese Pixel in die Berechnung der Vertiefung miteinzubezienen, wird durch Interpolation der Schatten ausgeglichen. Fig. ό visuaiisiert diese Interpolation für Schattenpunkte anhand eines Beispiels zwischen den Pixeln i und i+m. Das Ergebnis dieser Funktion ist eine Liste der Vertiefungspunkte des Tiefenbildes. Ein weiteres Ergebnis sind der Randpunkt und eventuell interpolierte Schattenpunkte.The sensors that are used to capture depth images produce shadowing, which can be recognized in the depth image by depth values 0 (zero) of a pixel. For pits, shadow pixels are natural because the sensors have limited viewing angles. In order to include these pixels in the calculation of the depression, the shadows are compensated by interpolation. Fig. 5 illustrates this interpolation for shadow points by way of an example between the pixels i and i + m. The result of this function is a list of the well points of the depth image. Another result is the edge point and possibly interpolated shadow points.

Im Folgenden wird anhand der Fig. 7 die Klassifizierung von 3D Vertiefungspunkten (aus Fig. 3) im Detail beschrieben. Folgende Schritte werden durchgeführt:In the following, the classification of 3D well points (from FIG. 3) will be described in detail with reference to FIG. The following steps are performed:

Randpunkte in vier Hauptrichtungen:Edge points in four main directions:

Die vier Hauptrichtungen (N, S, 0, W) ergeben zwei Schnitte durch die Vertiefung: N-S und O-W. Fig. 6 zeigt einen derartigen Schnitt. Für diese beiden Schnittrichtungen wird aus dem untersuchten Pixel und den gefundenen Randpunkten der gegenüberliegenden Hauptrichtungen ein Dreieck wie in Fig. 3 gebildet.The four main directions (N, S, 0, W) make two cuts through the pit: N-S and O-W. Fig. 6 shows such a section. For these two intersecting directions, a triangle is formed from the pixel under investigation and the boundary points found in the opposite main directions, as in FIG. 3.

Berechnung der Triangulationswertc: • · • · ···· • · -12-Calculation of the triangulation value c: • · • · ···· • · -12-

Der Triangulationswert ist das Verhältnis (dl+d2)/d mit d, dl und d2 definiert wie in Fig. 3.The triangulation value is the ratio (dl + d2) / d with d, dl and d2 defined as in FIG. 3.

Berechnung der Größe der Öffnung:Calculation of the size of the opening:

Die Größe der Öffnung ist die Länge der Strecke d in Fig. 3.The size of the opening is the length of the distance d in FIG. 3.

Bestimmung, ob ein Vertiefungspixel vorliegt:Determining if a pit is present:

Das Pixel i wird als Vertiefungspixel klassifiziert, wenn in eine der beiden Hauptrichtungen der Triangulationswert größer als ein Schwellwert ist, z.B. 1.15, und wenn die Größe der Öffnung größer als ein Schwellwert ist, z.B. 2 cm.The pixel i is classified as a pit pixel if, in one of the two principal directions, the triangulation value is greater than a threshold, e.g. 1.15, and if the size of the opening is greater than a threshold, e.g. 2 cm.

Im folgenden wird anhand der Fig. 8 die Berechnung der Öffhungsdeckfläche der Vertiefung (aus Fig. 3) im Detail beschrieben. Folgende Schritte werden durchgefuhrt:In the following, the calculation of the Öffhungsdeckfläche the recess (from Fig. 3) will be described in detail with reference to FIG. 8. The following steps are carried out:

Generieren der konvexen Hülle: Für jede Anhäufung an Vertiefungspunkten wird eine konvexe Hülle erzeugt. Dazu können bestehende Methoden wie VTK oder Eddy, W.: A New Convex Hüll Algorithm for Planar Sets, ACM Transactions Mathematical Software 3(4), 398-403 (1977) verwendet werden. Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen.Generating the convex hull: A convex hull is created for each cluster of wells. For this, existing methods such as VTK or Eddy, W .: A New Convex Shell Algorithm for Planar Sets, ACM Transactions Mathematical Software 3 (4), 398-403 (1977) can be used. The disclosure of this document is incorporated by reference into the present specification.

Projektion der Vertiefungspunkte auf die konvexe Hülle:Projection of the indent points on the convex hull:

Die einzelnen Tiefenpunkte der Anhäufungen werden auf die konvexe Hülle projiziert. Die Projektionsrichtung ist die bekannte Blickrichtung des Sensors. Das Ergebnis sind Schnittpunkte der projizierten Tiefenpunkte und der Hülle.The individual depth points of the clusters are projected onto the convex hull. The projection direction is the known viewing direction of the sensor. The result is intersections of the projected depth points and the envelope.

Berechnen des Netzes der Schnittpunkte:Calculate the network of intersections:

Die Menge der Schnittpunkte gibt die Öffnungsdeck fläche der Vertiefung an. Mittels der bekannten Methoden zur Netzbildung werden die Schnittpunkte und somit die Öffnungsdeckfläche der Vertiefung als Netz repräsentiert. Das gesamte Ergebnis ist das 3D Netz aller gefundenen Vertiefungen.The amount of intersections indicates the opening deck area of the depression. By means of the known methods for network formation, the intersection points and thus the opening top surface of the depression are represented as a network. The entire result is the 3D mesh of all found pits.

Im Folgenden wird anhand der Fig. 9 das erfindungsgemäße Erkennen von Rippenregionen beschrieben. Dazu werden folgende Schritte durchgeftihrt: ···· » • · • * • · -13-In the following, the detection of rib regions according to the invention will be described with reference to FIG. The following steps are carried out: ···· »• · • * • · -13-

Gruppieren von Linien:Grouping lines:

Das Gruppieren von Kanten implementiert die sogenannten Gestalt-Regeln (z.B., Lee, M.S., Medioni, G.: Grouping into Regions, Curves, and Junctions, Computer Vision and Image Understanding 76(1), pp. 54-69, 199). Der Offenbarungsgehalt dieser Druckschrift wird durch Bezugnahme in die vorliegende Beschreibung aufgenommen. Es werden zwei Kanten zu einem größeren Element, einer Linie, zusammengefugt wenn die Gestalt-Regeln Kolinearität und Kontinuität erfüllt sind. Kolinearität bedeutet, dass die Winkel der beiden Kanten nicht stark abweichen, z.B. nicht mehr als 5 Grad Unterschied. Kontinuität bedeutet, dass die Enden der beiden Kanten nicht weiter als eine minimale Distanz entfernt sind, z.B. 10% der Länge der beiden Linien. Das Ergebnis dieser Gruppierung sind Linien mit einer minimalen Länge, z.B. 1cm.Grouping of edges implements the so-called shape rules (e.g., Lee, M.S., Medioni, G .: Grouping into Regions, Curves, and Junctions, Computer Vision and Image Understanding 76 (1), pp. 54-69, 199). The disclosure of this document is incorporated by reference into the present specification. Two edges are merged into a larger element, a line, when the Gestalt rules of colinearity and continuity are met. Colinearity means that the angles of the two edges do not vary greatly, e.g. not more than 5 degrees difference. Continuity means that the ends of the two edges are not further apart than a minimum distance, e.g. 10% of the length of the two lines. The result of this grouping is lines of minimum length, e.g. 1 cm.

Bestimmung von parallelen Liniengruppen:Determination of parallel line groups:

Aus den Linien werden Gruppen mit parallelen Linien gefiltert. Parallelität ist erfüllt, wenn der Winkel zwischen zwei Linien kleiner als eine Grenze ist, z.B. 5 Grad, und eine Überlappung der beiden Linien besteht, z.B. 50% der Länge der kürzeren Linie. Das Ergebnis sind parallele Liniengruppen.From the lines, groups with parallel lines are filtered. Parallelism is satisfied when the angle between two lines is less than a limit, e.g. 5 degrees, and an overlap of the two lines exists, e.g. 50% of the length of the shorter line. The result is parallel line groups.

Bestimmung von Linien einer Rippenregion:Determination of lines of a rib region:

Das prozessorientierte Merkmal der Rippenregion ist gekennzeichnet durch eine Region nebeneinanderliegender paralleler Linien. Mittels der Gestaltregeln Überlappung und Abstand werden aus den Liniengruppen die entsprechenden Rippenlinien ausgewählt. Überlappung bedeutet, daß ein minimaler Anteil der Länge der parallelen Linien nebeneinander liegt, z.B. 50%. Abstand bedeutet, daß die parallelen Linien einen minimalen Abstand haben müssen, z.B. 10% der Linienlänge. Mittels der Gruppierung nach diesen Kriterien bleiben Liniengruppen mit zwei oder mehr parallelen, überlappenden Linien mit geringem Abstand übrig. Unter diesen Gruppen werden Gruppen mit einer minimalen Anzahl an Linien, z.B. 5, ausgewählt und diese bestimmen die Rippenregion.The process-oriented feature of the rib region is characterized by a region of juxtaposed parallel lines. Using the shape rules overlap and distance, the corresponding rib lines are selected from the line groups. Overlapping means that a minimum proportion of the length of the parallel lines is adjacent, e.g. 50%. Distance means that the parallel lines must be at a minimum distance, e.g. 10% of the line length. Grouping according to these criteria leaves groups of lines with two or more parallel, overlapping lines at a small distance. Among these groups, groups with a minimum number of lines, e.g. 5, and these determine the rib region.

Bestimmung der Grenze der Rippenregionen:Determination of the border of the rib regions:

Der äußere Umfang der Rippenregion ist die Fläche, die alle Linien der Rippenregion einschließt. Die 3D Tiefenpunkte, die zu dieser Region gehören, werden entsprechend als Rippenregion klassifiziert. Diese Rippenregion wird wieder als Netz repräsentiert. -14- • » *The outer circumference of the rib region is the surface that encloses all the lines of the rib region. The 3D depth points that belong to this region are classified as a rib region. This rib region is again represented as a network. -14- • »*

Die Erfindung ist nicht auf das beschriebene und dargestellte Beispiel beschränkt. So ist es möglich, andere für den folgenden Bearbeitungsprozeß wesentliche Oberflächenmerkmale zu suchen und ihre Lage und Abmessung zu bestimmen. Es kann sich dabei um Gebiete mit besonderer Rauhigkeit, mit Bearbeitungsspuren wie Riefen, etc. handeln oder anderes 5 mehr.The invention is not limited to the example described and illustrated. It is thus possible to search for other surface features which are essential for the following machining process and to determine their position and dimension. These can be areas with special roughness, with processing marks such as grooves, etc. or other 5 more.

In Kenntnis der Erfindung ist es dem Fachmann ohne große Probleme möglich, das erfindungsgemäße Verfahren für das Anwendungsgebiet zu adaptieren, auf dem er arbeitet. 10With knowledge of the invention it is possible for the skilled person without great problems to adapt the method according to the invention for the field of application on which he works. 10

Claims

1. A method for processing depth images of at least one object to be processed, characterized in that recognized from the depth image of the object to be processed, his Geometry is determined and that subsequently identified for the following processing process relevant features of the surface of the object, localized and characterized.

2. The method according to claim 1, characterized in that from the raw data of a depth image of at least one object by pointwise or areawise determining the differences of the depth of the considered point or area to those of its neighboring points or neighboring areas and comparing these differences with predetermined criteria and barriers, the presence of geometric features is determined, which are relevant for the processing process to be carried out, and that optionally in addition to the differences of the depth values of the individual points or areas and the normal vectors of adjacent points or areas and / or the change of the normal vectors between adjacent points or Areas are used for identification.

3. The method of claim 1 or 2, characterized in that from raw data of Tiefenbildem at least one hanging on a carrier, to be processed object by a comparison with the image of the empty carrier, the carrier is removed from the data, so that only the at least an object remains in the depth image data.

4. The method according to any one of claims 1 to 3, characterized in that the number of objects to be treated on the carrier is determined by evaluating the possibly smoothed and freed from errors (noise, etc.) data and the relevant features are calculated.

5. The method according to any one of the preceding claims, characterized in that in the sequence for each object a network of its surface, preferably a triangular mesh is created that preferably reduces the number of network points in even or planned for the planned processing areas just to be considered and that this network is used for the calculations.

6. The method according to any one of the preceding claims, characterized in that the essential for the subsequent processing of the at least one object geometric features of its surface depressions and / or ribs and / or groups of depressions and / or groups of ribs.