AT414194B

AT414194B - DEVICE AND METHOD FOR CALIBRATING A STEREO IMAGE PROCESSING SYSTEM

Info

Publication number: AT414194B
Application number: AT0034902A
Authority: AT
Inventors: Christian Dipl Ing Neugebauer
Original assignee: Christian Dipl Ing Neugebauer
Priority date: 2002-03-06
Filing date: 2002-03-06
Publication date: 2006-10-15
Also published as: ATA3492002A

Description

22

AT 414 194 BAT 414 194 B

Die Erfindung betrifft eine Vorrichtung sowie ein auf diese Vorrichtung beruhendes Verfahren zur Kalibrierung eines Stereobildverarbeitungssystems.The invention relates to a device and to a method based on this device for calibrating a stereo image processing system.

Der grundsätzliche Ablauf einer Kalibrierung besteht darin, Objekte mit bekannten geometri-5 sehen Eigenschaften mit einer Kameraanordnung aufzunehmen, die geometrischen Eigenschaften dieser Objekte in den aufgenommenen Bildern zu identifizieren, und mittels eines mathematischen Modells in einen Parametersatz überzuführen, mit dessen Hilfe eine quantitative Aussage über die später mit einem Stereobildverfahren zu analysierenden Bildpaare ermöglicht wird. Die identifizierten geometrischen Eigenschaften müssen ausreichen, um zwischen io ihnen und den gesuchten Parametern des Parametersatzes einen eindeutigen mathematischen Zusammenhang hersteilen zu können.The basic procedure of a calibration is to record objects with known geometrical properties with a camera arrangement, to identify the geometric properties of these objects in the recorded images, and to convert them by means of a mathematical model into a parameter set, with the aid of which a quantitative statement about the later to be analyzed with a stereo image method to be analyzed image pairs. The identified geometric properties must be sufficient to be able to produce a clear mathematical relationship between them and the parameters of the parameter set sought.

Die Kriterien, nach denen Kalibrierverfahren eingeteilt werden können, sind: Einerseits die Wahl geeigneter Objekte, und andererseits die Art der Identifizierung der geometrischen Eigenschaf-15 ten der Objekte aus den aufgenommenen Bildern.The criteria by which calibration methods can be classified are: on the one hand the choice of suitable objects, and on the other hand the way of identifying the geometrical properties of the objects from the recorded images.

Um eine Identifizierung der geometrischen Eigenschaften der Objekte in den aufgenommenen Bildern durchführen zu können, müssen die Objekte in den aufgenommenen Bildern mit Methoden der Bildverarbeitung erkannt werden. Je nach Art der Objekte ist dies ein anspruchsvoller 20 und fehlerträchtiger Vorgang:In order to be able to identify the geometric properties of the objects in the recorded images, the objects in the recorded images must be detected with methods of image processing. Depending on the type of objects, this is a demanding and error-prone process:

Auf dem Gebiet der Bildverarbeitung bestehen Limitationen vor allem auf Grund der begrenzten verfügbaren Rechenleistung. Maschinelles Sehen im Sinne von Erkennen der Umwelt ist erst im Ansatz verwirklicht. Insbesondere wechselnde Bildhintergründe und wechselden Beleuchtungs-25 Verhältnisse erschweren das Erkennen von Objekten in aufgenommenen Bildern und führen zu einer niedrigen Erkennungsleistung. Darüber hinaus ändert sich die Größe der Abbildung eines zu erkennenden Objektes proportional mit der Entfernung des Objektes von der Kamera. Das erfordert bei bisher eingesetzten Lösungen eine Objekterkennung, die mit verschieden großen Abbildungen des Objekts umgehen kann. Diese Forderung erschwert die Erkennung der Objek-30 te weiter und schränkt damit die Erkennungsleistung weiter ein. Aus diesem Grund gehen bestehende Verfahren zur Kalibrierung teilweise so weit, auf eine Erkennung zu verzichten, und stattdessen vom Benutzer eine manuelle Markierung von Objektteilen am Bildschirm zu fordern.In the field of image processing limitations exist mainly due to the limited available computing power. Machine vision in the sense of recognizing the environment is only realized in the beginning. In particular, changing backgrounds and changing lighting conditions make it difficult to recognize objects in recorded images and result in low recognition performance. In addition, the size of the image of an object to be detected changes proportionally with the distance of the object from the camera. In the case of previously used solutions, this requires object recognition that can handle different sized images of the object. This requirement further impedes the recognition of the object and thus further limits the recognition performance. For this reason, existing calibration procedures go so far as to dispense with detection and instead require the user to manually mark object parts on the screen.

Einfache und robuste Algorithmen bestehen derzeit nicht für das Aufsuchen von Abbildungen 35 von Objekten in Bildern, im Gegensatz dazu jedoch für das Aufsuchen von Bildausschnitten aus Bildern, falls der Bildausschnitt bekannt ist und ungestört im Bild vorkommt. Diese Algorithmen sind als „Pattern-Matching-Algorithmen“ bekannt und in der Literatur hinreichend beschrieben, sowie in Programmbibliotheken verfügbar und im Folgenden als solche bezeichnet. 40 Weiters sind robuste Kantenextraktionsalgorithmen bekannt, die bei kontrastreichen, einfachen Vorlagen die Lage von geradlinigen Hell-Dunkel-Übergängen in Abbildungen genau bestimmen können.Simple and robust algorithms currently do not exist for looking at images of objects in images, but in contrast for finding image sections from images if the image section is known and appears undisturbed in the image. These algorithms are known as "pattern matching algorithms" and adequately described in the literature, as well as available in program libraries and hereinafter referred to as such. Furthermore, robust edge extraction algorithms are known that can precisely determine the position of linear light-dark transitions in images with high-contrast, simple templates.

Herkömmliche Verfahren zur Kalibrierung von Stereobildverarbeitungssystemen arbeiten bei-45 spielsweise mittels Aufnahmen von Gittermustem. Deren Aufnahme erfordert definierte Umgebungsbedingungen und aufwändige, manuell unterstützte Auswertemethoden. Nachteilig an diesen Verfahren ist, daß unter vielen Einsatzbedingungen öftere Nachkalibrierungen erforderlich sind und dabei nicht stets ein manueller Eingriff erwünscht ist. Bei diesen Verfahren werden eine hohe Anzahl von Kreuzungspunkten des Gittermusters zur Kalibrierung herangezogen, so Versuche zeigen jedoch, daß für viele Anwendungsgebiete eine ausreichende Genauigkeit mit weitaus weniger Referenzpunkten erzielt werden kann.Conventional methods of calibrating stereo image processing systems operate, for example, by taking pictures of grids. Their recording requires defined environmental conditions and complex, manually supported evaluation methods. A disadvantage of this method is that frequent re-calibrations are required under many conditions of use and not always a manual intervention is desired. In these methods, a high number of crossing points of the grating pattern are used for calibration, but experiments show that for many applications sufficient accuracy can be achieved with far fewer reference points.

Ein weiteres Verfahren, das für die Anwendung an Mobilrobotern eine einfachstmögliche Handhabung verspricht verknüpft Aufnahmen beliebiger Bildinhalte, die im Zuge einer Bewegung des 55 Mobilroboters in Bildachsenrichtung aufgenommen werden, mit der Information über den axia- 3Another method, which promises the simplest possible handling for the application to mobile robots, combines images of arbitrary image contents, which are taken in the course of a movement of the mobile robot in the image axis direction, with the information about the axia-3

AT 414194 B len Verfahrweg des Mobilroboters. Dieses Verfahren bringt jedoch unter normalen Einsatzbedingungen von Mobilrobotern eine nur ungenaue Kalibrierung aufgrund der Unmöglichkeit, die Videokameras mit dem Mobilroboter ausreichend exakt in axialer Richtung zu verfahren. Schon minimale Achsabweichungen verfälschen das Ergebnis erheblich. Die Publikationen 5 US6028954A, JP11118425A und US6377701B1 geben einen Algorithmus an, mit dem ein mathematischer Zusammenhang zwischen identifizierten geometrischen Eigenschaften und den gesuchten Parametern ein Parametersatzes zur Kalibrierung hergestellt werden kann. Die Publikationen gehen nicht auf die Aufgabenstellung der Erkennung der zur Kalibrierung herangezogenen Objekte ein. Als Beispiel für ein Objekt, das zur Kalibrierung herangezogen werden io kann, ist ein Gittermuster angegeben. Auf die sich daraus ergebenden Unsicherheiten gehen die Publikationen insoweit ein, als eine Fehlerminimierung mittels Matrizenoperationen beschrieben wird. Mit der vorliegenden Erfindung ist eine hohe Erkennungssicherheit erreichbar, sodaß auf solche Methoden verzichtet werden kann, und der gesamte Parametersatz aus zwei, mit hoher Sicherheit erkannter Koordinatenpaaren ermittelt werden kann. Es wird gezeigt, daß 15 bereits 2 Punkte für eine vollständige Kalibrierung eines Stereobildverarbeitungssystems ausreichen.AT 414194 B len Travel of the mobile robot. However, under normal operating conditions of mobile robots, this method results in an imprecise calibration due to the impossibility of moving the video cameras with the mobile robot sufficiently accurately in the axial direction. Even minimal axis deviations falsify the result considerably. The publications 5 US6028954A, JP11118425A and US6377701B1 specify an algorithm with which a mathematical relationship between identified geometric properties and the sought parameters of a parameter set for calibration can be established. The publications do not deal with the task of recognizing the objects used for the calibration. As an example of an object which can be used for the calibration, a grid pattern is indicated. The publications address the resulting uncertainties insofar as an error minimization by means of matrix operations is described. With the present invention, a high detection reliability can be achieved, so that such methods can be dispensed with, and the entire parameter set can be determined from two coordinate pairs identified with high certainty. It is shown that 15 points are already sufficient for a complete calibration of a stereo image processing system.

Eine Vorraussetzung für ein erfolgreiches Verfahren zur Kalibrierung eines Stereobildverarbeitungssystems ist es, die Limitationen auf dem Gebiet der Bildverarbeitung im Hinblick auf Stö-20 rungen durch, den Bildhintergrund, durch die Ausleuchtung der Szene und durch variierende Abbildungsgrößen zu umgehen.A prerequisite for a successful method of calibrating a stereo image processing system is to circumvent the limitations of image processing in terms of perturbation, background, scene illumination, and varying image sizes.

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren zur Kalibrierung eines Stereobildverarbeitungssystems anzugeben, bei dem durch eine geeignete Gestaltung der Objekte die beste-25 henden Limitationen auf dem Gebiet der Bildverarbeitung umgangen werden: Es soll ein ein einfacher, bekannter, und robuster Pattern-Matching-Algorithmus für die Kalibrierung eines Stereobildverarbeitungssystems anwendbar gemacht werden, und auf eine Objekterkennung verzichtet werden. Dabei soll das Verfahren ohne manuelle Meßvorgänge, manuellen Eingriff, oder Kontrolle selbsttätig eine Neukalibrierung in regelmäßigen, kurzen Zeitabständen vor-30 nimmt, sodaß das System ohne Monitor, Eingabeeinheit oder Zeigeeinheit arbeitet und keine Auslösung durch den Benutzer erfordert, und dabei nur geringe Rechenleistung beansprucht.The invention has for its object to provide a method for calibrating a stereo image processing system, are avoided by a suitable design of the objects best-hankenden limitations in the field of image processing: It is a simple, well-known, and robust pattern matching Algorithm be made applicable for the calibration of a stereo image processing system, and to dispense with an object detection. The process without manual measuring operations, manual intervention, or control automatically recalibrated at regular, short intervals before-30 takes, so that the system without monitor, input unit or pointing device works and requires no triggering by the user, and claimed only low processing power ,

Die Aufgabe wird erfindungsgemäß dadurch gelöst, daß zwei koplanar angeordnete Tafeln mit geometrisch selbstähnlich und mit einander schneiden-35 den Geraden versehenen Markierungen in den Abbildungsbereich der Videokameras gebracht werden, im Rechner des Bildverarbeitungssystems ständig ein Task läuft, der in den Kamerabildern mittels Pattern-Matching-Algorithmus nach Abbildungen dieser Tafeln sucht, und sobald jeweils beide Tafeln im Abbildungsbereich beider Videokameras gefunden werden, die Positionen der Abbildungen der Markierungen in hoher Genauigkeit mittels Kantenextraktionsalgorith-40 mus und Schnitt der Geraden ermittelt und in der Folge aus diesen so gewonnen Punkten sämtliche relevante Kalibrierparameter abgeleitet werden.The object is achieved in that two coplanar arranged panels are geometrically self-similar and with each other cut-35 markings provided in the imaging area of the video cameras, in the computer of the image processing system constantly running a task in the camera images by means of pattern matching Algorithm searches for images of these panels, and as soon as each two panels are found in the imaging range of both video cameras, the positions of the maps of the markers with high accuracy by means of edge extraction algorithm and cutting the line is determined and subsequently from the points thus obtained all relevant Calibration parameters are derived.

Die vorliegende Erfindung setzt vorteilhafterweise eine Gestaltung der Tafeln ein, die sowohl eine einfache und robuste Suche der Abbildungen der Tafeln in den Kamerabildern ermöglicht, 45 als auch eine sehr genaue Ermittlung der Position der Markierungen auf den Tafeln in den Abbildungen ermöglicht.The present invention advantageously employs a design of the panels which allows both a simple and robust search of the images of the panels in the camera images, 45 as well as a very accurate determination of the position of the markings on the panels in the images.

Um die Tafeln einer Erkennung mit einem bekannten, einfachen und robusten Pattern-Matching-Algorithmus zugänglich zu machen, werden die Kalibriertafeln erfindungsgemäß mit so einem Muster versehen, das sie sich eindeutig vom Hintergrund unterscheidet und den Hintergrund in der Umgebung der Kalibriertafeln ausblendet, im gesamten Bereich ein konstantes und gleichmäßiges Kontrastverhältnis aufweist sodaß sie die Erkennung von der Beleuchtung weitgehend unabhängig macht, und die Erkennung unabhängig von der Entfernung der Kamera von der Kalibriertafeln ermöglicht. Dies wird dadurch erreicht, daß die Muster der Kalibriertafeln 55 derart gestaltet sind, daß unabhängig von der Abbildungsgröße ein immer gleich abgebildeter 4In order to make the panels accessible to detection with a known, simple and robust pattern-matching algorithm, the calibration panels are, according to the invention, provided with a pattern that clearly distinguishes them from the background and hides the background in the surroundings of the calibration panels, as a whole Range has a constant and uniform contrast ratio so that it makes the detection of the lighting largely independent, and allows detection regardless of the distance of the camera from the calibration boards. This is achieved in that the patterns of the calibration boards 55 are designed in such a way that, regardless of the size of the image, a 4 is always the same

AT 414 194 BAT 414 194 B

Bildausschnitt auffindbar ist. Das Suchmuster, das der Pattern-Matching-Algorithmus in der Abbildung sucht, entspricht diesem immer gleich abgebildeten Bildausschnitt. Ein Auffinden der Abbildung der Kalibriertafeln im Kamerabild ist somit bei jedem Kalibriertafelabstand und somit jeder Vergrößerungsstufe der Abbildung möglich. Figur 4 verdeutlicht diesen Sachverhalt: In 5 Figur 4 ist das Suchmuster, sowie eine Abbildung einer weit entfernten Tafel und einer nahen Tafel angegeben, sowie der durch den Pattern-Matching-Algorithmus gefundene Bildausschnitt. Diese Eigenschaft der Gestaltung der Markierungen der Kalibriertafeln in Anlehnung an die fraktale Geometrie als „geometrisch selbstähnlich“ bezeichnet. io In der Abbildung wird somit vorteilhafterweise nicht nach Objekten gesucht, sondern nach einem Bildausschnitt.Image section is findable. The search pattern that the pattern matching algorithm looks for in the image corresponds to this image section, which is always displayed the same way. Finding the image of the calibration boards in the camera image is thus possible with each calibration board distance and thus every magnification level of the image. FIG. 4 clarifies this situation: FIG. 4 shows the search pattern, as well as an illustration of a far-away panel and a nearby panel, as well as the image detail found by the pattern matching algorithm. This characteristic of the design of the markings of the calibration plates referred to the fractal geometry referred to as "geometrically self-similar". In the figure, therefore, it is advantageously not searched for objects but for a picture section.

Die geometrisch selbstähnliche Gestaltung der Markierungen ermöglicht somit unabhängig von der Entfernung und der Brennweite der Objektive der Videokameras eine Suche mittels eines 15 robusten Pattern-Matching-Algorithmus, ohne daß eine Skalierung des Suchmusters oder der Abbildung erforderlich wäre. Aufgrund des Suchergebnisses kann nun der Abbildungsbereich der Tafeln eingegrenzt werden. Die Gestaltung der Markierungen mit einander schneidenden Geraden erlaubt weiters den Einsatz eines bekannten Kantenextraktionsalgorithmus um den Schnittpunkt dieser Markierungsgeraden genau zu ermitteln. Durch die Begrenzung des Berei-20 ches auf die Abbildung des Musters der Kalibriertafel im vorhergehenden Schritt und die Gestaltung der Markierung mit höchstmöglichem Kontrast und mit in schräger Richtung verlaufenden Markierungsgeraden liefert ein Kantenextraktionsalgorithmus zuverlässige Ergebnisse.The geometrically self-similar design of the markers thus allows, regardless of the distance and the focal length of the lenses of the video cameras, a search by means of a robust pattern matching algorithm, without a scaling of the search pattern or the image would be required. Based on the search result, the imaging range of the panels can now be limited. The design of the markings with intersecting straight lines further allows the use of a known edge extraction algorithm to determine the exact intersection of this marker straight line. By limiting the area of exposure to the pattern of the calibration chart in the previous step and designing the highest contrast and oblique marker line, an edge extraction algorithm provides reliable results.

Die vorliegende Erfindung verzichtet vorteilhaftenweise auf die Anwendung von Bildverarbei-25 tungsalgorithmen, die strenge Randbedingungen voraussetzen oder hohe Rechenleistung erfordern, und benutzt die eingesetzen Algorithmen derart, daß ein zuverlässiges Ergebnis erzielt wird. Es werden Bildverarbeitungsalgorithmen benutzt, die bekannt, zuverlässig, bewährt, und in Programmbibliotheken verfügbar sind. 30 Der Ablauf erfolgt vorteilhafterweise ohne jeglichen Benutzereingriff vollautomatisch.Advantageously, the present invention dispenses with the application of image processing algorithms requiring stringent constraints or requiring high processing power, and uses the algorithms employed to achieve a reliable result. Image processing algorithms are used that are known, reliable, proven, and available in program libraries. 30 The procedure is advantageously fully automatic without any user intervention.

Die Erfindung ist im folgenden an Hand eines Ausführungsbeispiels an einem Mobilroboter näher erläutert. Es zeigen: 35 Figur 1 die Anordnung des Mobilroboters und der Tafeln,The invention is explained in more detail below with reference to an embodiment of a mobile robot. FIG. 1 shows the arrangement of the mobile robot and the panels,

Figur 2 die Gestaltung der Tafeln (Bezugszeichen wie in Figur 1),FIG. 2 shows the design of the panels (reference numerals as in FIG. 1),

Figur 3 die Abbildungen durch die Videokameras,FIG. 3 shows the images through the video cameras,

Figur 4 die Abbildung des Musters der Tafeln im Vergleich zum Suchmuster, und Figur 5 zeigt die geometrischen Zusammenhänge in einem Grundriß. 40FIG. 4 shows the illustration of the pattern of the panels in comparison to the search pattern, and FIG. 5 shows the geometric relationships in a plan view. 40

Auf einem Trägergerüst (2) sind in horizontaler Anordnung zwei Tafeln (3) in definiertem Abstand zueinander koplanar angeordnet. Jede dieser Tafeln (3) trägt in gleichem Abstand vom Boden eine Markierung (3a) auf neutralem Hintergrund (3b). Die Markierung (3a) besitzt geometrisch selbstähnliche Form, in der gezeigten Ausführung zwei sich an der Spitze berührende 45 Dreiecke. Diese Anordnung steht im Sichtfeld der beiden Videokameras (1a) des Mobilroboters (1). Die Tafelebene sollte dabei etwa normal zu den Bildachsen der Kameras (1a) stehen. Die normale Ausrichtung der Tafelebene zu den Bildachsen der Kameras (1a) hat keinen kritischen Einfluß auf die Genauigkeit der Kalibrierung. Im Rechner des Mobilroboters (1) läuft ständig ein Task, der in den Kamerabildern beider Kameras mittels eines Pattern-Matching-Algorithmus so nach den Abbildungen der Markierungen (3a) sucht. Durch die geometrisch selbstähnliche Gestaltung der Markierungen (3a) muß keine Skalierung des Suchmusters erfolgen (unabhängig von der Entfernung der Kameras von den Tafeln). Dieser Zusammenhang wird in Figur 4 verdeutlicht, in der das Suchmuster (5) gezeigt ist, eine Kameraabbildung (4) bei weit entfernten Tafeln, und eine Kameraabbildung (4) bei nahen Tafeln. Das Suchmuster (5) findet sich in den 55 Abbildungen, unabhängig von der Entfernung der Tafeln und damit der Größe der Abbildung 5On a support frame (2) two panels (3) are arranged in a horizontal arrangement coplanar at a defined distance from each other. Each of these panels (3) carries at the same distance from the ground a mark (3a) on a neutral background (3b). The marking (3a) has geometrically self-similar shape, in the embodiment shown two touching at the top 45 triangles. This arrangement is in the field of view of the two video cameras (1a) of the mobile robot (1). The board level should be approximately normal to the image axes of the cameras (1a). The normal orientation of the board plane to the image axes of the cameras (1a) has no critical influence on the accuracy of the calibration. In the computer of the mobile robot (1) is constantly running a task that looks in the camera images of both cameras using a pattern matching algorithm so after the images of the markers (3a). Due to the geometrically self-similar design of the markings (3a), no scaling of the search pattern is required (regardless of the distance of the cameras from the panels). This relationship is illustrated in Figure 4, in which the search pattern (5) is shown, a camera image (4) at far away panels, and a camera image (4) at nearby panels. The search pattern (5) can be found in the 55 figures, regardless of the distance of the panels and thus the size of Figure 5

AT 414 194 B der Tafeln in den Kameraabbildungen (4). Sind beide Suchmuster (5) und damit die Abbildungen der Markierungen (3a) in beiden Kamerabildern gefunden, so werden anschließend mittels eines Kantenextraktionsalgorithmus die abbildenden Geraden (4a) der Markierungsgeraden (3c) lokalisiert und durch Schneiden dieser abbildenden Geraden (4a) die Positionen der Abbil-5 düngen der Markierungsspitzen (3d) ermittelt. Es liegen nun die Positionen der Markierungsspitzen (3d) in den Kamerabildern vor. Diese werden nun als Referenzpunkte (4b) in den Kameraabbildungen (4) für den Kalibrieralgorithmus verwendet. Aus der Verbindungsgeraden der Referenzpunkte (4c) werden nun die Verdrehungen der einzelnen Kameras berechnet, aus dem Vergleich der Halbierungspunkte (4d) dieser Verbindungsgeraden (4c) wird die horizontale und io die vertikale Ausrichtungsabweichung der Kameras zueinander und somit die räumliche Schiefstellung der Kameraachsen berechnet. Aus den Längen der Verbindungsgeraden (4c) wird bei bekannter Brennweite der Kameraoptik die Entfernung der Tafeln vom Mobilroboter ermittelt, die zu Entfernungskorrekturen dienen kann. 15 Für die beschriebenen Verfahrensschritte kommen folgenden Formeln zur Anwendung, die sich aus den geometrischen Zusammenhängen aus Figur 3 und 5 ergeben. Figur 5 zeigt einen Grundriß der Situation. Für die gesuchten Kalibrierparameter „Rotation der rechten Kamera gegenüber der linken Kamera“ phi, „Schiefstellung der rechten Kameraachse (6b) gegenüber der linken Kameraachse (6a) in waagrechter Richtung“ betax, und Schiefstellung der rechten 20 Kameraachse gegenüber der linken Kameraachse in lotrechter Richtung“ betay ergibt die Ableitung:AT 414 194 B of the panels in the camera pictures (4). If both search patterns (5) and thus the images of the markings (3a) are found in both camera images, the imaging straight lines (4a) of the marking straight line (3c) are then located by means of an edge extraction algorithm and the positions of the lines are determined by cutting these imaging straight lines (4a) Figure 5 fertilizing the marker tips (3d) determined. There are now the positions of the marker tips (3d) in the camera images. These are now used as reference points (4b) in the camera images (4) for the calibration algorithm. From the connecting line of the reference points (4c), the rotations of the individual cameras are calculated, from the comparison of halving points (4d) of this connecting line (4c), the horizontal and io the vertical alignment deviation of the cameras to each other and thus calculates the spatial tilt of the camera axes. From the lengths of the connecting line (4c), the distance of the panels from the mobile robot is determined with known focal length of the camera optics, which can be used for distance corrections. For the method steps described, the following formulas are used, which result from the geometrical relationships of FIGS. 3 and 5. Figure 5 shows a plan of the situation. For the desired calibration parameters "rotation of the right camera with respect to the left camera" phi, "skewing of the right camera axis (6b) relative to the left camera axis (6a) in horizontal direction" betax, and misalignment of the right 20 camera axis relative to the left camera axis in the vertical direction "Betay yields the derivative:

Winkel der Verbindungsgerade (4c) in der linken Kameraabbildung: 25 phil=atan((y1 l-y2l)/(x1 l-x2l))Angle of the connecting line (4c) in the left camera image: 25 phil = atan ((y1 l-y2l) / (x1 l-x2l))

Winkel der Verbindungsgerade (4c) in der rechten Kameraabbildung: phir=atan((y1 r-y2r)/(x1 r-x2r)) 30Angle of the connecting line (4c) in the right camera image: phir = atan ((y1 r -y2r) / (x1 r-x2r)) 30

Rotation der rechten Kamera gegenüber der linken Kamera: phi=atan((y1 r-y2r)/(x1 r-x2r)) 35 Abstand der Markierungsspitzen in der Kameraabbildung: n=V((x1 l-x2l)z+(y1 l-y2l)2)Rotation of the right camera with respect to the left camera: phi = atan ((y1 r -y2r) / (x1 r-x2r)) 35 Distance of the marker tips in the camera image: n = V ((x1 l-x2l) z + (y1 l- Y2L) 2)

Abstand der Kameras von den Kalibriertafeln: 40 c = f*d/nDistance of the cameras from the calibration boards: 40 c = f * d / n

Sichtwinkel und bezogene Abstände nach Figur 5: 45 alphall =atan(x1 l/f); alphal2=atan(x2l/f); al1=c*tan(alphal1); al2=c*tan(alphal2); ar1=al1-a; so ar2=al2-a; gammar1=atan(x1r/f); gammar2=atan(x2r/f); gr1 =c*tan(gammar1); gr2=c*tan(gammar2); b=((ar1 -gr1 )+(ar2-gr2))/2; 55Viewing angle and related distances according to Figure 5: 45 alphall = atan (x1 l / f); alphal2 = atan (X2L / f); al1 = c * tan (alphal1); al2 = c * tan (alphal2); ar1 = Al 1-a; so ar2 = al2-a; gammar1 = atan (X1R / f); gammar2 = atan (X2R / f); gr1 = c * tan (gammar1); gr2 = c * tan (gammar2); b = ((ar1 -gr1) + (ar2-gr2)) / 2; 55

Claims

6 AT 414 194 B betax = atan (b / c); (betay is determined in an analogous manner.) This derivative was taken as known: focal length of the left cameras f, Ab-5 stood of the cameras a and distance of the panels d, and the coordinates of the marker tips (3d) in the left camera image x1l | y1l and x2l | y2l and in the camera image right x1r | y1r and x2r | y2r in pixels. The origin of the coordinates is assumed in the center of the picture. As an embodiment, an arrangement is to be considered, in which the markers (3a) instead of on a support frame (2) on the housing of the charging station of the mobile robot are arranged so that a recalibration takes place in the course of each loading. 15. A method for calibrating a stereo image processing system, characterized in that two coplanar sheets with markings provided with geometrically self-similar and intersecting straight lines are placed on the sheets in the imaging area of the video cameras, by means of pattern matching known per se. Algorithm is sought after images of these panels in the camera images that when finding both panels in the imaging range of both video cameras, the positions of the images of the markers using per se known edge extraction algorithm and cutting the line in these fields are determined, and that in the sequence of 25 so obtained points all relevant calibration parameters derived who the.

2. Apparatus for carrying out the method according to claim 1, characterized in that two panels (3) with geometrically self-similar and intersecting straight lines 30 provided markings (3a) coplanar in the field of view of a two video cameras (1a) equipped mobile robot (1) are arranged ,

3. A device for carrying out the method according to claim 2, characterized in that the panels (3) on the housing of the charging station of the mobile robot (1) are arranged 35. For this purpose 2 sheets drawings 40 45 50 55