DE102014206246A1

DE102014206246A1 - A method and apparatus for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images

Info

Publication number: DE102014206246A1
Application number: DE102014206246.2A
Authority: DE
Inventors: Wolfgang Niem; Steffen Abraham; Patrick Klie; Hartmut Loos
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2014-04-02
Filing date: 2014-04-02
Publication date: 2015-10-08
Also published as: WO2015149970A1

Abstract

Die Erfindung betrifft ein Verfahren (800) zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder, wobei das Verfahren (800) einen Schritt des Selektierens, einen Schritt des Vergleichens und einen Schritt (806) des Auswählens aufweist. Im Schritt des Selektierens wird ein erster Ausschnitt (1000) aus einem ersten Kamerabild unter Verwendung einer ersten Selektionsvorschrift (1008) selektiert. Weiterhin wird zumindest ein weiterer erster Ausschnitt (1004) aus dem ersten Kamerabild (1100) unter Verwendung zumindest einer zweiten Selektionsvorschrift (1010) selektiert. Des Weiteren wird ein zweiter Ausschnitt (1002) aus einem zweiten Kamerabild unter Verwendung der ersten Selektionsvorschrift (1008) selektiert. Ferner wird zumindest ein weiterer zweiter Ausschnitt (1006) aus dem zweiten Kamerabild unter Verwendung der zweiten Selektionsvorschrift (1010) selektiert. Dabei repräsentiert die erste Selektionsvorschrift (1008) eine erste vorbestimmte Form der Projektionsfläche, während die zweite Selektionsvorschrift (1010) eine zweite vorbestimmte Form der Projektionsfläche repräsentiert. Im Schritt des Vergleichens wird ein Bildinhalt (1012) des ersten Ausschnitts (1000) mit einem Bildinhalt (1012) des zweiten Ausschnitts (1002) unter Verwendung einer Verarbeitungsvorschrift verglichen, um ein erstes Bewertungskriterium der ersten Form zu erhalten. Weiterhin wird ein Bildinhalt (1012) des Weiteren ersten Ausschnitts (1004) mit einem Bildinhalt (1012) des Weiteren zweiten Ausschnitts (1006) unter Verwendung der Verarbeitungsvorschrift verglichen, um ein zweites Bewertungskriterium der zweiten Form zu erhalten. Im Schritt des Auswählens wird diejenige Form für die Projektionsfläche ausgewählt, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte (1012) voneinander repräsentiert.The invention relates to a method (800) for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images, the method (800) comprising a step of selecting, a step of comparing and a step (806) of selecting. In the step of selecting, a first section (1000) is selected from a first camera image using a first selection rule (1008). Furthermore, at least one further first section (1004) is selected from the first camera image (1100) using at least one second selection rule (1010). Furthermore, a second section (1002) is selected from a second camera image using the first selection rule (1008). Furthermore, at least one further second detail (1006) is selected from the second camera image using the second selection rule (1010). In this case, the first selection rule (1008) represents a first predetermined shape of the projection surface, while the second selection rule (1010) represents a second predetermined shape of the projection surface. In the step of comparing, an image content (1012) of the first section (1000) is compared with an image content (1012) of the second section (1002) using a processing rule to obtain a first evaluation criterion of the first shape. Furthermore, an image content (1012) of the further first section (1004) is compared with an image content (1012) of the further second section (1006) using the processing rule to obtain a second evaluation criterion of the second form. In the step of selecting, the form for the projection surface is selected whose evaluation criterion represents a smaller deviation of the image contents (1012) from one another.

Description

Stand der TechnikState of the art

Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogramm.The present invention relates to a method for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images onto a corresponding device and to a corresponding computer program.

Bilder mehrerer Kameras können zu einem Gesamtbild verbunden werden. Zum Erstellen des Gesamtbilds ist eine Projektionsfläche erforderlich. Pictures of several cameras can be connected to form an overall picture. To create the full picture, a projection screen is required.

Die JP 2012-73836 A beschreibt ein Bildanzeigesystem.The JP 2012-73836 A describes an image display system.

Offenbarung der ErfindungDisclosure of the invention

Vor diesem Hintergrund werden mit dem hier vorgestellten Ansatz ein Verfahren zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogramm gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.Against this background, with the approach presented here, a method for adapting a three-dimensional projection surface for projecting a plurality of adjacent camera images, furthermore a device which uses this method and finally a corresponding computer program according to the main claims are presented. Advantageous embodiments emerge from the respective subclaims and the following description.

Ein Panorama kann aus einer Mehrzahl von Bildern zusammengesetzt werden. Um das Panorama zu berechnen, werden die Bilder auf eine virtuelle dreidimensionale Projektionsfläche projiziert. Eine Form der Projektionsfläche beeinflusst wesentlich, wie wirklichkeitsgetreu das so errechnete Panorama erscheint. Das Panorama kann als Panoramadatei Grundlage für vielfältig berechenbare Visualisierungen sein. Beispielsweise kann innerhalb des Panoramas ein Betrachtungswinkel nahezu frei gewählt werden. Aufgrund des Betrachtungswinkels ergeben sich verschiedene Perspektiven, die alle auf derselben Panoramadatei beruhen.A panorama can be composed of a plurality of images. To compute the panorama, the images are projected onto a virtual three-dimensional projection surface. A form of the projection surface significantly influences how faithfully the calculated panorama appears. As a panorama file, the panorama can be the basis for a variety of predictable visualizations. For example, within the panorama, a viewing angle can be selected almost freely. Due to the viewing angle, there are different perspectives, all based on the same panorama file.

Wenn die Projektionsfläche eine nicht geeignete Form aufweist, können Gegenstände im Panorama mit Darstellungsfehlern dargestellt werden. Beispielsweise können die Gegenstände mehrfach dargestellt werden oder grotesk verzerrt werden. Daher ist es erstrebenswert, die Form der Projektionsfläche unter Berücksichtigung darzustellender Objekte zu formen.If the screen has an inappropriate shape, objects in the panorama may be displayed with rendering errors. For example, the objects can be displayed multiple times or distorted grotesquely. Therefore, it is desirable to shape the shape of the projection surface in consideration of objects to be displayed.

Die genannten Darstellungsfehler entstehen im Wesentlichen in Bereichen der Projektionsfläche, an denen die darauf projizierten liegenden Bilder einander überlappen. In diesen Bereichen werden die Gegenstände in zumindest zwei Bildern abgebildet, jedoch aus unterschiedlichen Perspektiven.The stated representation errors arise essentially in areas of the projection area where the underlying images projected thereon overlap one another. In these areas, the objects are displayed in at least two images, but from different perspectives.

Der hier vorgestellte Ansatz beschreibt eine Methode, um Teilbereiche von zumindest zwei überklappenden Bildern miteinander zu vergleichen, um eine optimierte Form der Projektionsfläche zu erhalten.The approach presented here describes a method for comparing partial areas of at least two overlapping images with one another in order to obtain an optimized shape of the projection area.

Es wird ein Verfahren zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder vorgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Selektieren eines ersten Ausschnitts aus einem ersten Kamerabild unter Verwendung einer ersten Selektionsvorschrift, Selektieren zumindest eines weiteren ersten Ausschnitts aus dem ersten Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift, Selektieren eines zweiten Ausschnitts aus einem zweiten Kamerabild unter Verwendung der ersten Selektionsvorschrift und Selektieren zumindest eines weiteren zweiten Ausschnitts aus dem zweiten Kamerabild unter Verwendung der zweiten Selektionsvorschrift, wobei die erste Selektionsvorschrift eine erste vorbestimmte Form der Projektionsfläche repräsentiert, und die zweite Selektionsvorschrift eine zweite vorbestimmte Form der Projektionsfläche repräsentiert;
Vergleichen eines Bildinhalts des ersten Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift, um ein erstes Bewertungskriterium der ersten Form zu erhalten, und Vergleichen eines Bildinhalts des weiteren ersten Ausschnitts mit einem Bildinhalt des weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion, um ein zweites Bewertungskriterium der zweiten Form zu erhalten; und
Auswählen derjenigen Form für die Projektionsfläche, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert. A method for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images is presented, wherein the method comprises the following steps:
Selecting a first section from a first camera image using a first selection rule, selecting at least one further first section from the first camera image using at least one second selection rule, selecting a second section from a second camera image using the first selection rule and selecting at least one further second Section from the second camera image using the second selection rule, wherein the first selection rule represents a first predetermined shape of the projection surface, and the second selection rule represents a second predetermined shape of the projection surface;
Comparing an image content of the first section with an image content of the second section using a processing rule to obtain a first evaluation criterion of the first form and comparing an image content of the further first section with an image content of the further second section using the processing function to a second To obtain the evaluation criterion of the second form; and
Selecting the form for the projection surface whose evaluation criterion represents a smaller deviation of the image contents from one another.

Unter einer Projektionsfläche kann eine virtuelle Fläche verstanden werden. Eine Projektion kann ein rechnerisches Übertragen eines im Wesentlichen zweidimensionalen Bildes auf die Projektionsfläche sein. Ein Kamerabild kann eine Bilddatei von einer Kamera sein. Das Kamerabild kann eine Vielzahl von Bildpunkten aufweisen. Jeder Bildpunkt kann durch einen Koordinatenwert relativ zu einem Bezugspunkt des Kamerabilds charakterisiert sein. Ferner kann jeder Bildpunkt durch zumindest eine Intensitätsinformation beziehungsweise Farbinformation charakterisiert sein. Benachbarte Kamerabilder können eine Überschneidung in zumindest einem Randbereich aufweisen. Das heißt, dass in dem Randbereich abgebildete Objekte in beiden Kamerabildern abgebildet sind. Unter einem Selektieren kann ein Maskieren verstanden werden. Dabei wird eine durch die Selektionsvorschrift vordefinierte Maske über das Kamerabild gelegt, um einen Ausschnitt aus dem Kamerabild zu definieren. Dabei wird ein Bildinhalt, also die Intensitätsinformationen der Bildpunkte des Kamerabilds während des Selektierens beziehungsweise Maskierens nicht beachtet. Die Selektionsvorschrift definiert dabei die Grenzen des Ausschnitts. Die Grenzen sind abhängig von der Form der Projektionsfläche. Beim Vergleichen wird der Bildinhalt von zumindest zwei Ausschnitten miteinander verglichen, um eine Übereinstimmung der beiden Bildinhalte zu quantifizieren. Jeweils ein Ausschnitt aus dem ersten Kamerabild und ein Ausschnitt aus dem zweiten Kamerabild bilden ein Ausschnittpaar. Es werden jeweils die Ausschnitte eines Ausschnittpaars verglichen. Beim Auswählen wird dasjenige Ausschnittpaar ausgewählt, das die größte Übereinstimmung aufweist. Das gewählte Ausschnittpaar basiert auf der Projektionsfläche mit der am besten geeigneten Form zum Projizieren der Kamerabilder.A projection surface can be understood as a virtual surface. A projection may be a computational transfer of a substantially two-dimensional image onto the projection surface. A camera image may be an image file from a camera. The camera image may have a plurality of pixels. Each pixel may be characterized by a coordinate value relative to a reference point of the camera image. Furthermore, each pixel can be characterized by at least one intensity information or color information. Adjacent camera images may have an overlap in at least one edge region. That is, objects imaged in the edge region are imaged in both camera images. Selecting can be understood to mean masking. In this case, a mask predefined by the selection rule is placed over the camera image in order to define a section of the camera image. This is an image content, ie the intensity information of the pixels of the camera image ignored during the selection or masking. The selection rule defines the boundaries of the section. The limits depend on the shape of the screen. In comparison, the image content of at least two sections is compared with one another in order to quantify a coincidence of the two image contents. In each case a section of the first camera image and a section of the second camera image form a pair of cutouts. In each case, the sections of a pair of clipping are compared. When selecting, the cutout pair that has the largest match is selected. The selected section pair is based on the projection surface with the most suitable form for projecting the camera images.

Im Schritt des Selektierens können zumindest ein zusätzlicher erster Ausschnitt aus dem ersten Kamerabild und ein zusätzlicher zweiter Ausschnitt aus dem zweiten Kamerabild unter Verwendung einer weiteren Selektionsvorschrift selektiert werden, die eine weitere vorbestimmte Form der Projektionsfläche repräsentiert. Ein Bildinhalt des zusätzlichen ersten Ausschnitts kann unter Verwendung der Verarbeitungsvorschrift mit einem Bildinhalt des zusätzlichen zweiten Ausschnitts verglichen werden, um ein weiteres Bewertungskriterium der weiteren Form zu erhalten. Durch eine Verwendung einer Mehrzahl von Selektionsvorschriften können viele Formen von Projektionsflächen miteinander verglichen werden. Je größer die Anzahl der Formen, umso größer ist die Wahrscheinlichkeit, eine gute Übereinstimmung mit den Objekten in den Kamerabildern zu finden.In the step of selecting, at least one additional first detail from the first camera image and an additional second detail from the second camera image can be selected using a further selection rule that represents another predetermined shape of the projection surface. An image content of the additional first section may be compared to an image content of the additional second section using the processing rule in order to obtain a further evaluation criterion of the further form. By using a plurality of selection rules, many shapes of projection surfaces can be compared. The larger the number of shapes, the greater the likelihood of finding a good match with the objects in the camera images.

Im Schritt des Selektierens kann zumindest ein dritter Ausschnitt aus zumindest einem dritten Kamerabild unter Verwendung der ersten Selektionsvorschrift selektiert werden. Weiterhin kann zumindest ein weiterer dritter Ausschnitt aus dem dritten Kamerabild unter Verwendung der zweiten Selektionsvorschrift selektiert werden. Im Schritt des Vergleichens kann ein Bildinhalt des dritten Ausschnitts unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des ersten Ausschnitts und/oder dem Bildinhalt des zweiten Ausschnitts verglichen werden, um ein zusätzliches erstes Bewertungskriterium der ersten Form zu erhalten. Weiterhin kann ein Bildinhalt des weiteren dritten Ausschnitts unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des weiteren ersten Ausschnitts und/oder des Weiteren zweiten Ausschnitts verglichen werden, um ein zusätzliches zweites Bewertungskriterium der zweiten Form zu erhalten. Durch eine Vielzahl von Kamerabildern kann eine Umgebung eines Beobachtungsstandpunkts, beispielsweise eines Fahrzeugs im Wesentlichen vollständig abgebildet werden.In the step of selecting, at least a third detail of at least one third camera image can be selected using the first selection rule. Furthermore, at least one further third detail can be selected from the third camera image using the second selection rule. In the step of comparing, an image content of the third section may be compared to the image content of the first section and / or the image content of the second section using the processing rule to obtain an additional first evaluation criterion of the first shape. Furthermore, an image content of the further third detail can be compared using the processing specification with the image content of the further first detail and / or the second detail to obtain an additional second evaluation criterion of the second form. By means of a plurality of camera images, an environment of an observation standpoint, for example of a vehicle, can be substantially completely imaged.

Im Schritt des Vergleichens kann ferner ein Merkmalsinhalt der Ausschnitte verglichen werden, um die Bewertungskriterien zu erhalten. Ein Merkmalsinhalt kann abgebildete Objekte in den Ausschnitten repräsentieren. Durch eine Erkennung von Objekten kann die Übereinstimmung der Ausschnitte gut überprüft werden.Further, in the step of comparing, a feature content of the clippings may be compared to obtain the evaluation criteria. A feature content may represent imaged objects in the clippings. By recognizing objects, the matching of the sections can be checked well.

Im Schritt des Vergleichens kann die Verarbeitungsvorschrift eine Summe quadrierter Differenzen zwischen Intensitätswerten korrespondierender Bildpixel in dem ersten Ausschnitt und dem zweiten Ausschnitt beschreiben. Die Bildpixel können einen gemeinsamen Koordinatenwert auf der zu bewertenden Form aufweisen. Ein Bildpixel kann als Bildpunkt bezeichnet werden. Durch einen direkten Vergleich einzelner Bildpixel beziehungsweise Bildpixelgruppen miteinander kann auf eine rechenintensive Objektsuche verzichtet werden. Dadurch kann das hier vorgestellte Verfahren besonders schnell ausgeführt werden.In the step of comparing, the processing rule may describe a sum of squared differences between intensity values of corresponding image pixels in the first clipping and the second clipping. The image pixels may have a common coordinate value on the shape to be evaluated. An image pixel can be called a pixel. A direct comparison of individual image pixels or image pixel groups with one another makes it possible to dispense with a compute-intensive object search. As a result, the method presented here can be carried out particularly quickly.

Im Schritt des Vergleichens kann die Verarbeitungsvorschrift eine Summe absoluter Differenzen zwischen Intensitätswerten korrespondierender Bildpixel in dem ersten Ausschnitt und dem zweiten Ausschnitt beschreiben. Die Bildpixel können einen gemeinsamen Koordinatenwert auf der zu bewertenden Form aufweisen. Durch einen direkten Vergleich einzelner Bildpixel beziehungsweise Bildpixelgruppen miteinander kann auf eine rechenintensive Objektsuche verzichtet werden. Dadurch kann das hier vorgestellte Verfahren besonders schnell ausgeführt werden.In the step of comparing, the processing rule may describe a sum of absolute differences between intensity values of corresponding image pixels in the first clipping and the second clipping. The image pixels may have a common coordinate value on the shape to be evaluated. A direct comparison of individual image pixels or image pixel groups with one another makes it possible to dispense with a compute-intensive object search. As a result, the method presented here can be carried out particularly quickly.

Die Koordinatenwerte der zu vergleichenden Bildpixel können unter Verwendung einer, von der jeweiligen Form abhängigen Interpolationsvorschrift gewählt werden. Die Interpolationsvorschrift kann in der Selektionsvorschrift hinterlegt sein. Die Interpolationsvorschrift kann eine Form der zusammengehörigen Ausschnitte mathematisch abbilden. Durch eine mathematische Abbildung kann jeder. Des einen Ausschnitts einem Punkt des anderen Ausschnitts zugeordnet werden.The coordinate values of the image pixels to be compared may be selected using an interpolation rule dependent on the respective shape. The interpolation rule can be stored in the selection rule. The interpolation rule can mathematically map a form of the matching sections. Through a mathematical illustration everyone can. Of a section to be assigned to a point of the other section.

Das Verfahren kann einen Schritt des Projizierens der Kamerabilder unter Verwendung der ausgewählten Form aufweisen, um den Bildinhalt der Kamerabilder auf der Projektionsfläche darzustellen. Da im Schritt des Selektierens die Kamerabilder bereits teilweise bearbeitet worden sind, kann Rechenkapazität eingespart werden, indem der Rest der Kamerabilder, der im Schritt des Selektierens nicht beachtet worden ist, ebenso bearbeitet wird. Dadurch kann das hier vorgestellte Verfahren besonders schnell ausgeführt werden.The method may include a step of projecting the camera images using the selected shape to display the image content of the camera images on the screen. Since the camera images have already been partially processed in the step of selecting, computational capacity can be saved by also processing the rest of the camera images that were disregarded in the step of selecting. As a result, the method presented here can be carried out particularly quickly.

Im Schritt des Auswählens kann zumindest ein Parameter der ausgewählten Form bereitgestellt werden, um die Projektionsfläche beim Projizieren zu definieren. Eine Form der Projektionsfläche kann durch wenige Parameter mathematisch korrekt beschrieben werden. Wenn durch das hier vorgestellte Verfahren nur die bestmögliche Form der Projektionsfläche bestimmt werden soll, kann die Form unter Verwendung des zumindest einen Parameters leicht mit einem geringen Datenvolumen an eine andere Vorrichtung übertragen werden.In the step of selecting, at least one parameter of the selected shape may be provided to define the projection surface when projecting. A form of the projection surface can be mathematically correctly described by a few parameters. If only the best possible shape of the projection surface is to be determined by the method presented here, the shape can easily be transferred to another device using the at least one parameter with a small data volume.

Weiterhin wird eine Vorrichtung zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder vorgestellt, wobei die Vorrichtung die folgenden Merkmale aufweist:
eine Selektionseinrichtung zum Selektieren eines ersten Ausschnitts aus einem ersten Kamerabild unter Verwendung einer ersten Selektionsvorschrift, zum Selektieren zumindest eines weiteren ersten Ausschnitts aus dem ersten Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift, zum Selektieren eines zweiten Ausschnitts aus einem zweiten Kamerabild unter Verwendung der ersten Selektionsvorschrift, und zum Selektieren zumindest eines weiteren zweiten Ausschnitts aus dem zweiten Kamerabild unter Verwendung der zweiten Selektionsvorschrift, wobei die erste Selektionsvorschrift eine erste vorbestimmte Form der Projektionsfläche repräsentiert, und die zweite Selektionsvorschrift eine zweite vorbestimmte Form der Projektionsfläche repräsentiert;
eine Vergleichseinrichtung zum Vergleichen eines Bildinhalts des ersten Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift, um ein erstes Bewertungskriterium der ersten Form zu erhalten, und zum Vergleichen eines Bildinhalts des weiteren ersten Ausschnitts mit einem Bildinhalt des weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion, um ein zweites Bewertungskriterium der zweiten Form zu erhalten; und
eine Auswahleinrichtung zum Auswählen derjenigen Form für die Projektionsfläche, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert.Furthermore, a device for adapting a three-dimensional projection surface for projecting a plurality of adjacent camera images is presented, the device having the following features:
a selection device for selecting a first section from a first camera image using a first selection rule, for selecting at least one further first section from the first camera image using at least one second selection rule, for selecting a second section from a second camera image using the first selection rule, and for selecting at least one further second section from the second camera image using the second selection rule, wherein the first selection rule represents a first predetermined shape of the projection surface, and the second selection rule represents a second predetermined shape of the projection surface;
comparison means for comparing an image content of the first section with an image content of the second section using a processing rule to obtain a first evaluation criterion of the first form, and comparing an image content of the further first section with an image content of the further second section using the processing function to obtain a second evaluation criterion of the second form; and
a selection device for selecting the shape for the projection surface whose evaluation criterion represents a smaller deviation of the image contents from one another.

Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.In the present case, a device can be understood as meaning an electrical device which processes sensor signals and outputs control and / or data signals in dependence thereon. The device may have an interface, which may be formed in hardware and / or software. In the case of a hardware-based embodiment, the interfaces can be part of a so-called system ASIC, for example, which contains a wide variety of functions of the device. However, it is also possible that the interfaces are their own integrated circuits or at least partially consist of discrete components. In a software training, the interfaces may be software modules that are present, for example, on a microcontroller in addition to other software modules.

Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer oder einer Vorrichtung ausgeführt wird.Also of advantage is a computer program product or computer program with program code which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard disk memory or an optical memory and for carrying out, implementing and / or controlling the steps of the method according to one of the embodiments described above is used, especially when the program product or program is executed on a computer or a device.

Der hier vorgestellte Ansatz wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:The approach presented here will be explained in more detail below with reference to the accompanying drawings. Show it:

1 eine Darstellung eines Fahrzeugs mit vier Kameras; 1 a representation of a vehicle with four cameras;

2 eine Darstellung einer Projektionsfläche rund um ein Fahrzeug gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 2 a representation of a projection area around a vehicle according to an embodiment of the present invention;

3 eine Querschnittsdarstellung einer Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 3 a cross-sectional view of a projection surface for projecting a plurality of adjacent camera images according to an embodiment of the present invention;

4 ein Blockschaltbild einer Vorrichtung zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 4 a block diagram of a device for adjusting a three-dimensional projection screen for projecting a plurality of adjacent camera images according to an embodiment of the present invention;

5 eine Darstellung eines Überlappungsbereichs zweier Kamerabilder auf einer Projektionsfläche gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 5 a representation of an overlapping region of two camera images on a projection screen according to an embodiment of the present invention;

6 eine Darstellung eines Überlappungsbereichs zweier Kamerabilder auf einer Projektionsfläche gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung; 6 a representation of an overlapping region of two camera images on a projection screen according to another embodiment of the present invention;

7 eine Darstellung einer Projektion von Teilflächen des 3-D-Form-Templates in Kamerabilder unterschiedlicher Positionen; 7 a representation of a projection of partial areas of the 3-D shape template in camera images of different positions;

8 ein Ablaufdiagramm eines Verfahrens zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; 8th a flowchart of a method for adjusting a three-dimensional projection screen for projecting a plurality of adjacent camera images according to an embodiment of the present invention;

9 eine Darstellung eines Ablaufs eines Verfahrens zum Erzeugen einer Mehrzahl von Selektionsvorschriften gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und 9 a representation of a flow of a method for generating a plurality of Selection rules according to an embodiment of the present invention; and

10 eine Darstellung von Schritten eines Verfahrens zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. 10 12 shows an illustration of steps of a method for adjusting a three-dimensional projection area for projecting a plurality of adjacent camera images according to an exemplary embodiment of the present invention.

In der nachfolgenden Beschreibung günstiger Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.In the following description of favorable embodiments of the present invention, the same or similar reference numerals are used for the elements shown in the various figures and similar acting, with a repeated description of these elements is omitted.

1 zeigt eine Darstellung eines Fahrzeugs 100 mit vier Kameras 102, 104, 106, 108. Das Fahrzeug 100 ist hier ein Personenkraftwagen 100. Das Fahrzeug kann auch beispielsweise ein Lastkraftwagen oder eine Baumaschine sein. Die vier Kameras 102, 104, 106, 108 sind auf allen vier Seiten des Fahrzeugs 100 angeordnet. Die erste Kamera 102 ist an einer Front des Fahrzeugs 100 angeordnet. Die erste Kamera 102 ist in einer Fahrtrichtung des Fahrzeugs 100 ausgerichtet und dazu ausgebildet, ein erstes Kamerabild 110 von einer Umgebung des Fahrzeugs 100 vor dem Fahrzeug 100 bereitzustellen. Die zweite Kamera 104 ist an einem rechten Außenspiegel des Fahrzeugs 100 angeordnet. Die zweite Kamera 104 ist quer zu dem Fahrzeug 100 ausgerichtet. Die zweite Kamera 104 ist dazu ausgebildet, ein zweites Kamerabild 112 von der Umgebung des Fahrzeugs 100 rechts von dem Fahrzeug 100 bereitzustellen. Die dritte Kamera 106 ist an einem Heck des Fahrzeugs 100 angeordnet. Die dritte Kamera 106 ist entgegen der Fahrtrichtung des Fahrzeugs 100 ausgerichtet. Die dritte Kamera 106 ist dazu ausgebildet, ein drittes Kamerabild 114 von der Umgebung des Fahrzeugs 100 hinter dem Fahrzeug 100 bereitzustellen. Die vierte Kamera 108 ist an einem linken Außenspiegel des Fahrzeugs 100 angeordnet. Die vierte Kamera 108 ist ebenfalls quer zu dem Fahrzeug 100 ausgerichtet. Die vierte Kamera 108 ist dazu ausgebildet, ein viertes Kamerabild 116 von der Umgebung des Fahrzeugs 100 links von dem Fahrzeug 100 bereitzustellen. 1 shows a representation of a vehicle 100 with four cameras 102 . 104 . 106 . 108 , The vehicle 100 here is a passenger car 100 , The vehicle may also be, for example, a truck or a construction machine. The four cameras 102 . 104 . 106 . 108 are on all four sides of the vehicle 100 arranged. The first camera 102 is at a front of the vehicle 100 arranged. The first camera 102 is in a direction of travel of the vehicle 100 aligned and adapted to a first camera image 110 from an environment of the vehicle 100 in front of the vehicle 100 provide. The second camera 104 is on a right side mirror of the vehicle 100 arranged. The second camera 104 is transverse to the vehicle 100 aligned. The second camera 104 is designed to be a second camera image 112 from the environment of the vehicle 100 right of the vehicle 100 provide. The third camera 106 is at a rear of the vehicle 100 arranged. The third camera 106 is opposite to the direction of travel of the vehicle 100 aligned. The third camera 106 is designed to have a third camera image 114 from the environment of the vehicle 100 behind the vehicle 100 provide. The fourth camera 108 is on a left side mirror of the vehicle 100 arranged. The fourth camera 108 is also transverse to the vehicle 100 aligned. The fourth camera 108 is designed to be a fourth camera image 116 from the environment of the vehicle 100 to the left of the vehicle 100 provide.

Zusammen decken die vier Kamerabilder 110, 112, 114, 116 die Umgebung des Fahrzeugs 100 näherungsweise vollständig ab. Die Kamerabilder 110, 112, 114, 116 werden mit einer kleinen Brennweite aufgenommen und weisen deshalb eine starke Verzerrung auf. Insbesondere sind die Kamerabilder 110, 112, 114, 116 tonnenförmig verzerrt. Die Kamerabilder 110, 112, 114, 116 weisen einen großen Bildwinkel auf. Die Kamerabilder 110, 112, 114, 116 weisen näherungsweise einen Bildwinkel von 180° auf. Die Kamerabilder 110, 112, 114, 116 weisen überlappende Randbereiche auf. Together, the four camera images cover 110 . 112 . 114 . 116 the environment of the vehicle 100 approximately completely off. The camera pictures 110 . 112 . 114 . 116 are recorded with a small focal length and therefore have a strong distortion. In particular, the camera images 110 . 112 . 114 . 116 distorted barrel-shaped. The camera pictures 110 . 112 . 114 . 116 have a large angle of view. The camera pictures 110 . 112 . 114 . 116 have approximately an angle of view of 180 °. The camera pictures 110 . 112 . 114 . 116 have overlapping edge areas.

2 zeigt eine Darstellung einer Projektionsfläche 200 rund um ein Fahrzeug 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Projektionsfläche 200 ist virtuell und entspricht keiner tatsächlichen Oberfläche eines Gegenstands. Die Projektionsfläche 200 weist eine schüsselartige rotationssymmetrische 3-D-Form auf. Auf die Projektionsfläche 200 können für ein 3-D Surround-View-System die Kamerabilder von Seitenkameras, Frontkameras und Rückkameras, wie sie beispielsweise in 1 beschrieben sind, projiziert werden. Beim Projizieren werden die Kamerabilder verzerrt, da die Projektionsfläche 200 räumlich gebogen ist. Die Form der Projektionsfläche 200 wird gemäß dem hier vorgestellten Ansatz ausgewählt. 2 shows a representation of a projection screen 200 around a vehicle 100 according to an embodiment of the present invention. The projection screen 200 is virtual and does not correspond to an actual surface of an object. The projection screen 200 has a bowl-like rotationally symmetric 3-D shape. On the projection screen 200 For a 3-D surround view system, the camera images of side cameras, front cameras and rear cameras, such as those in 1 are projected. When projecting the camera images are distorted because the screen 200 is spatially bent. The shape of the projection screen 200 is selected according to the approach presented here.

3 zeigt eine Querschnittsdarstellung einer Projektionsfläche 200 zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Projektionsfläche 200 entspricht im Wesentlichen der Projektionsfläche in 2. Die Projektionsfläche 200 weist eine 3-D-Form auf. Die Form besteht aus einer Kreisscheibe 300 oder Ellipsenscheibe mit variablem Durchmesser D und einer parabelförmigen Wandung 302 mit variabler Steilheit a. Die Projektionsfläche 200 kann als 3-D-Form-Template 200 bezeichnet werden. Wenn die Projektionsfläche 200 rund ist, weist sie eine Rotationsachse 304 auf. Die Wandung 302 kann durch Y = a·x^2 beschrieben werden. 3 shows a cross-sectional view of a projection screen 200 for projecting a plurality of adjacent camera images according to an embodiment of the present invention. The projection screen 200 essentially corresponds to the projection area in 2 , The projection screen 200 has a 3-D shape. The shape consists of a circular disk 300 or ellipse disc of variable diameter D and a parabolic wall 302 with variable slope a. The projection screen 200 can be as a 3-D shape template 200 be designated. If the projection screen 200 is round, it has an axis of rotation 304 on. The wall 302 can be described by Y = a × x 2.

Bisher werden die Parameter D und a typischerweise manuell vorkonfiguriert. Durch den hier vorgestellten Ansatz werden die beiden Parameter abhängig von den, das Fahrzeug umgebenden Hindernissen automatisch eingestellt. Mit anderen Worten beschreibt der hier vorgestellte Ansatz eine automatische Parametrierung eines generischen 3-D Form-Templates 200 für 3-D-Umfeldmodelle.So far, the parameters D and a are typically preconfigured manually. The approach presented here sets the two parameters automatically, depending on the obstacles surrounding the vehicle. In other words, the approach presented here describes an automatic parameterization of a generic 3-D form template 200 for 3-D environment models.

4 zeigt ein Blockschaltbild einer Vorrichtung 400 zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Vorrichtung 400 weist eine Selektionseinrichtung 402, eine Vergleichseinrichtung 404 und eine Auswahleinrichtung 406 auf. Die Selektionseinrichtung 402 ist mit einer Speichereinrichtung 408 und zumindest zwei Kameras 102, 104 eines Fahrzeugs 100 verbunden. Die erste Kamera 102 und die zweite Kamera 104 weisen in zumindest einem Randbereich überlappende Erfassungsbereiche 410, 412 auf. Die Kameras 102, 104 sind dazu ausgebildet, ihre Erfassungsbereiche 410, 412 in je einem Kamerabild oder Bewegtbild abzubilden. 4 shows a block diagram of a device 400 for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images according to an embodiment of the present invention. The device 400 has a selection device 402 , a comparison device 404 and a selector 406 on. The selection device 402 is with a storage device 408 and at least two cameras 102 . 104 of a vehicle 100 connected. The first camera 102 and the second camera 104 have overlapping detection areas in at least one edge area 410 . 412 on. The cameras 102 . 104 are trained to their coverage areas 410 . 412 each in a camera image or moving image.

In einem Ausführungsbeispiel ist die Selektionseinrichtung 402 mit einem Sensorsystem mit mindestens zwei Sensoren verbunden. Das Sensorsystem ist dazu ausgebildet, eine Umgebung des Fahrzeugs 100 zu erfassen. Die Sensoren sind dazu ausgebildet, je ein Sensorbild eines Teils der Umgebung bereitzustellen. In one embodiment, the selection device is 402 connected to a sensor system with at least two sensors. The sensor system is adapted to an environment of the vehicle 100 capture. The sensors are designed to each provide a sensor image of a part of the environment.

Die Selektionseinrichtung 402 ist dazu ausgebildet, einen ersten Ausschnitt aus dem ersten Kamerabild der ersten Kamera 102 unter Verwendung einer ersten Selektionsvorschrift zu selektieren. Die erste Selektionsvorschrift ist in der Speichereinrichtung 408 hinterlegt. Weiterhin ist die Selektionseinrichtung 402 dazu ausgebildet, zumindest einen weiteren ersten Ausschnitt aus dem ersten Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift zu selektieren. Die zweite Selektionsvorschrift ist ebenfalls in der Speichereinrichtung 408 hinterlegt. Die Selektionseinrichtung 402 ist weiterhin dazu ausgebildet, einen zweiten Ausschnitt aus dem zweiten Kamerabild der zweiten Kamera 104 unter Verwendung der ersten Selektionsvorschrift zu selektieren. Ferner ist die Selektionseinrichtung 402 dazu ausgebildet, zumindest einen weiteren zweiten Ausschnitt aus dem zweiten Kamerabild unter Verwendung der zweiten Selektionsvorschrift zu selektieren. Die die erste Selektionsvorschrift repräsentiert eine erste vorbestimmte, beispielsweise vorberechnete, Form der Projektionsfläche, wie sie beispielsweise in den 2 und 3 dargestellt ist. Die zweite Selektionsvorschrift repräsentiert eine zweite vorbestimmte, beispielsweise vorberechnete, Form der Projektionsfläche. The selection device 402 is adapted to a first section of the first camera image of the first camera 102 using a first selection rule to select. The first selection rule is in the storage device 408 deposited. Furthermore, the selection device 402 designed to select at least one further first section from the first camera image using at least one second selection rule. The second selection rule is also in the storage device 408 deposited. The selection device 402 is further adapted to a second section of the second camera image of the second camera 104 using the first selection rule. Furthermore, the selection device 402 designed to select at least one further second section from the second camera image using the second selection rule. The first selection rule represents a first predetermined, for example, precalculated, shape of the projection surface, as shown for example in the 2 and 3 is shown. The second selection rule represents a second predetermined, for example precalculated, shape of the projection surface.

Die Vergleichseinrichtung 404 ist dazu ausgebildet, einen Bildinhalt des ersten Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift zu vergleichen, um ein erstes Bewertungskriterium der ersten Form zu erhalten. Weiterhin ist die Vergleichseinrichtung 404 dazu ausgebildet, einen Bildinhalt des weiteren ersten Ausschnitts mit einem Bildinhalt des weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion zu vergleichen, um ein zweites Bewertungskriterium der zweiten Form zu erhalten. Die Verarbeitungsvorschrift kann beispielsweise eine Summe quadrierter und/oder absoluter Differenzen zwischen Intensitätswerten korrespondierender Bildpixel in dem ersten Ausschnitt und dem zweiten Ausschnitt beschreiben. Die Bildpixel können einen gemeinsamen Koordinatenwert auf der zu bewertenden Form zugeordnet sein, sodass sie auf der Form einander überlagert dargestellt würden. Koordinatenwerte der zu vergleichenden Bildpixel in den zugrunde liegenden Kamerabildern können in einer, von der jeweiligen Form abhängigen Interpolationsvorschrift beschrieben sein.The comparison device 404 is adapted to compare an image content of the first section with an image content of the second section using a processing rule to obtain a first evaluation criterion of the first form. Furthermore, the comparison device 404 adapted to compare an image content of the further first section with an image content of the further second section using the processing function to obtain a second evaluation criterion of the second form. For example, the processing rule may describe a sum of squared and / or absolute differences between intensity values of corresponding image pixels in the first clipping and the second clipping. The image pixels may be assigned a common coordinate value on the shape to be evaluated so that they would be superimposed on the shape superimposed. Coordinate values of the image pixels to be compared in the underlying camera images can be described in an interpolation rule dependent on the respective shape.

Die Auswahleinrichtung 406 ist dazu ausgebildet, diejenige Form 414 für die Projektionsfläche auszuwählen und bereitzustellen, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert. Dazu kann zumindest ein Parameter der ausgewählten Form 414 bereitgestellt werden, um die Projektionsfläche beim Projizieren zu definieren.The selection device 406 is designed to be that shape 414 for the projection screen and provide, whose evaluation criterion represents a smaller deviation of the image content from each other. This can be at least one parameter of the selected form 414 be provided to define the projection surface when projecting.

5 zeigt eine Darstellung eines Überlappungsbereichs 500 zweier Kamerabilder 110, 112 auf einer Projektionsfläche 200 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Projektionsfläche 200 entspricht einem Ausführungsbeispiel einer Projektionsfläche, wie in 3. Hier ist der Durchmesser der Kreisscheibe relativ groß und die Wandung relativ steil. Um die Darstellung zu vereinfachen, ist lediglich ein Viertel der Projektionsfläche 200 dargestellt. Daher ist auch nur jeweils eine Hälfte der Kamerabilder 110, 112 dargestellt. Die Kamerabilder 110, 112 weisen einen großen Bildwinkel auf. Der Bildwinkel liegt hier zwischen 180° und 160°. Damit sind in beiden Kamerabildern, wie in 4 dargestellt, einige Objekte doppelt abgebildet. Die doppelt abgebildeten Objekte sind jedoch aus unterschiedlichen Betrachtungswinkeln abgebildet. Die Objekte können auch von verschiedenen Seiten abgebildet sein. 5 shows a representation of an overlapping area 500 two camera pictures 110 . 112 on a projection screen 200 according to an embodiment of the present invention. The projection screen 200 corresponds to an embodiment of a projection surface, as in 3 , Here, the diameter of the circular disk is relatively large and the wall is relatively steep. To simplify the illustration, only a quarter of the projection surface 200 shown. Therefore, only one half of the camera images 110 . 112 shown. The camera pictures 110 . 112 have a large angle of view. The angle of view is between 180 ° and 160 °. Thus are in both camera pictures, like in 4 shown, some objects shown twice. However, the double-mapped objects are shown from different viewing angles. The objects can also be displayed from different sides.

Durch die Projektion der Kamerabilder 110, 112 auf die Projektionsfläche 200 ergibt sich der Überlappungsbereich 500. In dem Überlappungsbereich 500 können Objekte doppelt dargestellt sein. Da der Bildwinkel hier fest ist, ist eine Größe des Überlappungsbereichs 500 abhängig von einer Geometrie der Projektionsfläche 200. Je größer ein Durchmesser der Projektionsfläche 200 ist, umso größer ist der Überlappungsbereich 500. Umso größer der Überlappungsbereich ist, umso größer ist eine Fläche in den Kamerabildern 110, 112, in der Objekte doppelt dargestellt werden können. Through the projection of the camera images 110 . 112 on the projection screen 200 results in the overlap area 500 , In the overlap area 500 objects can be displayed twice. Since the angle of view is fixed here, is a size of the overlapping area 500 depending on a geometry of the projection surface 200 , The larger a diameter of the projection surface 200 is, the larger the overlap area 500 , The larger the overlap area, the larger the area in the camera images 110 . 112 in which objects can be duplicated.

6 zeigt eine Darstellung eines Überlappungsbereichs 500 zweier Kamerabilder 110, 112 auf einer Projektionsfläche 200 gemäß einem weiteren Ausführungsbeispiel der vorliegenden Erfindung. Die Darstellung entspricht im Wesentlichen der Darstellung in 5. Im Gegensatz zu 5 ist der Überlappungsbereich 500 hier kleiner, da die Projektionsfläche 200 hier einen kleineren Durchmesser aufweist, als in 5. 6 shows a representation of an overlapping area 500 two camera pictures 110 . 112 on a projection screen 200 according to another embodiment of the present invention. The presentation essentially corresponds to the representation in 5 , In contrast to 5 is the overlap area 500 smaller here, because the projection surface 200 here has a smaller diameter than in 5 ,

7 zeigt eine Darstellung einer Projektion von Teilflächen 700 des 3-D-Form-Templates 200 in Kamerabilder 110, 112 unterschiedlicher Positionen. Das 3-D-Form-Template 200 entspricht einem Ausführungsbeispiel der Projektionsfläche 200 in 3. Zur Erläuterung des hier vorgestellten Ansatzes sind hier weitere Teilflächen 702 von weiteren Projektionsflächen dargestellt. Zur Vereinfachung sind die weiteren Projektionsflächen nicht vollständig dargestellt. Die weiteren Projektionsflächen weisen jeweils andere Parameter zum Bestimmen ihrer Form auf, als die dargestellte Projektionsfläche 200. Die weiteren Teilflächen 702 werden ebenfalls in die Kamerabilder 110, 112 projiziert. Dabei wird diejenige Projektionsfläche 200 ausgewählt, deren projizierte Teilflächen 700, 702 in den Kamerabildern 110, 112 zu einer größten Übereinstimmung der Bildinhalte beziehungsweise Merkmalsinhalte der Ausschnitte innerhalb der Ränder der Teilflächen 700, 702 führen. 7 shows a representation of a projection of faces 700 of the 3-D form template 200 in camera pictures 110 . 112 different positions. The 3-D shape template 200 corresponds to an embodiment of the projection surface 200 in 3 , To explain the approach presented here are here further sub-areas 702 represented by further projection surfaces. For simplicity, the other projection surfaces are not fully displayed. The other projection surfaces each have different parameters for determining their shape, as the projection surface shown 200 , The other subareas 702 are also in the camera images 110 . 112 projected. This is the projection surface 200 selected, their projected faces 700 . 702 in the camera pictures 110 . 112 to a greatest match of the image contents or feature contents of the cutouts within the edges of the faces 700 . 702 to lead.

Mit anderen Worten wird die Projektionsfläche 200 mit der Form ausgewählt, bei der die innerhalb der projizierten Teilflächen 700, 702 dargestellten Objekte am besten übereinstimmen beziehungsweise überlagert werden können. Dabei werden unterschiedlich parametrierte vorbestimmte, beispielsweise vorberechnete, 3-D-Form-Templates 200 verwendet, um ein möglichst gut passendes 3-D-Umfeldmodell, beispielsweise für Surround-View-Anwendungen zu bestimmen. Dazu wird durch Auswertung von überlappender Bildinformation 110, 112 sehr effizient für jede 3-D-Form-Hypothese 200 ein Qualitätsmaß bestimmt. Die Teilflächen 700, 702 des 3-D-Form-Templates 200 werden in die Kamerabilder 110, 112 projiziert. Dabei erfolgt eine Projektion einer Teilfläche A 700 des 3-D Modells 200 in das Bild 110 einer ersten Kamera. Weiterhin erfolgt eine Projektion der Teilfläche A 700 des 3-D Modells 200 in das Bild 112 einer zweiten Kamera. Über die bekannte Position und Orientierung der Kameras lassen sich damit die entsprechend überlappenden Bildbereiche feststellen und der Bildinhalt beispielsweise mit SSD (Sum of squared differences) oder SAD (Sum of absolute diffferences) vergleichen. Diejenige Parametrierung des 3-D-Form-Templates 200 wird ausgewählt, bei dem dieser Vergleich mit der besten Qualitätszahl gemessen wird. Dabei repräsentiert die beste Qualitätszahl die Bildbereiche mit den geringsten Unterschieden gemäß beispielsweise SSD oder SAD. Bei der hier vorgestellten automatischen und direkten Bestimmung der Parameter des 3-D-Umfeldmodells 200 durch Vergleich von überlappenden Sensorinformationen 110, 112 erfolgt die Anpassung der 3-D Geometrie 200 stufenweise.In other words, the screen becomes 200 selected with the shape in which the within the projected faces 700 . 702 objects best match or can be superimposed. In this case, different parameterized predetermined, for example, pre-calculated, 3-D shape templates 200 used to determine the most suitable 3-D environment model, for example, for surround view applications. This is done by evaluating overlapping image information 110 . 112 very efficient for any 3-D shape hypothesis 200 a quality measure determined. The partial surfaces 700 . 702 of the 3-D form template 200 be in the camera images 110 . 112 projected. In this case, a projection of a partial area A takes place 700 of the 3-D model 200 in the picture 110 a first camera. Furthermore, a projection of the partial area A takes place 700 of the 3-D model 200 in the picture 112 a second camera. By means of the known position and orientation of the cameras, it is thus possible to determine the correspondingly overlapping image areas and to compare the image content with, for example, SSD (Sum of Squared Differences) or SAD (Sum of Absolute Diffferences). The parameterization of the 3-D form template 200 is selected, where this comparison is measured with the best quality number. The best quality number represents the image areas with the least differences according to, for example, SSD or SAD. In the case of the automatic and direct determination of the parameters of the 3-D environment model presented here 200 by comparing overlapping sensor information 110 . 112 the adaptation of the 3-D geometry takes place 200 gradually.

Das vorgeschlagene Verfahren vermeidet suchaufwendige Stereo-Verfahren oder SfM(Structure-from-Motion)-Verfahren zu Bestimmung der 3-D-Form 200. Ein wesentlicher Vorteil ist dabei auch der hohe Anteil an vorberechneten Verfahrensschritten.The proposed method avoids the need for troublesome stereo or SfM (Structure-from-Motion) methods for determining the 3-D shape 200 , A significant advantage is also the high proportion of precalculated process steps.

8 zeigt ein Ablaufdiagramm eines Verfahrens 800 zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 800 weist einen Schritt 802 des Selektierens, einen Schritt 804 des Vergleichens und einen Schritt 806 des Auswählens auf. Im Schritt 802 des Selektierens wird ein erster Ausschnitt aus einem ersten Kamerabild unter Verwendung einer ersten Selektionsvorschrift selektiert. Weiterhin wird zumindest ein weiterer erster Ausschnitt aus dem ersten Kamerabild unter Verwendung zumindest einer zweiten Selektionsvorschrift selektiert. Ebenso wird ein zweiter Ausschnitt aus einem zweiten Kamerabild unter Verwendung der ersten Selektionsvorschrift selektiert. Ferner wird zumindest ein weiterer zweiter Ausschnitt aus dem zweiten Kamerabild unter Verwendung der zweiten Selektionsvorschrift selektiert. Dabei repräsentiert die erste Selektionsvorschrift eine erste vorberechnete Form der Projektionsfläche, während die zweite Selektionsvorschrift eine zweite vorberechnete Form der Projektionsfläche repräsentiert. Im Schritt 804 des Vergleichens wird ein Bildinhalt des ersten Ausschnitts mit einem Bildinhalt des zweiten Ausschnitts unter Verwendung einer Verarbeitungsvorschrift verglichen, um ein erstes Bewertungskriterium der ersten Form zu erhalten. Weiterhin wird ein Bildinhalt des weiteren ersten Ausschnitts mit einem Bildinhalt des Weiteren zweiten Ausschnitts unter Verwendung der Verarbeitungsfunktion verglichen, um ein zweites Bewertungskriterium der zweiten Form zu erhalten. Im Schritt 806 des Auswählens wird diejenige Form für die Projektionsfläche ausgewählt, deren Bewertungskriterium eine geringere Abweichung der Bildinhalte voneinander repräsentiert. 8th shows a flowchart of a method 800 for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images according to an embodiment of the present invention. The procedure 800 has a step 802 selecting, one step 804 of comparing and one step 806 of selecting. In step 802 When selecting, a first section from a first camera image is selected using a first selection rule. Furthermore, at least one further first detail from the first camera image is selected using at least one second selection rule. Likewise, a second section is selected from a second camera image using the first selection rule. Furthermore, at least one further second detail from the second camera image is selected using the second selection rule. The first selection rule represents a first precalculated form of the projection surface, while the second selection rule represents a second precalculated form of the projection surface. In step 804 comparing, comparing an image content of the first section with an image content of the second section using a processing rule to obtain a first evaluation criterion of the first form. Furthermore, an image content of the further first section is compared with an image content of the further second section using the processing function to obtain a second evaluation criterion of the second form. In step 806 In the case of selecting, the form for the projection surface is selected whose evaluation criterion represents a smaller deviation of the image contents from one another.

Weitere vorberechnete Formen von Projektionsflächen können durch weitere Selektionsvorschriften repräsentiert sein. Dann können im Schritt 802 des Selektierens zusätzliche erste Ausschnitte aus dem ersten Kamerabild und zusätzliche zweite Ausschnitte aus dem zweiten Kamerabild unter Verwendung der weiteren Selektionsvorschriften selektiert werden. Die Bildinhalte der zusätzlichen Ausschnitte können im Schritt 804 des Vergleichens unter Verwendung der Verarbeitungsvorschrift verglichen werden, um weitere Bewertungskriterien der weiteren Formen zu erhalten.Further precalculated forms of projection surfaces can be represented by further selection instructions. Then in step 802 selecting additional first sections from the first camera image and additional second sections from the second camera image using the further selection rules are selected. The image contents of the additional cutouts can be seen in the step 804 of comparison using the processing instruction to obtain further evaluation criteria of the other forms.

Weitere Kamerabilder können mit dem hier vorgestellten Verfahren 800 verarbeitet werden. Beispielsweise kann im Schritt 802 des Selektierens ein dritter Ausschnitt aus einem dritten Kamerabild unter Verwendung der ersten Selektionsvorschrift selektiert werden. Weiterhin kann ein weiterer dritter Ausschnitt aus dem dritten Kamerabild unter Verwendung der zweiten Selektionsvorschrift selektiert werden. Im Schritt 804 des Vergleichens kann ein Bildinhalt des dritten Ausschnitts unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des ersten Ausschnitts und/oder dem Bildinhalt des zweiten Ausschnitts verglichen werden, um ein zusätzliches erstes Bewertungskriterium der ersten Form zu erhalten. Ein Bildinhalt des weiteren dritten Ausschnitts kann unter Verwendung der Verarbeitungsvorschrift mit dem Bildinhalt des weiteren ersten Ausschnitts und/oder des Weiteren zweiten Ausschnitts verglichen werden, um ein zusätzliches zweites Bewertungskriterium der zweiten Form zu erhalten.Further camera images can be used with the procedure presented here 800 are processed. For example, in step 802 selecting a third section from a third camera image using the first selection rule. Furthermore, a further third section can be selected from the third camera image using the second selection rule. In step 804 of comparing, an image content of the third section may be compared to the image content of the first section and / or the image content of the second section using the processing rule to obtain an additional first evaluation criterion of the first shape. An image content of the further third excerpt can, using the processing rule with the image content of the further first Section and / or the further second section are compared to obtain an additional second evaluation criterion of the second form.

9 zeigt eine Darstellung eines Ablaufs eines Verfahrens 900 zum Erzeugen einer Mehrzahl von Selektionsvorschriften gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Das Verfahren 900 weist einen Schritt 902 des Vorabberechnens, einen Schritt 904 des Kalibrierens, einen Schritt 906 des Ermittelns, einen Schritt 908 des Bestimmens und einen Schritt 910 des Berechnens auf. Im Schritt 902 des Vorabberechnens werden 3-D-Formtemplates mit unterschiedlichen Parametern vorab berechnet. Im Schritt 904 des Kalibrierens werden Kameras eines Kamerasystems extern und intern kalibriert. Im Schritt 906 des Ermittelns werden Kamera-Überlappbereiche für alle vorgerechneten 3-D-Form-Templates durch Projektion in die jeweiligen Kameraebenen ermittelt. Im Schritt 908 des Bestimmens werden Koordinaten der korrespondierenden Bildbereiche in den jeweiligen Kameraebenen bestimmt. Im Schritt 910 des Berechnens werden Parameter einer Interpolationsvorschrift, beispielsweise einer bilinearen Interpolation berechnet, mit deren Hilfe für jedes Pixel eines Bildbereiches eines ersten Kamerabildes der entsprechende Wert aus dem zweiten Kamerabild berechnet werden kann. Die Ergebnisse des Verfahrens 900 werden in einem Speicher beziehungsweise einer Look-Up-Tabelle abgespeichert. 9 shows a representation of a sequence of a method 900 for generating a plurality of selection rules according to an embodiment of the present invention. The procedure 900 has a step 902 of precalculating, one step 904 calibration, one step 906 determining, a step 908 determining and a step 910 of the computation. In step 902 In the pre-calculation, 3-D shape templates with different parameters are calculated in advance. In step 904 Calibration cameras of a camera system are calibrated externally and internally. In step 906 When determining, camera overlap areas for all pre-calculated 3-D shape templates are determined by projection into the respective camera levels. In step 908 of determining, coordinates of the corresponding image areas in the respective camera planes are determined. In step 910 In the calculation, parameters of an interpolation rule, for example a bilinear interpolation, are calculated with the aid of which the corresponding value from the second camera image can be calculated for each pixel of an image area of a first camera image. The results of the procedure 900 are stored in a memory or a look-up table.

Die so hinterlegten Informationen können gemäß dem hier vorgestellten Ansatz auf Kamerabilder 110, 112, 114, 116 aus der Rundumsicht angewendet werden. Die Kamerabilder 110, 112, 114, 116 können zur Laufzeit bearbeitet werden. Dabei können in einem Schritt 804 des Vergleichens Bildinhalte der Kamerabilder 110, 112, 114, 116 für die Überlappungsbereiche jeweiliger Bildpaare beispielsweise mit SAD und/oder SSD verglichen werden und je eine Qualitätszahl für jedes Formtemplate bestimmt werden. Darauf basierend kann in einem Schritt 806 des Auswählens das Formtemplate mit der besten Qualitätszahl als das zu verwendende 3-D Umfeldmodell ausgewählt werden.The information stored in this way can be used in accordance with the approach presented here on camera images 110 . 112 . 114 . 116 be applied from the all-round view. The camera pictures 110 . 112 . 114 . 116 can be edited at runtime. It can in one step 804 Comparing image contents of the camera images 110 . 112 . 114 . 116 for the overlapping areas of respective image pairs, for example with SAD and / or SSD, and a quality number for each shape template is determined. Based on this, in one step 806 of selecting the shape template with the best quality number as the 3-D environment model to be used.

10 zeigt eine Darstellung von Schritten 802, 804 eines Verfahrens 800 zum Anpassen einer dreidimensionalen Projektionsfläche zum Projizieren einer Mehrzahl benachbarter Kamerabilder 110, 112 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Die Schritte 802, 804 entsprechen dabei den Schritten in 8. Im Schritt 802 des Selektierens werden die Kamerabilder 110, 112 bearbeitet. Dabei wird pro Kamerabild 110, 112 und pro zu bewertender Form der Projektionsfläche jeweils ein Teilbereich 1000, 1002, 1004, 1006 der Kamerabilder 110, 112 ausgewählt. Ein Teilbereich 1000, 1002, 1004, 1006 kann als Ausschnitt beziehungsweise Region von Interesse bezeichnet werden. Der Rest der Kamerabilder 110, 112 bleibt unbeachtet beziehungsweise wird ausgeblendet. Die Teilbereiche 1000, 1002, 1004, 1006 werden unter Verwendung von Selektionsvorschriften 1008, 1010 ausgewählt, die basierend auf der Form der jeweiligen Projektionsfläche vorab berechnet worden sind. Damit weisen die Selektionsvorschriften 1008, 1010 keinen Bezug zu Objekten 1012 auf, die in den Kamerabildern 110, 112 abgebildet sind. Eine Kontur der Teilbereiche 1000, 1002, 1004, 1006 ist nur abhängig von dem Überlappungsbereich, wie er in den 5 und 6 dargestellt ist. 10 shows a representation of steps 802 . 804 a procedure 800 for adjusting a three-dimensional projection surface for projecting a plurality of adjacent camera images 110 . 112 according to an embodiment of the present invention. The steps 802 . 804 correspond to the steps in 8th , In step 802 the camera images are selected 110 . 112 processed. It is per camera picture 110 . 112 and in each case one subarea for each form of the projection surface to be evaluated 1000 . 1002 . 1004 . 1006 the camera pictures 110 . 112 selected. A subarea 1000 . 1002 . 1004 . 1006 can be described as a section or region of interest. The rest of the camera images 110 . 112 remains unnoticed or disappears. The subareas 1000 . 1002 . 1004 . 1006 be using selection rules 1008 . 1010 selected, which have been calculated in advance based on the shape of the respective projection surface. This shows the selection rules 1008 . 1010 no relation to objects 1012 on that in the camera pictures 110 . 112 are shown. A contour of the subregions 1000 . 1002 . 1004 . 1006 is only dependent on the overlap area, as in the 5 and 6 is shown.

Im Schritt 804 des Vergleichens werden die Bildinhalte der Ausschnitte 1000, 1002, 1004, 1006 verwendet, um festzustellen, welche Form der Projektionsfläche besser zu den dargestellten Objekten 1012 passt. Dabei wird der Bildinhalt des ersten Ausschnitts 1000 aus dem ersten Kamerabild 110 mit dem Bildinhalt des zweiten Ausschnitts 1002 aus dem zweiten Kamerabild 112 verglichen. Der Vergleich erfolgt dabei pixelweise, da jedes Bildpixel des ersten Ausschnitts 1000 ein korrespondierendes Bildpixel im zweiten Ausschnitt 1002 aufweist. Intensitätswerte der Bildpixel werden miteinander verglichen und jeweils eine Intensitätsdifferenz berechnet. Aus den Intensitätsdifferenzen aller Bildpixel wird das Bewertungskriterium berechnet. Je ähnlicher die Bildinhalte der Ausschnitte 1000 und 1002 sind, umso geringer sind die Intensitätsdifferenzen. Mit dem weiteren ersten Ausschnitt 1004 und dem weiteren zweiten Ausschnitt 1006 wird genauso verfahren. Unter Verwendung der berechneten Bewertungskriterien wird dann die für die Projektion besser passende Form der Projektionsfläche ausgewählt.In step 804 Comparing the picture contents of the sections 1000 . 1002 . 1004 . 1006 used to determine which shape of the screen better matches the displayed objects 1012 fits. This will be the image content of the first section 1000 from the first camera picture 110 with the image content of the second section 1002 from the second camera image 112 compared. The comparison is done pixel by pixel, since each image pixel of the first section 1000 a corresponding image pixel in the second section 1002 having. Intensity values of the image pixels are compared with one another and an intensity difference is calculated in each case. The evaluation criterion is calculated from the intensity differences of all image pixels. The more similar the image content of the excerpts 1000 and 1002 are, the lower the intensity differences. With the further first section 1004 and the other second section 1006 is the same procedure. Using the calculated evaluation criteria, the form of the projection surface better suited for the projection is then selected.

Mit anderen Worten wird die Form der "Bowl", also eine schalen- oder schüsselartige Form, zum Rendern während der Laufzeit durch die Projektion von Überlappbereichen 100, 1002, 1004, 1006 der Bowl in den Bilder 110, 112 und dem anschließenden Vergleich sowie eine Auswahl aus vordefinierten Bowl-Formen angepasst.In other words, the shape of the "bowl," that is, a bowl or bowl-like shape, becomes rendering during runtime by the projection of overlapping areas 100 . 1002 . 1004 . 1006 the bowl in the pictures 110 . 112 and the subsequent comparison as well as a selection of predefined bowl shapes.

Die Form der Bowl wird möglichst recheneffizient während der Laufzeit angepasst. Dazu wird zumindest ein Bereich der Bowl ausgewählt, in dem ein Bildüberlapp besteht. Insbesondere sind dies bei derzeitigen Systemen typischerweise vier Bereiche. Der Bereich 1000, 1002, 1004, 1006 wird in die beiden Bilder 110, 112 der Kameras projiziert, die sich im jeweiligen Bereich 1000, 1002, 1004, 1006 überlappen. Der Inhalt der identifizierten Bildbereiche 1000, 1002, 1004, 1006 wird verglichen. Beispielsweise erfolgt der Vergleich durch deren Form, Struktur, Fahrt oder Merkmalsinhalt. Der Vergleich erfolgt vorzugsweise in allen vier Überlappbereichen 1000, 1002, 1004, 1006. Es erfolgt eine Auswahl einer vordefinierten Bowl-Form aus einer abgespeicherten Formen-Bibliothek nach Best-fit-Kriterien. The shape of the bowl is adjusted as efficiently as possible during the runtime. For this purpose, at least one area of the bowl is selected in which an image overlap exists. In particular, in current systems these are typically four areas. The area 1000 . 1002 . 1004 . 1006 will be in the two pictures 110 . 112 the cameras projected in each area 1000 . 1002 . 1004 . 1006 overlap. The content of the identified image areas 1000 . 1002 . 1004 . 1006 is compared. For example, the comparison is made by their shape, structure, ride or feature content. The comparison is preferably carried out in all four overlap areas 1000 . 1002 . 1004 . 1006 , There is a selection of one predefined bowl shape from a saved forms library according to best-fit criteria.

Durch den hier vorgestellten Ansatz kann auf einen rechenintensiven Vergleich mittels Stereovergleichen in den Überlappbereichen 1000, 1002, 1004, 1006 verzichtet werden. Es kann Rechenkapazität eingespart werden. Das hier vorgestellte Verfahren 800 kann auf einem Grafikprozessor ausgeführt werden.The approach presented here allows for a computation-intensive comparison by means of stereo comparisons in the overlap areas 1000 . 1002 . 1004 . 1006 be waived. It can save computing capacity. The procedure presented here 800 can be run on a graphics processor.

Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden. The embodiments described and shown in the figures are chosen only by way of example. Different embodiments may be combined together or in relation to individual features. Also, an embodiment can be supplemented by features of another embodiment.

Ferner können die hier vorgestellten Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden. Furthermore, the method steps presented here can be repeated as well as executed in a sequence other than that described.

Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.If an exemplary embodiment comprises a "and / or" link between a first feature and a second feature, then this is to be read so that the embodiment according to one embodiment, both the first feature and the second feature and according to another embodiment either only first feature or only the second feature.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

JP 2012-73836 A [0003]

Claims

Procedure ( 800 ) for adapting a three-dimensional projection surface ( 200 ) for projecting a plurality of adjacent camera images ( 110 . 112 . 114 . 116 ), the process ( 800 ) comprises the following steps: selecting ( 802 ) of a first section ( 1000 ) from a first camera image ( 110 ) using a first selection rule ( 1008 ), Select ( 802 ) at least one further first section ( 1004 ) from the first camera image ( 1100 ) using at least a second selection rule ( 1010 ), Select ( 802 ) of a second section ( 1002 ) from a second camera image ( 112 ) using the first selection rule ( 1008 ) and select ( 802 ) at least one further second section ( 1006 ) from the second camera image ( 112 ) using the second selection rule ( 1010 ), the first selection rule ( 1008 ) a first predetermined shape of the projection surface ( 200 ), and the second selection rule ( 1010 ) a second predetermined shape of the projection surface ( 200 represents; To compare ( 804 ) of an image content ( 1012 ) of the first section ( 1000 ) with a picture content ( 1012 ) of the second section ( 1002 ) using a processing instruction to obtain a first evaluation criterion of the first form, and comparing ( 804 ) of an image content ( 1012 ) of the further first section ( 1004 ) with a picture content ( 1012 ) of the further second section ( 1006 ) using the processing rule to obtain a second evaluation criterion of the second form; and Select ( 806 ) of the form for the projection surface ( 200 ), the evaluation criterion of which is a smaller deviation of the image content ( 1012 ) represents each other.

Procedure ( 800 ) according to claim 1, wherein in step ( 802 ) of selecting at least one additional first section from the first camera image ( 110 ) and an additional second section from the second camera image ( 112 ) is selected using a further selection rule which defines a further predetermined shape of the projection surface ( 200 ), wherein an image content of the additional first section is compared with an image content of the additional second section using the processing rule to obtain another evaluation criterion of the further form.

Procedure ( 800 ) according to one of the preceding claims, wherein in step ( 802 ) of selecting at least a third section from at least one third camera image using the first selection rule ( 1008 ), and at least one further third detail from the third camera image using the second selection rule ( 1010 ) and in step ( 804 ) of comparing a picture content of the third section using the processing instruction with the picture content ( 1012 ) of the first section ( 1000 ) and / or the image content ( 1012 ) of the second section ( 1002 ) is compared to obtain an additional first evaluation criterion of the first form, and an image content of the further third section using the processing specification with the image content ( 1012 ) of the further first section ( 1004 ) and / or the further second section ( 1006 ) is compared to obtain an additional second evaluation criterion of the second form.

Procedure ( 800 ) according to one of the preceding claims, wherein in step ( 804 ) of comparing further a feature content of the clippings ( 1000 . 1002 . 1004 . 1006 ) is compared to obtain the evaluation criteria.

Procedure ( 800 ) according to one of the preceding claims, wherein in step ( 804 ) of comparing, the processing instruction a sum of squared differences between intensity values of corresponding image pixels in the first section ( 1000 ) and the second section ( 1002 ), wherein the image pixels have a common coordinate value on the shape to be evaluated.

Procedure ( 800 ) according to one of the preceding claims, wherein in step ( 804 ) of comparing, the processing instruction a sum of absolute differences between intensity values of corresponding image pixels in the first section ( 1000 ) and the second section ( 1002 ), wherein the image pixels have a common coordinate value on the shape to be evaluated.

Procedure ( 800 ) according to one of claims 5 to 6, wherein in step ( 804 ) of the comparison, coordinate values of the image pixels to be compared are selected using a form-dependent interpolation rule.

Procedure ( 800 ) according to one of the preceding claims, comprising a step of projecting the camera images ( 110 . 112 ) using the selected shape to adjust the image content of the camera images ( 110 . 112 ) on the projection surface ( 200 ).

Procedure ( 800 ) according to one of the preceding claims, wherein in step ( 806 ) of selecting at least one parameter of selected form is provided to the projection surface ( 200 when projecting.

Contraption ( 400 ) for adapting a three-dimensional projection surface ( 200 ) for projecting a plurality of adjacent camera images ( 110 . 112 . 114 . 116 ), the device ( 400 ) has the following features: a selection device ( 4002 ) for selecting a first section ( 100 ) from a first camera image ( 110 ) using a first selection rule ( 1008 ), for selecting at least one further first section ( 1004 ) from the first camera image ( 110 ) using at least a second selection rule ( 1010 ), to select a second section ( 1002 ) from a second camera image ( 112 ) using the first selection rule ( 1008 ) and for selecting at least one further second section from the second camera image ( 112 ) using the second selection rule ( 1010 ), the first selection rule ( 1008 ) a first predetermined shape of the projection surface ( 200 ), and the second selection rule ( 1010 ) a second predetermined shape of the projection surface ( 200 represents; a comparison device ( 404 ) for comparing an image content ( 1012 ) of the first section ( 1000 ) with a picture content of the second section ( 1002 ) using a processing rule to obtain a first evaluation criterion of the first form and comparing an image content ( 1012 ) of the further first section ( 1004 ) with a picture content ( 1012 ) of the further second section ( 1006 ) using the processing function to obtain a second evaluation criterion of the second form; and a selector ( 406 ) for selecting the shape for the projection surface ( 200 ), the evaluation criterion of which is a smaller deviation of the image content ( 1012 ) represents each other.

Computer program adapted to perform all the steps of a method according to any one of the preceding claims.

Machine-readable storage medium with a computer program stored thereon according to claim 11.