DE19746639A1

DE19746639A1 - Digital determination of spatial objects and scenes for 3D photographic map

Info

Publication number: DE19746639A1
Application number: DE1997146639
Authority: DE
Original assignee: GTA Geoinformatik GmbH
Current assignee: GTA Geoinformatik GmbH
Priority date: 1997-10-22
Filing date: 1997-10-22
Publication date: 1999-05-06

Abstract

Digital determination of spatial objects and scenes for 3D photographic map is carried out by photographing digitalized image data based on these photographs or already existing archive images. The real objects or scenes are photographed using aerial photography and producing digitalized image data, based on these photographs or from already existing archive images. Precision position coordinates are assigned to the digitalized image data. Terrestrial photographs of the respective real objects or scenes, from several positions and/or directions are completed, so that the preponderant surfaces, especially of the parts existing as an image data set, not ascertainable from these or the aerial photographs. The digitalized image data and the image data set are transmitted and subjected to a rule corrected classification in a three dimensional photographic map coordinate system of a data bank controlled by a computer.

Description

Die Erfindung betrifft ein Verfahren zur digitalen Erfassung räumlicher Objekte und Szenen sowie eine 3D-Bildkarte und findet Anwendung bei insbesondere der Darstellung, Katalogi sierung und nachträglichen Auswertung realer dreidimensionaler Gebilde, wobei ausgehend von Aufnahmen, welche das reale Gebilde darstellen, über eine Bildaufbereitung ein dreidi mensionales Kartographie-Modell erstellbar ist.The invention relates to a method for digital detection spatial objects and scenes as well as a 3D map and finds application in particular in the representation, catalog Realization and subsequent evaluation of real three-dimensional Formations, starting from recordings, which the real Representing structures, a three-way image processing Dimensional cartography model can be created.

Das dreidimensionale Kartographie-Modell dient dann der Nutzung zur Dokumentation und Interpretation. Mögliche Anwendungen sind beispielsweise die Multimedia-Dokumentation archäologischer Grabungen oder von Baudenkmälern, das Generieren von Modellen für Robotereinsätze, Flug- und Fahrsimulatoren, interaktive 3D-Spiele sowie die Steuerung unbemannter Inspektionssatelliten in der Raumfahrt, wobei für sämtliche der vorgenannten Aufgaben als Eingabegrößen Fotos, Filmsequenzen oder aktuelle Videokameraaufnahmen verwendbar sind.The three-dimensional cartography model is then used for documentation and interpretation. Possible applications are for example the archaeological multimedia documentation Excavations or monuments, the generation of models for robot applications, flight and driving simulators, interactive 3D games as well as the control of unmanned inspection satellites in space travel, being used for all of the aforementioned tasks as input parameters photos, film sequences or current ones Video camera recordings can be used.

Aus der DE 43 38 280 C1 ist ein Verfahren zur bildgestützten Lageerfassung und Kartierung unterirdischer, oberflächennaher Objekte mit einem optischen Meßgerät sowie geophysikalischen Sensoren zur Erfassung, Auswertung und Interpretation geo physikalischer Daten bekannt. Mit einer hochgenauen Peilvor richtung im Verbund mit einer Orientierungsplattform wird eine kontinuierliche, plangenaue und dreidimensionale oberirdische Lagebestimmung durchgeführt, wobei die relative Lage der Koordinatensysteme mit hoher Genauigkeit erfaßt werden müssen. Oberirdische und unterirdische Objektdaten werden dann in einem Zentralrechner eingegeben und nachträglich auf ein für digitale Kartensysteme entsprechendes Format übertragen und zur Ansicht gebracht.DE 43 38 280 C1 describes a method for image-based Location detection and mapping of underground, near-surface Objects with an optical measuring device as well as geophysical Sensors for acquisition, evaluation and interpretation geo known physical data. With a highly accurate direction finder direction in conjunction with an orientation platform becomes one continuous, accurate and three-dimensional above-ground Position determination carried out, the relative position of the Coordinate systems must be detected with high accuracy. Above-ground and underground object data are then combined in one Central computer entered and subsequently on a for digital Card systems transfer appropriate format and for viewing brought.

Die notwendige Sensorik sowie die genaue Lage resp. Koordinaten zuordung führt jedoch zu einem erheblichen Aufwand, so daß das Anwendungsgebiet der vorstehend beschriebenen Lösung eingeschränkt ist.The necessary sensors and the exact location resp. Coordinates assignment, however, leads to considerable effort, so that the field of application of the solution described above is restricted.

Für die Navigation eines mobilen Körpers wie etwa eines Kraft fahrzeuges entlang einer vorgebenen Reiseroute wird gemäß DE 195 44 921 A1 eine Lösung vorgeschlagen, bei der eine Straßen karte in einer externen Speichereinheit großer Kapazität z. B. einer CD-ROM abgelegt ist. Die dort quasi in einer zweidimen sionalen Ebene gespeicherten Angaben werden auf einem Bild schirm graphisch dargestellt, wobei ein gewisser Teil von Einzelheiten der Straßenkartendaten entsprechend der ange zeigten Position des Bildschirms bezüglich des Anzeigeformats verändert werden können dergestalt, daß die graphisch gezeich neten Straßenkarten in vogelperspektivischer Darstellung dreidimensional mit einem für den Betrachter vermittelten Tiefegefühl erkannt werden können. Ein dreidimensionaler Bezug wird jedoch lediglich anhand der Umwandlung zweidimensional vorhandener Daten erstellt, ohne daß es auf tatsächliche realitätsbezogene Formen der Darstellung ankommt.For navigating a mobile body such as a force vehicle along a specified travel route is according to DE 195 44 921 A1 proposed a solution where a street card in an external storage unit of large capacity z. B. a CD-ROM is stored. The one there in a two-dim Sional level information is stored on an image screen shown graphically, with a certain part of Details of the road map data according to the showed the position of the screen in relation to the display format can be changed so that the graphically Neten road maps in a bird's eye view three-dimensional with one mediated for the viewer Deep feeling can be recognized. A three-dimensional reference however, it only becomes two-dimensional based on the conversion existing data is created without being based on actual reality-related forms of representation arrive.

Gemäß der DE 195 38 133 A1 ist ein Verfahren zur 3D-Visuali sierung von Daten auf dem Bildschirm eines Computers bekannt, das zur Sichtbarmachung von komplexen Zusammenhängen innerhalb großer Datenmengen dient. Eine Vielzahl von Daten eines mehr dimensionalen Datenraums wird interaktiv graphisch in einen dreidimensionalen Datenraum umgesetzt, in dem die Daten neu ronalen, unüberwacht lernenden Netzwerken zugeführt werden, deren genetische Algorithmen die Daten nach Auffälligkeiten in der topologischen Ähnlichkeitstransformation analysieren und zu Gruppen von Datennetzen transformieren. According to DE 195 38 133 A1 is a method for 3D visualization known data on the screen of a computer, to visualize complex relationships within large amounts of data. A lot of data one more dimensional data space is interactively graphically integrated into one three-dimensional data space where the data is new ronal, unsupervised learning networks are fed, whose genetic algorithms the data according to abnormalities in analyze and convert the topological similarity transformation Transform groups of data networks.

Strukturelle Ähnlichkeiten der Daten des multidimensionalen Datenraums werden in geometrisch darstellbare Ähnlichkeiten der Gruppen von Datensätzen transformiert, wobei dies mit dem Ziel erfolgt, eine topographische Merkmalskarte als räumlich zusam menhängende bzw. zusammengehörende Gebilde auf dem Bildschirm eines Monitors graphisch sichtbar machen zu können.Structural similarities of the data of the multidimensional Data space are expressed in geometrically representable similarities of the Groups of records are transformed, with the aim of this done, a topographical feature map as spatially together hanging or related objects on the screen to make a monitor visible graphically.

Bei einem derartigen Verfahren besteht jedoch die Schwierig keit, daß in der Realität nicht vorliegende dreidimensionale Beziehungen künstlich erstellt werden, wobei sich hieraus der Nachteil ergibt, daß die so gewonnenen Datensätze für eine nachträgliche Dokumentation und Bewertung, z. B. bei archäolo gischen Ausgrabungen ungeeignet sind. Darüber hinaus müssen die Eingangsdatensätze als quasi zusammenhängender Datensatz mit interner Bezugnahme untereinander zur Verfügung stehen, da ansonsten eine dreidimensionale Zuordnung einzelner Punkte ohne externe Verknüpfungselemente, die wiederum vorzugeben sind, unmöglich ist.However, there is a problem with such a method ity that is not present in reality three-dimensional Relationships are created artificially, from which the Disadvantage results in that the data records thus obtained for one subsequent documentation and evaluation, e.g. B. at archaeolo excavations are unsuitable. In addition, the Input data sets as a quasi-coherent data set with internal reference to each other are available because otherwise a three-dimensional assignment of individual points without external linking elements, which in turn have to be specified, is impossible.

Es ist daher Aufgabe der Erfindung, ein Verfahren zur digitalen Erfassung räumlicher Szenen für eine 3D-Bildkarte sowie eine derartige 3D-Karte anzugeben, das bzw. die es gestattet, in einfacher Weise beliebige natürliche Szenen auch durch Einzel positionsaufnahmen zu erfassen, ohne daß von vornherein Paß punkte oder ein einheitliches Koordinatensystem vorgegeben werden muß, wobei auf der Basis der so erfaßten 2D-Szenen nachträglich ein geometrisch räumliches Bild erstellt werden kann, welches wiederum in eine entsprechende Datenbank trans formierbar ist.It is therefore an object of the invention to provide a method for digital Acquisition of spatial scenes for a 3D image card and a to indicate such a 3D map that allows in simple natural scenes, even by single to capture position recordings without a passport from the outset points or a uniform coordinate system must be based on the 2D scenes captured in this way a geometrically spatial image can subsequently be created can, which in turn in a corresponding database trans is malleable.

Die Lösung der Aufgabe der Erfindung erfolgt mit einem Ver fahren gemäß Definition nach Patentanspruch 1 sowie mit einer 3D-Bildkarte nach Anspruch 9, wobei die Unteransprüche mindestens zweckmäßige Ausgestaltungen und Weiterbildungen umfassen. The object of the invention is achieved with a Ver drive as defined in claim 1 and with a 3D image card according to claim 9, wherein the subclaims at least practical refinements and developments include.

Erfindungsgemäß wird verfahrensseitig zum Erhalt einer Daten menge für 3D-Bildkarten auf bereits vorliegende digitalisierte Luftbildaufnahmen der realen Objekte oder Szenen zurückge griffen oder es werden derartige Aufnahmen angefertigt. Den digitalisierten Luftbilddaten werden Präzisionspositions koordinaten zugeordnet, so daß die gewünschte Lagegenauigkeit für die anschließende Kombination mit weiteren Bilddatensätzen gegeben ist. Angefertigte terrestrische Aufnahmen der betref fenden realen Objekte oder Szenen liefern Ansichten aus unter schiedlichen Positionen und/oder Richtungen, so daß insbeson dere die Oberfläche, die aus den Luftbildern nicht erschlossen werden kann, als ergänzender Bilddatensatz vorliegt.According to the invention, the process is used to obtain data quantity for 3D picture cards on digitized ones already available Aerial photographs of the real objects or scenes returned grab or such recordings are made. The digitized aerial photo data become precision positions coordinates assigned so that the desired position accuracy for the subsequent combination with further image data sets given is. Terrestrial recordings of the concerned Real objects or scenes provide views from below different positions and / or directions, so that in particular the surface that cannot be inferred from the aerial photographs can be available as a supplementary image data set.

Die digitalisierten Bilddaten und die ebenfalls digital vor liegenden Bilddatensätze werden maßstabsgerecht in ein 3D-Bildkarten-Koordinatensystem eingeordnet und stellen, in einem entsprechenden Speichersystem abgelegt, eine von einem Computer verwaltete Datenbank dar, auf die zur Visualisierung beliebig zurückgegriffen werden kann. Mit Hilfe der vorstehend be schriebenen Verfahrensweise gelingt es, 2D-Daten mit flächigen Objektaufnahmen, die Informationen über die dritte Achse ent halten, zu kombinieren, so daß beim Betrachten von Daten aus dem Bildkarten-Koordinatensystem der Eindruck eines tatsächlich vorhandenen 3D-Bildes entsteht.The digitized image data and also digitally before lying image data sets are scaled into one 3D picture map coordinate system classified and put, in one corresponding storage system, one from a computer managed database on which for visualization any can be used. With the help of be The procedure described succeeds in 2D data with flat Object photographs that contain information about the third axis keep combining, so that when viewing data from the picture card coordinate system actually gives the impression of one existing 3D image is created.

Erfindungsgemäß wird also eine integrierte Verarbeitung von Luftbildern und terrestrischen Bildern vorgenommen, wobei das genaue Lagezuordnen von Einzelszenen insbesondere mit einem Verfahren gelingt, wie es im Patentanspruch 2 beschrieben ist.According to the invention, an integrated processing of Aerial and terrestrial imagery made, the precise location assignment of individual scenes, especially with a Process succeeds, as described in claim 2.

Die erfindungsgemäß vorliegende 3D-Bildkarte repräsentiert daher einen Datenbestand, der Objekte und Szenen der realen Umwelt in ihrer räumlichen und Oberflächenbeschaffenheit bzw. -form koordinatengenau in dem erwähnten dreidimensionalen Bildkarten- oder Bilddaten-Koordinatensystem darstellt. Durch Ablage der 3D-Bildkarte in einem zugehörigen Speicher bzw. einer Datenbank und durch geeignete Zugriffsmöglichkeiten kann die Szene oder das reale Objekt in der Szene von verschiedenen virtuellen Standpunkten aus in unterschiedlichen Maßstäben mit Hilfe eines Computermonitors betrachtet werden. Ebenso ist ein virtuelles Bewegen in der Szene möglich und es können 3D-Koor dinatenmessungen durchgeführt werden.The 3D image map according to the invention represents hence a database of objects and scenes from real ones Environment in its spatial and surface characteristics or -form coordinate-accurate in the three-dimensional mentioned Represent image card or image data coordinate system. By Storage of the 3D image card in an associated memory or a database and through suitable access options the scene or the real object in the scene of different virtual viewpoints from different scales with With the help of a computer monitor. Likewise is a virtual movement possible in the scene and it can 3D coordinate dinate measurements are carried out.

In einer Ausgestaltung der Erfindung können synthetische graphische 3D-Objekte in die Szene eingeblendet werden, was beispielsweise für die Bewertung von Bauvorhaben in einer natürlichen Umgebung von wesentlichem Vorteil ist.In one embodiment of the invention, synthetic graphic 3D objects are faded into the scene what for example for the evaluation of construction projects in a natural environment is essential.

In einer weiteren Ausgestaltung der Erfindung wird nicht nur die räumliche Struktur der Objekte, sondern die gesamte Ober fläche erfaßt und mit Bildverarbeitungstechniken ausgewertet und anschließend mit der gegebenen kompletten Textur lage- und maßstabsgetreu auf die entsprechenden Flächen der im Computer abgespeicherten 3 D-Objektstrukturen übertragen.In a further embodiment of the invention, not only the spatial structure of the objects, but the entire upper area captured and evaluated with image processing techniques and then with the given complete texture true to scale on the corresponding areas of the computer stored 3-D object structures.

Auf der Basis der vorgenannten Verfahrensschritte kann bei spielsweise ein realitätsnahes Computermodell einer Stadt oder eines komplexen Gebäudes entstehen, mit dessen Hilfe unter Nutzung interaktiver Programmtechniken unterschiedlichste Operationen durchführbar sind. So kann sich der auf die Daten bank zugreifende Nutzer beliebig in der gegebenen Szene der 3D-Bildkarte bewegen, an einzelne Objekte heranfahren, den Betrachtungsmaßstab vergrößern oder von einem Standort aus den Blick in beliebige Richtungen ändern. Ebenso besteht die Mög lichkeit, um vorhandene Objekte herumzufahren, so daß eine Rückseite betrachtet werden kann. Gleichfalls besteht die Möglichkeit, beim Einbinden von Innenaufnahmen in die Datenbank auch das Innere von Gebäuden virtuell in Augenschein zu nehmen.On the basis of the aforementioned process steps, for example, a realistic computer model of a city or of a complex building, with the help of Use of various interactive program techniques Operations are feasible. In this way, he can focus on the data bank accessing users arbitrarily in the given scene of the Move the 3D picture card, approach individual objects, the Increase viewing scale or from one location Change view in any direction. There is also the possibility ability to drive around existing objects so that a Back can be viewed. Likewise, there is Possibility of integrating interior photos into the database to also take a virtual look at the inside of buildings.

Mit den gegebenen Möglichkeiten des Handlings unter Nutzung der 3D-Bildkarte ist es demnach gewährleistet, verschiedenste praktische Aufgaben an einem realitätsnahen Daten-Modell zu bearbeiten. Hierzu gehören die visuelle Beurteilung und Interpretation von Szenen und räumlichen Anordnungen von Objekten in diesen Szenen, die Vermessungen von Strecken und Räumen oder von Teilobjekten der Szene, die Prüfung der ästhetischen und der Umweltverträglichkeit bei der Planung von Veränderungen der Szenen, z. B. bei Um- oder Neubauten, sowie der Einsatz von realitätsnahen Modellszenen in Flug- oder Fahrsimulatoren.With the given possibilities of handling using the 3D picture card is therefore guaranteed various practical tasks on a realistic data model to edit. This includes visual assessment and Interpretation of scenes and spatial arrangements of Objects in these scenes, the measurement of routes and Clearing or of sub-objects of the scene, testing the aesthetic and environmental sustainability when planning Changes in scenes, e.g. B. in conversions or new buildings, as well the use of realistic model scenes in flight or Driving simulators.

Erfindungsgemäße Anwendungsfälle bestehen beispielsweise auch in der 3D-präsentation von Bauwerken, Gebäudekomplexen oder dergleichen. Eine Modellierung der Präsentationsobjekte erfolgt auf der Grundlage gegebener Pläne und der realitätsnahen Beschreibung der vorhandenen Szene. Da auf eine natürliche Szene zurückgegriffen wird, ist von einer höheren Detailtreue bei der Präsentation bei gleichzeitig niedrigen Kosten auszu gehen.Use cases according to the invention also exist, for example in the 3D presentation of buildings, building complexes or the like. The presentation objects are modeled based on existing plans and realistic ones Description of the existing scene. Because on a natural Scene used is of a higher level of detail in the presentation at a low cost go.

Die erfindungsgemäße Bildkarte kann auch als 3D-Stadtbildkarte ausgeführt werden, um ein virtuelles Erleben von Sehenswürdig keiten unter Rückgriff auf aus der Realität stammende Bilder zu erreichen. Ergänzend besteht ein Anwendungsgebiet darin, die Bildkarte als 3D-Gebäudeplan für Gebäudekomplexe mit sensibler Nutzung vorzusehen. So ist z. B. der 3D-Gebäudeplan ein wesent liches Hilfsmittel bei der Einsatzleitung von Polizei, Feuer wehr und sonstigen Rettungskräften in Gefahrensituationen, insbesondere für Krankenhäuser, Schulen, Hotels, Theater oder dergleichen.The image map according to the invention can also be used as a 3D city map run to a virtual experience of sightseeing with recourse to images from reality to reach. In addition, one area of application is that Image map as a 3D building plan for building complexes with sensitive To provide usage. So z. B. the 3D building plan an essential aids in the management of police, fire weirs and other rescue workers in dangerous situations, especially for hospitals, schools, hotels, theaters or the like.

Ein weiteres Anwendungsgebiet liegt bei Verkehrsleitsystemen für Kraftfahrzeuge, wobei neben den bereits bekannten vekto risierten Landkarten und Informationen zur momentanen Position die bildhafte 3D-Darstellung des Planes aus der Sicht des Fahrers eine wesentliche Verbesserung der Orientierungsmög lichkeiten gibt.Another area of application is traffic control systems for motor vehicles, in addition to the already known vekto Maps and information on the current position the pictorial 3D representation of the plan from the perspective of Driver a significant improvement in orientation opportunities.

Gemäß einem ausgestaltenden Gedanken der Erfindung wird die interessierende Szene von verschiedenen Positionen aus z. B. mit einer Digitalkamera aufgenommen, wobei die erhaltenen Bilddaten in entsprechenden Dateien abgelegt werden. Im Anschluß daran werden korrespondierende Referenz- oder Verknüpfungselemente in den einzelnen Aufnahmen bestimmt, wobei dies auch interaktiv erfolgen kann. Die Referenz- oder Verknüpfungselemente können Marken sein, die in der jeweiligen Szene angeordnet werden, oder markante punkte sein, die aus dem Szenenbild bzw. den Szenenbildern selbst stammen.According to an embodiment of the invention, the scene of interest from different positions from z. B. with recorded with a digital camera, the image data obtained stored in appropriate files. After that corresponding reference or link elements in the individual recordings, which is also interactive can be done. The reference or link elements can Brands that are arranged in the respective scene, or be striking points, which from the scene or the Scenes themselves.

Die Aufnahme oder die Aufnahmesequenz kann sowohl kontinuier lich als auch diskontinuierlich, d. h. in Form von einzelnen Szenenfotos vorgenommen werden.The recording or the recording sequence can be both continuous Lich as well as discontinuously, d. H. in the form of individual Scene photos are made.

Die so erhaltenen digitalen Datensätze werden nunmehr einer automatischen Bestimmung der inneren räumlichen Geometrie des Systems der Verknüpfungselemente unterzogen, wobei hierfür teilweise bekannte Methoden der digitalen Bild- und/oder Mustererkennung anwendbar sind. Ergänzend besteht die Mög lichkeit, daß externe Koordinaten oder Paßpunkte vorgesehen sind, was jedoch eine nicht zwingende Bedingung darstellt.The digital data records obtained in this way now become one automatic determination of the internal spatial geometry of the System subjected to the linking elements, being for this partially known methods of digital image and / or Pattern recognition are applicable. In addition there is the possibility that external coordinates or control points are provided are, but this is not a mandatory requirement.

Ebenso kann eine gegenseitige Zuordnung von Punkten in ver schiedenen Bildern oder Szenen und eine automatische Verfolgung von Strukturen, die sich aus diesen punkten innerhalb dieser Bilder ergeben, vorgenommen werden. Auch können Startwerte in den Bildern vorgegeben werden, so daß keine exakte Entsprechung in den folgenden Bildern erforderlich ist, sondern nur eine näherungsweise Übereinstimmung gegeben sein muß. Alternativ kann eine Optimumsuche durchgeführt werden mit dem Ziel der Bestimmung der maximalen Korrelationen an den Bildpunkten bzw. Verknüpfungselementen. Hierfür wird ein Punkt in einem der Bilder definiert und festgehalten. In den anderen Bildern wird eine Korrelation zu diesem ausgewählten Bildpunkt durchgeführt, wobei dann ausgehend von den jeweiligen Positionen eine lokale Maximumsuche in einem vorgegebenen Suchbereich, d. h. mit vor gegebenen Suchschritten, z. B. 10 × 10 Pixel durchgeführt wird. Die so erhaltenen Optimalwerte liefern dann eine Entsprechung zur ausgewählten Position im ersten Bild, so daß Überein stimmungen im Subpixelgenauigkeitsbereich erreichbar sind.A mutual assignment of points in ver different pictures or scenes and automatic tracking of structures that result from these points within this Images result, are made. Starting values in the images are given so that no exact match in the following pictures is required, but only one there must be approximate agreement. Alternatively an optimal search can be carried out with the aim of Determination of the maximum correlations at the pixels or Link elements. For this a point in one of the Images defined and captured. In the other pictures carried out a correlation to this selected pixel, then a local one based on the respective positions Maximum search in a given search area, i.e. H. with before given search steps, e.g. B. 10 × 10 pixels is performed. The optimal values obtained in this way then provide a correspondence to the selected position in the first image so that Match moods in the sub-pixel accuracy range can be achieved.

Im Anschluß daran besteht die Möglichkeit der Bewegung des so bestimmten Bildpunktes im ausgewählten ersten Bild, um eine kleine Änderungsgröße z. B. Δx oder Δy < 10 Pixel sowie eine erneute Bestimmung der zugehörigen Positionen in den anderen, übrigen Bildern. Im Falle möglicher falscher Zuordnungen führt die derart vorgenommene Bildverfolgung zu Widersprüchen, so daß ein Eliminieren fehlerhafter Anfangsbedingungen gegeben ist.Following this there is the possibility of moving the so certain pixel in the selected first image by one small change size z. B. Δx or Δy <10 pixels and a redetermining the associated positions in the others, remaining pictures. In the event of possible incorrect assignments to contradict the image tracking carried out in this way, so that there is an elimination of incorrect initial conditions.

Ein erwähnter Korrelationsvergleich zeichnet sich dadurch aus, daß rechteckige Bildinhalte einer festen Größe pixelweise ver glichen werden. Eine weitere Realisierungsform besteht darin, die interne Korrelation in den Einzelbildern sowie die Kreuz korrelation zwischen den Bildern rechnerisch zu ermitteln.A mentioned correlation comparison is characterized by that rectangular image contents of a fixed size ver pixel by pixel be compared. Another form of implementation is the internal correlation in the individual images as well as the cross to determine the correlation between the images.

Letztendlich wird nach erfolgter Zuordnung der Verknüpfungs elemente aus verschiedenen Bildern und Ableitung von Bezie hungen für die Bestimmung der räumlichen Geometrie im System der Verknüpfungselemente, die konkrete räumliche Geometrie des Systems der Verknüpfungselemente ermittelt, wobei anhand des derart erstellten, räumlich dreidimensionalen (3D) Modells zweidimensionale Merkmale aus den Einzelaufnahmen in das 3D-Modell transferiert werden, um eine vollständige dreidimen sionale digitale Beschreibung der Szene bzw. der in der Szene befindlichen Objekte zu erhalten.Ultimately, after the assignment has been made, the link elements from various images and derivation of relationships for the determination of the spatial geometry in the system of the linking elements, the concrete spatial geometry of the System of the link elements determined, using the spatial three-dimensional (3D) model created in this way two-dimensional features from the individual shots in the 3D model can be transferred to a full three-dimensional sional digital description of the scene or in the scene to receive objects.

Letztendlich liegt im Ergebnis der vorstehend beschriebenen Verfahrensschritte eine komplette dreidimensionale digitale Beschreibung der ausgangsseitig nur zweidimensional vorhandenen Daten bzw. der hieraus gewonnenen digitalen Dateien vor.Ultimately, the result is that described above Process steps a complete three-dimensional digital Description of the two-dimensionally available on the output side Data or the digital files obtained from them.

Bei der Bestimmung der Verknüpfungselemente wird auf die erwähnten Verfahren der Kantendetektion, auf Korrelationsver gleiche, d. h. Feststellung der besten Übereinstimmung zwischen zwei Bildern mit gleichen Bildausschnitten oder eine Kombi nation der vorstehend beschriebenen Verfahren zurückgegriffen. Als Verknüpfungselemente werden Bildelemente verwendet, die sich dadurch auszeichnen, daß das betreffende Element min destens in zwei Bildern vorhanden ist und wobei sich die betreffenden Merkmale deutlich von der Umgebung abheben. Letztendlich muß für die Bildelemente eine Charakterisierung der entsprechenden Merkmale durch 2D- und 3D-Koordinaten möglich sein. When determining the linking elements, the mentioned edge detection method, on correlation ver same, d. H. Finding the best match between two pictures with the same picture sections or a combination nation of the methods described above. As link elements, picture elements are used that are characterized in that the element in question min is at least present in two pictures and where the clearly distinguish the relevant features from the surroundings. Ultimately, a characterization must be used for the picture elements the corresponding features through 2D and 3D coordinates to be possible.

Als Verknüpfungselemente kann, wie in der Photogrammetrie bekannt, auf Punkte zurückgegriffen werden. Bei verschiedenen Anwendungen konnten erfindungsgemäß Linien und Linienzüge mit gutem Ergebnis eingesetzt werden. Gebiete mit ausgeprägten Texturen sind ebenfalls geeignet. Die durch die Bildverar beitungsverfahren gelieferte Verknüpfungselementeliste kann durch interaktive Arbeit eines Benutzers am Bildverarbei tungssystem erweitert oder ergänzt oder aber auch verändert werden. Bei der einer derartigen Ausführungsform genutzten automatischen Zuordnung potentieller Verknüpfungselemente aus verschiedenen Bildern besteht das Ziel der Reduzierung der Zahl von Zuordnungen, wobei hierfür eine Reihe von Kriterien genutzt werden, die falsche Zuordnungen und Zuordnungsmengen aus schließen und die richtige Zuordnungen hervorheben.As linking elements, as in photogrammetry known to have recourse to points. At different Applications according to the invention were able to use lines and lines good result. Areas with pronounced Textures are also suitable. The through the image processing Linking element list provided in the processing method can through interactive work of a user on image processing system expanded or supplemented or also changed become. Used in such an embodiment automatic assignment of potential linking elements different images, the goal is to reduce the number of assignments using a number of criteria the wrong assignments and assignment sets close and highlight the correct assignments.

Folgende Zuordnungskriterien sind bevorzugt.The following assignment criteria are preferred.

Eine Zuordnung muß mit den bekannten bzw. bereits in vorher gehenden Arbeitsschritten bestimmten Randbedingungen, z. B. näherungsweise relative oder absolute Kameraposition, mög licherweise bekannte räumliche Beziehungen in der Szene - Modell vereinbar sein;
die Verknüpfungselemente müssen aufeinander abbildbar sein;
es ist ein Test der Verknüpfungselemente auf Ähnlichkeiten/ Korrelationen in der Bildumgebung notwendig, wobei nur solche Elemente zugeordnet werden, deren direkte Umgebungen aufein ander abbildbar sind; es erfolgt ebenfalls ein Test von mehreren unabhängigen Zuordnungen auf Konsistenz der Lösung des daraus folgenden Gleichungssystems mit den verbleibenden Ver knüpfungselementen;
alternativ besteht die Möglichkeit des erwähnten interaktiven Eingriffes durch Zuordnen von Verknüpfungselementen durch den Bediener anhand des vorliegenden Erfahrungsschatzes, wobei dies auch mit einer Fuzzy-Logik wiederum automatisiert unter Rück griff auf Datenbank-Erfahrungswerte möglich ist.An assignment must be made with the known boundary conditions or those already determined in previous work steps, e.g. B. approximately relative or absolute camera position, possibly known spatial relationships in the scene model can be compatible;
the linking elements must be capable of being mapped to one another;
a test of the linking elements for similarities / correlations in the image environment is necessary, only those elements being assigned whose direct surroundings can be mapped to one another; there is also a test of several independent assignments for consistency of the solution of the resulting system of equations with the remaining linking elements;
alternatively, there is the possibility of the aforementioned interactive intervention by assigning linking elements by the operator on the basis of the available wealth of experience, whereby this can also be done automatically with fuzzy logic, using database experience values.

Die beim beschriebenen Verfahren notwendigen unabhängigen Rechen- und Entscheidungsschritte lassen sich besonders bevorzugt mittels Paralellrechnersystemen abarbeiten, so daß insgesamt eine zeitliche Beschleunigung der Transformation gegeben ist.The independent necessary in the described method Arithmetic and decision steps can be particularly work off preferably by means of parallel computer systems, so that overall an acceleration in time of the transformation given is.

Bei einer weiteren Ausführungsform der Erfindung kann ver fahrensmäßig eine Integration von Objekt- bzw. Szenen-Koor dinatendaten aus externen Datenquellen für die Bestimmung des 3D-Modells erfolgen. Hier kann es sich beispielsweise um bekannte Längen- und Winkelkoordinaten aus der realen Szene, um Meßergebnisse externer Sensorsysteme, z. B. Laserentfernungs messer oder Laserradar oder dergleichen, aber auch um Infor mationen zur absoluten bzw. relativen Kamerapositionierung handeln. Die Position der Kamera beim Aufnehmen der Objekt szenen kann mit Hilfe von Beschleunigungssensoren ausgehend von einer Eichposition, Bewegungen in x-, y- und z-Richtung ver folgend, erfaßt werden.In a further embodiment of the invention, ver in terms of driving, an integration of object or scene coordination Dinate data from external data sources for the determination of the 3D model. This can be, for example known length and angle coordinates from the real scene, um Measurement results from external sensor systems, e.g. B. Laser removal knife or laser radar or the like, but also for information mations for absolute or relative camera positioning act. The position of the camera when shooting the object scenes can be started with the help of acceleration sensors a calibration position, movements in the x, y and z directions following, are detected.

Die Einbeziehung von Koordinaten aus externen Datenquellen erleichtert gemäß vorstehend beschriebener Ausführungsform das Finden exakter Zuordnungen und erhöht die Geschwindigkeit bei der Bestimmung des 3D-Modells.The inclusion of coordinates from external data sources this facilitates according to the embodiment described above Find exact assignments and increase speed the determination of the 3D model.

Bei einer Ausführungsform wird das Verfahren zur Erfassung archäologischer Grabungssituationen, d. h. zur Dokumentation derartiger Grabungen benutzt.In one embodiment, the method of detection archaeological excavation situations, d. H. for documentation such excavations used.

Insbesondere bei dieser Verwendung wird die jeweilige Gra bungssituation im Komplex erfaßt und durch Einzelaufnahmen eine Dokumentation des zeitlichen Grabungsfortschrittes erhalten. Die Aufnahme der freigelegten Funde aus verschiedenen Per spektiven wird ergänzt durch Teilaufnahmen besonders inter essierender Funde in situ, so daß eine entsprechend umfassende 3D-Bildkarte vorliegt.Especially with this use, the respective Gra exercise situation in the complex and a single Receive documentation of the progress of the excavation. The recording of the uncovered finds from different people perspectives is supplemented by partial recordings, especially inter eating finds in situ, so that a correspondingly comprehensive 3D image card is available.

Bei der Aufbereitung der Bilddaten erfolgt ein Hervorheben von Details, z. B. Bodenprofilen und Funde sowie Kanten mit Mitteln der digitalen Bildverarbeitung, wie in der Beschreibung bereits erwähnt. Detailaufnahmen der Grabungssituation lassen sich in die erhaltenen Bilddatenmodellen integrieren, wobei ebenfalls ein Markieren identischer Bildausschnitte auf den einzelnen Aufnahmen während der Bildaufbereitung möglich ist.When processing the image data, a highlighting of Details, e.g. B. floor profiles and finds as well as edges with means digital image processing, as already described mentioned. Detailed photographs of the excavation situation can be found in integrate the obtained image data models, whereby likewise marking identical image sections on the individual It is possible to take pictures during image processing.

Die so vorhandenen, aufbereiteten Bilddaten dienen der Erstel lung des 3D-Modells bzw. der 3D-Karte, wobei dieses dann ein ideales Dokumentationsmittel der freigelegten Funde ist und vorteilhaft erst im Nachgang Grabungszeichnungen aus beliebigen Ansichten unter Nutzung der vorhandenen 3D-Daten gefertigt werden können.The prepared, processed image data are used for the creation development of the 3D model or the 3D map, this then a is the ideal means of documentation of the uncovered finds and advantageous only after the excavation drawings from any Views created using the existing 3D data can be.

Im Vergleich zum üblichen Befunddatenaufnehmen durch Übertra gung von Koordinaten und das Anfertigen von Zeichnungen vor Ort, kann z. B. bei Tiefbauarbeiten die Unterbrechung des Baufortschrittes in erheblichem Maße reduziert werden, ohne daß wertvolle archäologische Informationen verloren gehen.Compared to the usual data recording by transfer Coordinates and drawings Location, e.g. B. in civil engineering, the interruption of Construction progress can be significantly reduced without valuable archaeological information is lost.

Die Erfindung soll nachstehend anhand von Ausführungsbeispielen näher beschrieben werden.The invention is intended to be explained below using exemplary embodiments are described in more detail.

Bei dem nachstehend beschriebenen Ausführungsbeispiel wird von einer Ermittlung archäologischer Ausgrabungssituationen ausge gangen, wobei hier die digitale Erfassung räumlicher Szenen unter Einbeziehung von bestimmten Texturinformationen mit geologischem Hintergrund das angestrebte Ziel ist, so daß letztendlich ein 3D-Modell, darstellbar auf einem Computer system, vorhanden ist.In the embodiment described below, from a determination of archaeological excavation situations digital recording of spatial scenes including certain texture information geological background is the desired goal, so that ultimately a 3D model that can be displayed on a computer system that exists.

Zunächst erfolgt eine Aufnahme von der gegebenen Szene von verschiedenen, im wesentlichen frei wählbaren Positionen und Richtungen, wobei die einzelnen Koordinaten der Aufnahmepunkte nicht bekannt sein müssen. Nach einer Bestimmung von korre spondierenden Referenz- oder Paßpunkten (Verknüpfungselementen) in den einzelnen Aufnahmen erfolgt eine automatische Ermittlung der inneren räumlichen Geometrie des Systems der Paßpunkte bzw. der Verknüpfungselemente durch eine rekursive Lösung eines nichtlinearen Gleichungssystems, z. B. vergleichbar mit einem sogenannten Bündelblockausgleich. First, a shot of the given scene is made by various, essentially freely selectable positions and Directions, with the individual coordinates of the pickup points do not need to be known. After a determination of correct matching reference or passpoints (linking elements) an automatic determination is made in the individual images the internal spatial geometry of the system of the fitting points or of the linking elements through a recursive solution of a nonlinear system of equations, e.g. B. comparable to a so-called bundle block compensation.

Beim Vorhandensein externer, vorgebbarer Paßpunkte oder von externen Verknüpfungselementen, wobei diese bekannte Koor dinaten besitzen, kann eine Orientierung primär oder ergänzend an bzw. in diesem Koordinatensystem erfolgen.In the presence of external, predefinable control points or of external linking elements, this known Koor dinates, orientation can be primary or additional on or in this coordinate system.

Weiterhin erfolgt verfahrensgemäß eine automatische Bestimmung relevanter Merkmale in den Einzelaufnahmen, wobei es sich hierbei um Punkte, Linien und Segmente handeln kann. Mit einem interaktiven Eingriff kann auf Erfahrungswerte des Archäologen oder des am Bildverarbeitungssystem tätigen Personals zurück gegriffen werden. Selbstverständlich kann verfahrensgemäß eine Merkmalsanalyse auch automatisch anhand einer Datenbank oder mit Hilfe einer Fuzzy-Logik vorgenommen werden.Furthermore, an automatic determination takes place according to the method relevant features in the individual shots, it being can be points, lines and segments. With a Interactive intervention can be based on the archaeologist's experience or the personnel working on the image processing system be gripped. Of course, according to the procedure Feature analysis also automatically based on a database or using fuzzy logic.

Die vorliegenden 2D-Merkmale aus den Einzelaufnahmen werden dann durch das nunmehr bestehende räumliche Geometriesystem in ein 3D-Modell überführt, wobei die zugehörige Beschreibung der 3D-Merkmale, z. B. Farben und Texturen, automatisch aus den Daten der vorhandenen 2D-Aufnahmen gewonnen wird. Aufgaben spezifische Daten, z. B. Signaturen oder Indices können inter aktiv eingegeben werden, so daß sich die spätere Untersuchung anhand der vorliegenden 3D-Dokumentation vereinfacht.The existing 2D features from the individual images are then through the now existing spatial geometry system in transferred a 3D model, the associated description of 3D features, e.g. B. colors and textures, automatically from the Data from the existing 2D images is obtained. Tasks specific data, e.g. B. Signatures or indices can inter be entered actively so that the later investigation simplified based on the available 3D documentation.

Im Ergebnis liefert das Verfahren eine digitale räumliche Beschreibung der jeweiligen Szene, die als Grundlage für ein CAD oder Virtual Reality-Archivierungssystem eingesetzt werden kann, wobei die erhaltenen Daten in bekannter Weise in gängige Datenformate übertragbar sind.As a result, the method delivers a digital spatial Description of each scene as the basis for a CAD or virtual reality archiving system can be used can, the data obtained in a known manner in common Data formats are transferable.

Bei einem weiteren Ausführungsbeispiel wird von der inte grierten Verarbeitung von Luftbildern und terrestrischen Bildern ausgegangen, um auf der Basis dieser Integration bzw. Kombination von Bilddaten eine dreidimensionale Bildkarte zu erhalten, die in einer Datenbank abspeicherbar ist. Mit dieser 3D-Bildkarte können dann unter Nutzung eines entsprechenden Computersystems nachträglich Visualisierungen von Gebäuden in ihrer natürlichen Umgebung vorgenommen werden. Dadurch, daß beim Ausführungsbeispiel der Datenbestand der 3D-Bildkarte aus Aufnahmen, insbesondere Luftaufnahmen realer Szenen entnommen wird, ist der Realitätssachverhalt von hoher Detailtreue. Die Oberflächenstruktur wird durch die angefertigten weiteren terrestrischen Aufnahmen mit hoher Präzision abgebildet, wobei die tatsächliche genaue Lage von Koordinaten bestimmter Objektpunkte durch entsprechende Positionsbestimmungssysteme erfaßt und später wiedergegeben werden kann.In a further embodiment, the inte free processing of aerial photos and terrestrial Images based on this integration or Combination of image data to create a three-dimensional image card received, which can be stored in a database. With this 3D image cards can then be used using an appropriate Computer systems subsequently visualizations of buildings in in their natural environment. As a result of that in the exemplary embodiment, the database of the 3D image card Recordings, especially aerial photos taken from real scenes the reality is of great attention to detail. The Surface structure is made by the other imaged terrestrial recordings with high precision, whereby the actual exact location of certain coordinates Object points through appropriate positioning systems can be recorded and reproduced later.

Für die 3D-Bildkarte werden natürliche Objekte, wie einzelne Bauwerke, Straßenzüge oder Stadtteile auf der Basis hoch auflösender Präzisionsfotos in einer Kombination aus den erwähnten Luftbildern und terrestrischen Aufnahmen detailgetreu in ihrer dreidimensionalen räumlichen Struktur vermessen und durch geeignete Bilddatenstrukturen koordinatengenau im Computersystem abgespeichert. Zusätzlich zu der räumlichen Struktur der Objekte wird deren Oberfläche erfaßt, mit Bild verarbeitungstechniken ausgewertet und mit ihrer kompletten Textur lage- und maßstabsgetreu auf die entsprechenden Flächen der im Computer abgespeicherten 3D-Objektstrukturen übertragen. Im Ergebnis liegt ein exaktes 3D-Computermodell der kartierten Szene bzw. des kartierten Objektes vor, das maßstabsneutral in der Datenstruktur des Computersystems verwaltet und abge speichert wird. Mit Hilfe eines interaktiven Programms eines sogenannten Viewers kann sich der Nutzer beliebig in der Szenerie der 3D-Bildkarte bewegen, um z. B. an bestimmte Objekte heranzufahren, den Betrachtungsmaßstab oder die Blickrichtung zu verändern. Letztendlich kann eine visuelle Beurteilung und Interpretation von Szenen und räumlichen Anordnungen von Objekten vorgenommen werden, wobei die Vermessung von Strecken und Räumen oder Teilobjekten der Szene anhand der aus der Datenbank zu entnehmenden Informationen, die visuell darstell bar sind, möglich wird.Natural objects, such as individual objects, are used for the 3D image card Buildings, streets or neighborhoods based on high high-resolution precision photos in a combination of the mentioned aerial photos and terrestrial recordings true to detail measured in their three-dimensional spatial structure and by means of suitable image data structures with precise coordinates in the Computer system saved. In addition to the spatial Structure of the objects, their surface is recorded, with an image processing techniques evaluated and with their complete Texture true to position and scale on the corresponding surfaces the 3D object structures stored in the computer. The result is an exact 3D computer model of the mapped Scene or the mapped object in front, which is neutral in the data structure of the computer system managed and abge is saved. With the help of an interactive program So-called viewers can be used in any way in the user Move scenery of the 3D image card to z. B. certain objects approach, the viewing scale or the viewing direction to change. Ultimately, a visual assessment and Interpretation of scenes and spatial arrangements of Objects are made, measuring routes and spaces or sub-objects of the scene based on those from the Database of information to be extracted, which represents visually cash is possible.

Claims

1. Method for digitally capturing spatial objects and scenes for a 3D image map with the following steps:

- Recording the real objects or scenes using an aerial photo and creating digitized image data based on these recordings or from existing archive images;
- Assigning precision position coordinates to the digitized image data;
- Making terrestrial recordings of the real objects or scenes in question from several positions and / or directions, so that the predominant surface, in particular the particular part that cannot be inferred from the aerial photograph (s), is available as an image data set, and
- Transfer the digitized image data and the image data set to and scale these data into a three-dimensional image card coordinate system in a database managed by a computer.

2. The method according to claim 1, characterized by the following steps:

- Capture the scene from one or more positions and / or different directions to obtain one or more views of the scene and create digital data records that correspond to the captured images;
- Determination of natural or artificial link elements present in the scene on the basis of the digitized data sets of the views or images of the scene, an image processing system automatically determining the link elements and optionally specifying or selecting these link elements through interactive interventions;
- Assignment of the linking elements from different images and derivation of equations for the determination of a spatial geometry of the system or in the system of the linking elements;
Determination of the spatial geometry of the system of the linking elements, possibly using external coordinates or fitting points, the two-dimensional features from the individual images being transferred into the 3D model or the 3D file to be obtained on the basis of the spatial three-dimensional model created in this way, in order to achieve a complete three-dimensional digital description of the scene or of the objects present in the scene, which is described by the data or files present in two dimensions on the output side.

3. The method according to claim 1 or 2, characterized, that the different recordings are continuous or quasi continuously from different positions or Directions are made.

4. The method according to claim 1 or 2, characterized, that predominantly in determining the linking elements an automatic analysis is used, whereby as Linking elements picture elements are used, which in turn Contain elements that exist in at least two pictures are those in which the relevant features are in the picture stand out clearly from the feature environment and where one Characterization of the relevant features by 2D and 3D coordinates is possible.

5. The method according to any one of the preceding claims, characterized in that a complete automatic assignment of potential linking elements from different images is carried out, this assignment being realized on the basis of at least one or a combination of all of the following criteria:

- A given assignment must be compatible with the known boundary conditions or those already determined in previous work steps, such as approximately relative or absolute camera positions, possible known spatial relationships in the scene model or the like;
- The linking elements must be mappable:
- The linking elements must be checked for similarities or correlation in the image environment, whereby only those elements are assigned whose direct surroundings can be mapped to one another;
- Several independent assignments are checked for consistency of the solution of the resulting system of equations with the remaining linking elements.

6. The method according to any one of the preceding claims, characterized, that known object or scene coordinate data from external Data sources integrated in the determination of the 3D model be, for example, lengths and Angular coordinates from the real scene to measure results external sensors and / or for information on absolute or relative camera position can act, so that this desired link assignments and the determination of the 3D model can be accelerated computationally.

7. The method according to any one of the preceding claims, characterized, that 3D synthetic graphical objects in the 3D face map coordinates system can be displayed.

8. The method according to any one of the preceding claims, characterized, that this is used to record archaeological and geological Excavation sites, for three-dimensional presentations of Buildings and building complexes, to create a three dimensional city map especially for traffic control systems as well as to receive image data for driver trainers or driving simu lators is used.

9. 3D image card consisting of a computer systems representable digitized stored data quantity, which objects and scenes of the real environment in their spatial and surface quality and shape in one three-dimensional coordinate system accurately describes.