DE102022130918A1

DE102022130918A1 - Method for generating a mixed reality environment for a person in a moving object by means of a display device, computer program product and display device

Info

Publication number: DE102022130918A1
Application number: DE102022130918.5A
Authority: DE
Inventors: Benjamin Poppinga; Kevin Beck
Original assignee: Cariad SE
Current assignee: Cariad SE
Priority date: 2022-11-22
Filing date: 2022-11-22
Publication date: 2024-05-23
Anticipated expiration: 2042-11-23
Also published as: DE102022130918B4

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen einer gemischten Realitätsumgebung (4) für eine Person (2) in einem beweglichen Objekt (3) mittels einer Anzeigevorrichtung (1), mit den Schritten:- Erzeugen einer virtuellen Realität (7) für die Person (2) in Abhängigkeit von einer Mediendatei mittels einer elektronischen Recheneinrichtung (8) der Anzeigevorrichtung (1);- Erfassen einer Umgebung (9) des beweglichen Objekts (3) mittels einer Erfassungseinrichtung (10) der Anzeigevorrichtung (1);- Bestimmen von zumindest einem die Umgebung (9) charakterisierenden optischen Merkmal (11) mittels der elektronischen Recheneinrichtung (8);- Erzeugen eines digitalen Merkmals (12) in Abhängigkeit von dem optischen Merkmal (11) mittels der elektronischen Recheneinrichtung (8); und- Darstellen der virtuellen Realität (7) mit dem digitalen Merkmal (12) als die gemischte Realitätsumgebung (4) mittels einer Anzeigeeinrichtung (5) der Anzeigevorrichtung (1).Ferner betrifft die Erfindung ein Computerprogrammprodukt sowie eine Anzeigevorrichtung (1).The invention relates to a method for generating a mixed reality environment (4) for a person (2) in a moving object (3) by means of a display device (1), comprising the steps of:- generating a virtual reality (7) for the person (2) depending on a media file by means of an electronic computing device (8) of the display device (1);- detecting an environment (9) of the moving object (3) by means of a detection device (10) of the display device (1);- determining at least one optical feature (11) characterizing the environment (9) by means of the electronic computing device (8);- generating a digital feature (12) depending on the optical feature (11) by means of the electronic computing device (8); and- displaying the virtual reality (7) with the digital feature (12) as the mixed reality environment (4) by means of a display device (5) of the display device (1).The invention further relates to a computer program product and a display device (1).

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen einer gemischten Realitätsumgebung für eine Person in einem beweglichen Objekt mittels einer Anzeigevorrichtung gemäß dem geltenden Patentanspruch 1. Ferner betrifft die Erfindung ein Computerprogrammprodukt sowie eine Anzeigevorrichtung.The invention relates to a method for generating a mixed reality environment for a person in a moving object by means of a display device according to the applicable patent claim 1. Furthermore, the invention relates to a computer program product and a display device.

Insbesondere infolge des sogenannten Urinstinkts für Orientierung bezieht sich der Mensch in einem realen Mobilitätskontext ständig auf zahlreiche Orientierungspunkte, das heißt auf einzigartige und leicht erkennbare Orte entlang einer Route. Diese Orientierungspunkte liefern Informationen über den aktuellen Standort, das heißt darüber, wo sich eine Person auf beispielsweise einer Karte befindet und wie sich die Person im Verhältnis zu anderen Orten und Punkten bewegt. Dieses Wissen ist für Navigationsaufgaben von entscheidender Bedeutung und hilft den Menschen auch dabei, beispielsweise verbleibende Zeit bis zum Erreichen eines Ziels einzuschätzen. Ferner helfen solche Orientierungspunkte beziehungsweise optische Merkmale dabei, beispielsweise einer Reisekrankheit vorzubeugen.In particular, as a result of the so-called basic instinct for orientation, in a real mobility context, people constantly refer to numerous landmarks, i.e. unique and easily recognizable places along a route. These landmarks provide information about the current location, i.e. where a person is on a map, for example, and how the person is moving in relation to other places and points. This knowledge is crucial for navigation tasks and also helps people to estimate, for example, the time remaining until reaching a destination. Furthermore, such landmarks or visual features help to prevent, for example, motion sickness.

Die US 2010/0103196 A1 beschreibt ein System und ein Verfahren zur Erzeugung einer gemischten Realitätsumgebung. Das System und Verfahren bietet ein vom Benutzer getragenes Subsystem, das mit einem Computermodul für synthetische Objekte kommunikativ verbunden ist. Das vom Benutzer getragene Subsystem kann eine Vielzahl von vom Benutzer getragene Sensoren verwenden, um Daten über die Haltung und den Standort des Benutzers zu erfassen und zu verarbeiten. The US 2010/0103196 A1 describes a system and method for generating a mixed reality environment. The system and method provides a user-worn subsystem communicatively coupled to a synthetic object computing module. The user-worn subsystem may utilize a variety of user-worn sensors to collect and process data about the user's posture and location.

Das Computermodul für synthetische Objekte kann synthetische Objekte auf der Grundlage von Informationen, die die reale Lebensszene oder Umgebung des Benutzers definieren und die Pose und den Standort des Benutzers angeben, erzeugen und an das vom Benutzer getragene Teilsystem weiterleiten. Die synthetischen Objekte können dann auf einem vom Benutzer getragenen Display dargestellt werden, wodurch die synthetischen Objekte in das Sichtfeld des Benutzers eingefügt werden. Durch die Darstellung der synthetischen Objekte auf dem vom Benutzer getragenen Display entsteht für den Benutzer der virtuelle Eindruck, dass die synthetischen Objekte in der realen Welt vorhanden sind.The synthetic object computing module may generate and pass synthetic objects to the user-worn subsystem based on information defining the user's real-life scene or environment and specifying the user's pose and location. The synthetic objects may then be presented on a user-worn display, thereby placing the synthetic objects within the user's field of view. Presenting the synthetic objects on the user-worn display provides the user with a virtual impression that the synthetic objects exist in the real world.

Die US 2021/055113 A1 bezieht sich auf ein Verfahren zur Auswahl repräsentativer Messungen aus Messungen, die sich auf eine Umgebung um ein bewegliches Objekt beziehen, und zur Bestimmung, ob die repräsentativen Messungen mit Landmarken verbunden sind, um SLAM zu realisieren, sowie auf ein elektronisches Gerät für dasselbe. Ein oder mehrere elektronische Geräte, ein Fahrzeug und ein autonomes Fahrzeug der vorliegenden Offenbarung können beispielsweise mit einem Modul für künstliche Intelligenz, einem unbemannten Luftfahrzeug, einem Roboter, einem Augmented-Reality-Gerät, einem Virtual-Reality-Gerät oder einem 5G-Dienstgerät verbunden sein.The US 2021/055113 A1 relates to a method for selecting representative measurements from measurements related to an environment around a moving object and determining whether the representative measurements are associated with landmarks to realize SLAM, and to an electronic device for the same. One or more electronic devices, a vehicle, and an autonomous vehicle of the present disclosure may be connected to, for example, an artificial intelligence module, an unmanned aerial vehicle, a robot, an augmented reality device, a virtual reality device, or a 5G service device.

Aufgabe der vorliegenden Erfindung ist es, ein Verfahren, ein Computerprogrammprodukt sowie eine Anzeigevorrichtung zu schaffen, mittels welchen eine verbesserte Orientierung für eine Person in einem beweglichen Objekt realisiert werden kann.The object of the present invention is to provide a method, a computer program product and a display device by means of which an improved orientation for a person in a moving object can be realized.

Diese Aufgabe wird durch ein Verfahren, ein Computerprogrammprodukt sowie durch eine Anzeigevorrichtung gemäß den unabhängigen Patentansprüchen gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben.This object is achieved by a method, a computer program product and a display device according to the independent patent claims. Advantageous embodiments are specified in the subclaims.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Erzeugen einer gemischten Realitätsumgebung für eine Person in einem beweglichen Objekt mittels einer Anzeigevorrichtung. Es wird eine virtuelle Realität für die Person in Abhängigkeit von einer Mediendatei mittels einer elektronischen Recheneinrichtung der Anzeigevorrichtung erzeugt. Es erfolgt das Erfassen einer Umgebung des beweglichen Objekts mittels einer Erfassungseinrichtung der Anzeigevorrichtung und das Bestimmen von zumindest einem die Umgebung charakterisierenden optischen Merkmal mittels der elektronischen Recheneinrichtung. Es wird ein digitales Merkmal in Abhängigkeit von dem optischen Merkmal mittels der elektronischen Recheneinrichtung erzeugt und es wird die virtuelle Realität mit dem digitalen Merkmal als die gemischte Realitätsumgebung mittels einer Anzeigeeinrichtung der Anzeigevorrichtung dargestellt.One aspect of the invention relates to a method for generating a mixed reality environment for a person in a moving object by means of a display device. A virtual reality is generated for the person as a function of a media file by means of an electronic computing device of the display device. The environment of the moving object is detected by means of a detection device of the display device and at least one optical feature characterizing the environment is determined by means of the electronic computing device. A digital feature is generated as a function of the optical feature by means of the electronic computing device and the virtual reality with the digital feature is displayed as the mixed reality environment by means of a display device of the display device.

Insbesondere kann sich somit die Person beim Ansehen der gemischten Realitätsumgebung anhand des in Abhängigkeit des optischen Merkmals erzeugten digitalen Merkmals orientieren. Beispielsweise können charakteristische Landmarken, beispielsweise Kirchen, Berge oder dergleichen, entsprechend erfasst werden und somit in die virtuelle Realität mit eingepflogen werden, sodass die gemischte Realität erzeugt wird. Bei der virtuellen Realität kann es sich beispielsweise um Spiele oder Filme handeln. Diese können auf Basis der elektronischen Recheneinrichtung erzeugt werden. Es wird nun die Umgebung zusätzlich erfasst und entsprechende, charakterisierende optische Merkmale in der Umgebung bestimmt. In Abhängigkeit dieser optischen Merkmale kann wiederum das digitale Merkmal, welches beispielsweise in Form eines digitalen Zwillings des optischen Merkmals oder auch mit reduzierten Informationen erzeugt wird, zusätzlich mit dargestellt werden. Somit erhält die Person innerhalb der virtuellen Realität optische Bezugspunkte, wodurch sich die Person auch während der Nutzung der virtuellen Realität beispielsweise orientieren kann. Beispielsweise bei einer längeren Fahrt in einem beweglichen Objekt, beispielsweise in einem Auto, kann sich somit die Person orientieren und beispielsweise abschätzen, wie lange die restliche Reise noch dauert.In particular, the person can orient themselves when viewing the mixed reality environment using the digital feature generated depending on the optical feature. For example, characteristic landmarks, such as churches, mountains or the like, can be recorded accordingly and thus incorporated into the virtual reality, so that the mixed reality is generated. The virtual reality can be games or films, for example. These can be generated on the basis of the electronic computing device. The environment is now additionally recorded and corresponding, characterizing optical features in the environment are determined. Depending on these optical features, the digital feature, which for example is in the form of a digital The virtual twin of the optical feature or with reduced information can also be displayed. This gives the person optical reference points within the virtual reality, which allows them to orient themselves while using the virtual reality. For example, during a long journey in a moving object, such as a car, the person can orient themselves and estimate how long the rest of the journey will take.

Die Anzeigeeinrichtung kann beispielsweise in Form eines Bildschirms, insbesondere in Form einer sogenannten Virtual-Reality-Brille, bereitgestellt werden. Alternativ oder ergänzend ist es auch möglich, dass beispielsweise in einem Kraftfahrzeug entsprechende Scheiben als Displays ausgebildet sind, und die gemischte Realitätsumgebung wird dann wiederum auf den Displays der Scheiben dargestellt. Insbesondere hat somit die Person einen Rundumblick und kann sich anhand des Rundumblicks in der gemischten Realitätsumgebung orientieren.The display device can be provided, for example, in the form of a screen, in particular in the form of so-called virtual reality glasses. Alternatively or additionally, it is also possible for corresponding windows in a motor vehicle to be designed as displays, and the mixed reality environment is then shown on the displays of the windows. In particular, the person thus has an all-round view and can orient themselves in the mixed reality environment using the all-round view.

Insbesondere ist die elektronische Recheneinrichtung beispielsweise mit einer sogenannten künstlichen Intelligenz ausgebildet, und dient als vermittelnde Komponente zwischen elastischen, generierten Inhalten und der realen Welt mit entsprechenden Landmarken. Diese künstliche Intelligenz sorgt für eine häufige und räumlich konsistente Einbeziehung von physischen Landmarken in der virtuellen Realität, indem diese priorisiert und beispielsweise mit dem eigentlichen Inhalt verschmilzt.In particular, the electronic computing device is designed with so-called artificial intelligence, for example, and serves as a mediating component between elastic, generated content and the real world with corresponding landmarks. This artificial intelligence ensures a frequent and spatially consistent inclusion of physical landmarks in virtual reality by prioritizing them and, for example, merging them with the actual content.

Einerseits wird die künstliche Intelligenz die Wichtigkeit und Aktualität der generierten Inhalte verstehen. Wenn es sich um etwas handelt, dass beispielsweise sofort erlebt werden muss, erhält es Vorrang vor der Landmarkenvisualisierung. Andererseits überwacht die künstliche Intelligenz die räumliche Bewegung, setzt sie in Beziehung zu beispielsweise einer Umgebungskarte oder einer anderen geeigneten Datenstruktur, um Möglichkeiten für Landmarken-Visualisierung zu identifizieren. Die künstliche Intelligenz ist dabei in der Lage, beide Extreme auszugeben, mit einer Vielzahl an Variationen dazwischen. Dabei werden verschiedene bemerkenswerte Merkmale der Landmarken berücksichtigt und in dem generierten Inhalt wiedergegeben. So kann beispielsweise die gemischte Realitätsumgebung zum Beispiel vorsehen, dass eine große Giraffe erscheint. Gleichzeitigt sagt die künstliche Intelligenz den Bedarf an einer Landmarken-Visualisierung voraus und generiert folglich eine Darstellung von beispielsweise Kirchen oder weiteren charakterisierenden Umgebungsmerkmalen.On the one hand, the artificial intelligence will understand the importance and timeliness of the generated content. If it is something that needs to be experienced immediately, for example, it will be prioritized over the landmark visualization. On the other hand, the artificial intelligence will monitor the spatial movement, relate it to, for example, an environment map or other suitable data structure to identify opportunities for landmark visualization. The artificial intelligence is able to output both extremes, with a variety of variations in between. Various notable features of the landmarks are taken into account and reflected in the generated content. For example, the mixed reality environment can provide for a large giraffe to appear. At the same time, the artificial intelligence predicts the need for landmark visualization and consequently generates a representation of, for example, churches or other characteristic environmental features.

Es kann ferner vorgesehen sein, dass die Implementierung in der Lage ist, künstlich Orientierungspunkte zu erzeugen, auch wenn beispielsweise keine realen Orientierungspunkte existieren. Dies würde die Orientierung und Navigation von Personen in monotonen Umgebungen, wie beispielsweise Vorstädten oder in großen Tunnelnetzen, vereinfachen.It may further be provided that the implementation is capable of artificially generating landmarks, even if, for example, no real landmarks exist. This would simplify the orientation and navigation of people in monotonous environments, such as suburbs or in large tunnel networks.

Eine weitere Erweiterung des Gedankens besteht darin, dass die dargestellten optischen Merkmale individuell definiert werden. Bestimmte Objekte und Landschaften sind für Menschen, die eine persönliche Beziehung zu diesen haben, einprägsamer als für andere. Für den einen ist zum Beispiel das Lieblingsrestaurant relevant, für den anderen in der Kindheit oft besuchte Badeseen oder geeignete Orientierungspunkte.A further extension of the idea is that the visual features shown are defined individually. Certain objects and landscapes are more memorable for people who have a personal relationship with them than for others. For one person, for example, their favorite restaurant is relevant, while for another, they might be interested in lakes they often went to in childhood or suitable landmarks.

Als bewegliches Objekt kann beispielsweise ein Kraftfahrzeug, ein Zug, eine U-Bahn, ein Flugzeug oder auch andere bewegliche Objekte, welche zur Personenbeförderung ausgebildet sind, angesehen werden.A movable object can be, for example, a motor vehicle, a train, a subway, an airplane or other movable objects designed to transport people.

Gemäß einer vorteilhaften Ausgestaltungsform ist die Anzeigeeinrichtung als eine von der Person tragbare Anzeigeeinrichtung bereitgestellt. Beispielsweise kann die Anzeigeeinrichtung ein Bildschirm sein, welcher beispielsweise in Form einer virtuellen-Realitätsbrille von der Person getragen wird. Somit kann die Anzeigeeinrichtung mobil ausgebildet sein, um beispielsweise einer Kopfbewegung der Person folgen zu können, sodass beispielsweise auch Blickrichtungen beziehungsweise Kopfbewegungen mit bei der Darstellung der gemischten Realitätsumgebung berücksichtigt werden können.According to an advantageous embodiment, the display device is provided as a display device that can be worn by the person. For example, the display device can be a screen that is worn by the person in the form of virtual reality glasses. The display device can thus be designed to be mobile in order to be able to follow a head movement of the person, for example, so that viewing directions or head movements can also be taken into account when displaying the mixed reality environment.

Ebenfalls vorteilhaft ist, wenn auf Basis einer erfassten Position des beweglichen Objekts das optische Merkmal erfasst wird. Beispielsweise kann mithilfe eines globalen Satellitensystems die Position des beweglichen Objekts beziehungsweise der Person erfasst werden. Es kann dann beispielsweise mit entsprechenden Navigationskarten abgeglichen werden, an welchen Stellen sich entsprechende optische Merkmale befinden. Diese können dann wiederum auf Basis der Karte entsprechend in die gemischte Realitätsumgebung eingepflegt werden.It is also advantageous if the optical feature is recorded based on a recorded position of the moving object. For example, the position of the moving object or person can be recorded using a global satellite system. It can then be compared with appropriate navigation maps, for example, to determine where the corresponding optical features are located. These can then be incorporated into the mixed reality environment based on the map.

Ebenfalls vorteilhaft ist, wenn auf Basis einer optischen Objektklassifizierung des optischen Merkmals das optische Merkmal erfasst wird. Beispielsweise können mit unterschiedlichen optischen Erfassungseinrichtungen beziehungsweise auch digitalen Erfassungseinrichtungen, beispielsweise Radarsensoreinrichtung, Ultraschallsensoreinrichtung, LIDAR-Sensoreinrichtung oder Kamera, die entsprechenden optischen Merkmale klassifiziert werden. Beispielsweise kann somit bei einer Umgebungserfassung eine Objektklassifizierung in der Umgebung stattfinden, wobei dann bestimmt wird, ob das optische Merkmal als charakterisierend für die Umgebung beziehungsweise für die Person auszuzeichnen ist, und dann wird dieses Objekt wiederum dargestellt.It is also advantageous if the optical feature is detected on the basis of an optical object classification of the optical feature. For example, the corresponding optical features can be classified using different optical detection devices or digital detection devices, such as radar sensor devices, ultrasonic sensor devices, LIDAR sensor devices or cameras. For example, in the case of environmental detection In this solution, an object classification in the environment takes place, whereby it is then determined whether the optical feature is to be identified as characteristic of the environment or of the person, and then this object is again displayed.

Eine weitere vorteilhafte Ausgestaltungsform sieht vor, dass zusätzlich eine Blickrichtung der Person erfasst wird und in Abhängigkeit von der erfassten Blickrichtung die gemischte Realitätsumgebung erzeugt wird. Somit kann eine äußerst realitätsnahe Darstellung des optischen Merkmals realisiert werden. Dadurch ist es ermöglicht, dass der Nutzer eine verbesserte Orientierung innerhalb der gemischten Realitätsumgebung durchführen kann.Another advantageous embodiment provides that a person's line of sight is also recorded and the mixed reality environment is generated depending on the recorded line of sight. This makes it possible to create an extremely realistic representation of the optical feature. This enables the user to carry out improved orientation within the mixed reality environment.

Ferner hat es sich als vorteilhaft erwiesen, wenn in Abhängigkeit von dem aktuellen Inhalt der Mediendatei entschieden wird, ob das digitale Merkmal angezeigt wird. Beispielsweise können entsprechende Merkmale innerhalb der Mediendatei priorisiert werden, welche wiederum priorisiert dargestellt werden, weshalb entschieden werden kann, dass beispielsweise ein optisches Merkmal nicht dargestellt wird. Es kann jedoch auch vorgesehen sein, dass beispielsweise das optische Merkmal priorisiert wird, da es sich um einen charakterisierenden Umgebungsteil handelt, und somit Inhalte der Mediendatei unterdrückt werden.Furthermore, it has proven to be advantageous if a decision is made as to whether the digital feature is displayed depending on the current content of the media file. For example, corresponding features within the media file can be prioritized, which in turn are displayed with priority, which is why it can be decided that, for example, an optical feature is not displayed. However, it can also be provided that, for example, the optical feature is prioritized because it is a characterizing part of the environment, and thus contents of the media file are suppressed.

Ebenfalls vorteilhaft ist, wenn die elektronische Recheneinrichtung mit einem maschinellen Lernalgorithmus bereitgestellt wird. Insbesondere wird die elektronische Recheneinrichtung mit einer künstlichen Intelligenz bereitgestellt. Somit ist es vorgesehen, dass gelernt wird, welche Merkmale beispielsweise für die Person charakterisierend sind. Dies kann beispielsweise auf Basis einer Blickrichtungserfassung bestimmt werden. Beispielsweise kann vorgesehen sein, sollte sich die Person oftmals an einem realen Objekt orientieren, dass eine entsprechende Blickrichtung bestimmt wird und diese auf das Objekt bezogen wird. Bei einer Nutzung der gemischten Realitätsumgebung kann nun dieses Objekt priorisiert angezeigt werden.It is also advantageous if the electronic computing device is provided with a machine learning algorithm. In particular, the electronic computing device is provided with artificial intelligence. This means that it is intended to learn which features are characteristic of the person, for example. This can be determined, for example, on the basis of a gaze direction detection. For example, if the person often orients himself on a real object, it can be intended that a corresponding gaze direction is determined and related to the object. When using the mixed reality environment, this object can now be displayed with priority.

Weiterhin kann vorgesehen sein, dass mittels des maschinellen Lernalgorithmus in Abhängigkeit von einer Personenbeobachtung entschieden wird, welche optischen Merkmale als digitale Merkmale angezeigt werden. Insbesondere kann der maschinelle Lernalgorithmus lernen, welche optischen Merkmale für die Person als Orientierungshilfen dienen. In Abhängigkeit von der Personenbeobachtung kann dann wiederum entschieden werden, welche optischen Merkmale angezeigt werden, und welche beispielsweise nicht angezeigt werden.Furthermore, it can be provided that the machine learning algorithm decides, depending on the observation of a person, which optical features are displayed as digital features. In particular, the machine learning algorithm can learn which optical features serve as orientation aids for the person. Depending on the observation of the person, it can then be decided which optical features are displayed and which are not displayed, for example.

Bei dem vorgestellten Verfahren handelt es sich insbesondere um ein computerimplementiertes Verfahren. Daher betrifft ein weiterer Aspekt der Erfindung ein Computerprogrammprodukt mit Programmcodemitteln, welche eine elektronische Recheneinrichtung dazu veranlassen, wenn die Programmcodemittel von der elektronischen Recheneinrichtung abgearbeitet werden, ein Verfahren nach dem vorhergehenden Aspekt durchzuführen. Das Computerprogrammprodukt kann auch als Computerprogramm bezeichnet werden. Ferner betrifft die Erfindung daher auch ein computerlesbares Speichermedium mit dem Computerprogrammprodukt.The method presented is in particular a computer-implemented method. Therefore, a further aspect of the invention relates to a computer program product with program code means which cause an electronic computing device to carry out a method according to the previous aspect when the program code means are processed by the electronic computing device. The computer program product can also be referred to as a computer program. Furthermore, the invention therefore also relates to a computer-readable storage medium with the computer program product.

Ein weiterer Aspekt der Erfindung sieht eine Anzeigevorrichtung zum Erzeugen einer gemischten Realitätsumgebung für eine Person in einem beweglichen Objekt vor, mit zumindest einer elektronischen Recheneinrichtung, einer Erfassungseinrichtung und einer Anzeigeeinrichtung, wobei die Anzeigevorrichtung zum Durchführen eines Verfahrens nach dem vorhergehenden Aspekt ausgebildet ist. Insbesondere wird das Verfahren mittels der Anzeigevorrichtung durchgeführt.A further aspect of the invention provides a display device for generating a mixed reality environment for a person in a moving object, with at least one electronic computing device, a detection device and a display device, wherein the display device is designed to carry out a method according to the preceding aspect. In particular, the method is carried out by means of the display device.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise during the method and which are not explicitly described here, it may be provided that, in accordance with the method, an error message and/or a request to enter user feedback is issued and/or a default setting and/or a predetermined initial state is set.

Zu der Erfindung gehört auch die Steuervorrichtung/elektronische Recheneinrichtung für das Kraftfahrzeug. Die Steuervorrichtung kann eine Datenverarbeitungsvorrichtung oder eine Prozessoreinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessoreinrichtung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessoreinrichtung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessoreinrichtung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessoreinrichtung gespeichert sein. Die Prozessorschaltung der Prozessoreinrichtung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen.The invention also includes the control device/electronic computing device for the motor vehicle. The control device can have a data processing device or a processor device that is set up to carry out an embodiment of the method according to the invention. For this purpose, the processor device can have at least one microprocessor and/or at least one microcontroller and/or at least one FPGA (Field Programmable Gate Array) and/or at least one DSP (Digital Signal Processor). Furthermore, the processor device can have program code that is set up to carry out the embodiment of the method according to the invention when executed by the processor device. The program code can be stored in a data memory of the processor device. The processor circuit of the processor device can, for example, have at least one circuit board and/or at least one SoC (System on Chip).

Zu der Erfindung gehören auch Weiterbildungen des erfindungsgemäßen Anzeigevorrichtung, die Merkmale aufweisen, wie sie bereits im Zusammenhang mit den Weiterbildungen des erfindungsgemäßen Verfahrens beschrieben worden sind. Aus diesem Grund sind die entsprechenden Weiterbildungen der erfindungsgemäßen Anzeigevorrichtung hier nicht noch einmal beschrieben.The invention also includes further developments of the display device according to the invention, which have features as already described in connection with the further developments of the inventive according method. For this reason, the corresponding developments of the display device according to the invention are not described again here.

Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger car or truck, or as a passenger bus or motorcycle.

Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nichtflüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.As a further solution, the invention also includes a computer-readable storage medium, comprising program code which, when executed by a processor circuit of a computer or a computer network, causes it to carry out an embodiment of the method according to the invention. The storage medium can, for example, be provided at least partially as a non-volatile data memory (e.g. as a flash memory and/or as an SSD - solid state drive) and/or at least partially as a volatile data memory (e.g. as a RAM - random access memory). The storage medium can be arranged in the processor circuit in its data memory. The storage medium can also be operated, for example, as a so-called app store server on the Internet. The computer or computer network can provide a processor circuit with at least one microprocessor. The program code can be provided as binary code or assembler and/or as source code of a programming language (e.g. C) and/or as a program script (e.g. Python).

Die Erfindung umfasst auch die Kombination der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.The invention also includes the combination of the features of the described embodiments. The invention therefore also includes implementations that each have a combination of the features of several of the described embodiments, provided that the embodiments have not been described as mutually exclusive.

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt die einzige 1 eine schematische Seitenansicht einer Ausführungsform einer Anzeigevorrichtung für eine Person.An embodiment of the invention is described below. The only 1 a schematic side view of an embodiment of a display device for a person.

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um ein bevorzugtes Ausführungsbeispiel der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsform umfassen. Des Weiteren ist das beschriebene Ausführungsbeispiel auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The embodiment explained below is a preferred embodiment of the invention. In the embodiment, the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another and which also develop the invention independently of one another. Therefore, the disclosure should also include combinations of the features of the embodiment other than those shown. Furthermore, the described embodiment can also be supplemented by other features of the invention already described.

In der Figur bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figure, identical reference symbols designate functionally identical elements.

1 zeigt eine schematische Seitenansicht einer Ausführungsform einer Anzeigevorrichtung 1 für eine Person 2. Die Person 2 befindet sich im vorliegenden Ausführungsbeispiel in einem beweglichen Objekt 3, insbesondere in einem beispielsweise zumindest teilweise automatisiert betriebenen beziehungsweise vollautomatisiert betriebenen Kraftfahrzeug. Die Anzeigevorrichtung 1 ist zum Erzeugen einer gemischten Realitätsumgebung 4 ausgebildet. Die gemischte Realitätsumgebung 4 wird beispielsweise auf einer Anzeigeeinrichtung 5 der Anzeigevorrichtung 1 dargestellt. Im vorliegenden Ausführungsbeispiel ist die Anzeigeeinrichtung 5 beispielsweise als virtuelle-Realitäts-Brille ausgebildet und wird beispielsweise von der Person 2 am Kopf getragen. Die gemischte Realitätsumgebung 4 ist vorligend vergrößert dargestellt. 1 shows a schematic side view of an embodiment of a display device 1 for a person 2. In the present exemplary embodiment, the person 2 is located in a moving object 3, in particular in a motor vehicle that is operated at least partially automatically or fully automatically, for example. The display device 1 is designed to generate a mixed reality environment 4. The mixed reality environment 4 is shown, for example, on a display device 5 of the display device 1. In the present exemplary embodiment, the display device 5 is designed, for example, as virtual reality glasses and is worn on the head by the person 2, for example. The mixed reality environment 4 is shown enlarged here.

Erfindungsgemäß ist vorgesehen, dass eine virtuelle Realität 7 für die Person 2 in Abhängigkeit von einer Mediendatei mittels einer elektronischen Recheneinrichtung 8 der Anzeigevorrichtung 1 erzeugt wird. Im vorliegenden Ausführungsbeispiel ist die virtuelle Realität 7 beispielsweise in Form eines Fußballspiels dargestellt. Die Person 2 kann beispielsweise ein Fußballspiel spielen und beispielsweise einen Elfmeterschützen darstellen. Es erfolgt das Erfassen einer Umgebung 9 des beweglichen Objekts 3 mittels einer Erfassungseinrichtung 10 der Anzeigevorrichtung 1. Es wird zumindest ein die Umgebung 9 charakterisierendes optisches Merkmal 11 mittels der elektronischen Recheneinrichtung 8 bestimmt. Es wird dann wiederum ein digitales Merkmal 12 in Abhängigkeit von dem optischen Merkmal 11 mittels der elektronischen Recheneinrichtung 8 erzeugt. Im vorliegenden Ausführungsbeispiel wird insbesondere ein sogenannter digitaler Zwilling des optischen Merkmals 11 als digitales Merkmal 12 erzeugt.According to the invention, a virtual reality 7 is generated for the person 2 as a function of a media file by means of an electronic computing device 8 of the display device 1. In the present exemplary embodiment, the virtual reality 7 is represented, for example, in the form of a football game. The person 2 can, for example, play a football game and represent a penalty taker. An environment 9 of the moving object 3 is detected by means of a detection device 10 of the display device 1. At least one optical feature 11 characterizing the environment 9 is determined by means of the electronic computing device 8. A digital feature 12 is then in turn generated as a function of the optical feature 11 by means of the electronic computing device 8. In the present exemplary embodiment, in particular a so-called digital twin of the optical feature 11 is generated as a digital feature 12.

Es erfolgt dann das Darstellen der virtuellen Realität 7 mit dem digitalen Merkmal 12 als die gemischte Realitätsumgebung 4 mittels der Anzeigeeinrichtung 5.The virtual reality 7 with the digital feature 12 is then displayed as the mixed reality environment 4 by means of the display device 5.

Insbesondere kann vorgesehen sein, dass auf Basis einer erfassten Position des beweglichen Objekts 3 das optische Merkmal 11 erfasst wird. Beispielsweise kann hierzu eine Navigationseinrichtung 13 vorgesehen sein, welche beispielsweise Informationen der Position erfasst und beispielsweise mit Kartenmerkmalen abgleicht. Ferner kann auch auf Basis einer optischen Objektklassifizierung des optischen Merkmals 11 das optische Merkmal 11 erfasst werden.In particular, it can be provided that the optical feature 11 is detected on the basis of a detected position of the movable object 3. For example, a navigation device 13 can be provided for this purpose, which, for example, detects information on the position and compares it with map features, for example. Furthermore, the optical object classification can also be based on the optical object classification of the optical The optical feature 11 can be detected by means of the chemical feature 11.

Eine weitere vorteilhafte Ausgestaltungsform kann vorsehen, dass die Blickrichtung der Person 2 erfasst wird und in Abhängigkeit von der erfassten Blickrichtung die gemischte Realitätsumgebung 4 erzeugt wird.A further advantageous embodiment can provide that the viewing direction of the person 2 is detected and the mixed reality environment 4 is generated depending on the detected viewing direction.

Ferner kann vorgesehen sein, dass die elektronische Recheneinrichtung 8 mit einem maschinellen Lernalgorithmus bereitgestellt wird, wobei mittels des maschinellen Lernalgorithmus beispielsweise in Abhängigkeit von der Personenbeobachtung entschieden wird, welche optischen Merkmale 11 als digitale Merkmale angezeigt werden.Furthermore, it can be provided that the electronic computing device 8 is provided with a machine learning algorithm, wherein the machine learning algorithm is used to decide, for example depending on the person observation, which optical features 11 are displayed as digital features.

Beispielsweise kann somit vorgesehen sein, dass die gemischte Realitätsumgebung 4 die virtuelle Realität 7 umfasst. Parallel dazu versorgt beispielsweise auf Basis einer hochauflösenden Karte und einer Art von Datenstruktur die elektronische Recheneinrichtung 8 die gemischte Realitätsumgebung 4 über relevante, nahegelegte Orientierungspunkte, insbesondere dem optischen Merkmal 11, einschließlich ihrer wichtigsten Merkmale.For example, it can thus be provided that the mixed reality environment 4 comprises the virtual reality 7. In parallel, for example on the basis of a high-resolution map and a type of data structure, the electronic computing device 8 supplies the mixed reality environment 4 with relevant, suggested landmarks, in particular the optical feature 11, including its most important features.

Die elektronische Recheneinrichtung 8 überwacht die Notwendigkeit der Visualisierung des optischen Merkmals 11 sowie auch die Bedeutung der generierten Inhalte für die virtuelle Realität 7. Ersteres sorgt wiederum dafür, dass der Nutzer seinen Standort im realen Leben ständig im Blick hat und die Person 2 beispielsweise beruhigt ist. Letzteres sorgt dafür, dass nur weniger relevante Informationen moduliert werden, sodass die wichtigsten Aspekte der virtuellen Realität 7 erhalten bleiben.The electronic computing device 8 monitors the need to visualize the optical feature 11 as well as the importance of the generated content for the virtual reality 7. The former ensures that the user always has his location in real life in view and the person 2 is reassured, for example. The latter ensures that only less relevant information is modulated so that the most important aspects of the virtual reality 7 are retained.

Die elektronische Recheneinrichtung 8 fügt dann die verschiedenen Informationsströme zusammen, je nachdem, ob einer der überwachten Aspekte dominiert. Wenn eine Landmarke sehr prominent dargestellt werden muss, so kann die Landmarke mit entsprechenden Attributen als digitales Merkmal 12 moduliert werden, zum Beispiel kann eine Form, eine Textur, eine Größe, eine Beleuchtung oder ein Kontrast oder dergleichen moduliert werden, um den eigentlichen Inhalt auf das Aussehen der Landmarke abzustimmen. Wenn nur subtile Hinweise auf die Landmarken benötigt werden und die gemischte Realitätsumgebung 4 sehr kritisch ist, kann die elektronische Recheneinrichtung 8 den Inhalt so authentisch wie möglich darstellen.The electronic computing device 8 then combines the various information streams depending on whether one of the monitored aspects dominates. If a landmark needs to be displayed very prominently, the landmark can be modulated with appropriate attributes as a digital feature 12, for example a shape, a texture, a size, an illumination or a contrast or the like can be modulated to match the actual content to the appearance of the landmark. If only subtle references to the landmarks are needed and the mixed reality environment 4 is very critical, the electronic computing device 8 can display the content as authentically as possible.

Insbesondere können hiermit mehrere Transformationsmodelle oder aufmerksamkeitsgesteuerte tiefe neuronale Netzwerke verwendet werden, um die wichtigsten Teile „beider Welten“, das heißt Orientierungspunkte und Inhalte, zu identifizieren. Für die Modifizierung des Inhalts kann beispielsweise ein neuronales Netzwerk oder auch ein generatives Adversialnetwork (GAN) verwendet werden. Ferner können auch Zeitreihenmodelle verwendet werden, um einzelne wichtige Orientierungspunkte zu bewerten, wenn beispielsweise Zugang zu historischen Lokalisierungsdaten des jeweiligen Nutzers beziehungsweise der Person 2 aufzufinden sind.In particular, multiple transformation models or attention-driven deep neural networks can be used to identify the most important parts of "both worlds", i.e. landmarks and content. For example, a neural network or a generative adversarial network (GAN) can be used to modify the content. Furthermore, time series models can also be used to evaluate individual important landmarks, for example if access to historical location data of the respective user or person 2 can be found.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely to provide the reader with better information. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 20100103196 A1 [0003]
US 2021055113 A1 [0005]

Claims

Method for generating a mixed reality environment (4) for a person (2) in a moving object (3) by means of a display device (1), comprising the steps: - generating a virtual reality (7) for the person (2) depending on a media file by means of an electronic computing device (8) of the display device (1); - detecting an environment (9) of the moving object (3) by means of a detection device (10) of the display device (1); - determining at least one optical feature (11) characterizing the environment (9) by means of the electronic computing device (8); - generating a digital feature (12) depending on the optical feature (11) by means of the electronic computing device (8); and - displaying the virtual reality (7) with the digital feature (12) as the mixed reality environment (4) by means of a display device (5) of the display device (1).

Procedure according to Claim 1 , characterized in that the display device (5) is provided as a display device (5) portable by the person (2).

Method according to one of the preceding claims, characterized in that the optical feature (11) is detected on the basis of a detected position of the movable object (3).

Method according to one of the preceding claims, characterized in that the optical feature (11) is detected on the basis of an optical object classification of the optical feature (11).

Method according to one of the preceding claims, characterized in that a viewing direction of the person (2) is additionally detected and the mixed reality environment (4) is generated depending on the detected viewing direction.

Method according to one of the preceding claims, characterized in that it is decided whether the digital feature (12) is displayed depending on a current content of the media file.

Method according to one of the preceding claims, characterized in that the electronic computing device (8) is provided with a machine learning algorithm.

Procedure according to Claim 7 , characterized in that the machine learning algorithm is used to decide, depending on a person observation, which optical features (11) are displayed as digital features (12).

Computer program product with program code means which cause an electronic computing device (8) to carry out a method according to one of the Claims 1 until 8th to carry out.

Display device (1) for generating a mixed reality environment (4) for a person (2) in a moving object (3), having at least one electronic computing device (8), a detection device (10) and a display device (5), wherein the display device (1) is designed to carry out a method according to one of the Claims 1 until 8th is trained.