[go: up one dir, main page]

DE102012214988B4 - Fahrzeug-Spielesystem mit erweiterter Realität für Vorder- und Rück-Sitz zur Unterhaltung und Information von Passagieren - Google Patents

Fahrzeug-Spielesystem mit erweiterter Realität für Vorder- und Rück-Sitz zur Unterhaltung und Information von Passagieren Download PDF

Info

Publication number
DE102012214988B4
DE102012214988B4 DE102012214988.0A DE102012214988A DE102012214988B4 DE 102012214988 B4 DE102012214988 B4 DE 102012214988B4 DE 102012214988 A DE102012214988 A DE 102012214988A DE 102012214988 B4 DE102012214988 B4 DE 102012214988B4
Authority
DE
Germany
Prior art keywords
vehicle
information
reality image
image
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102012214988.0A
Other languages
English (en)
Other versions
DE102012214988A1 (de
Inventor
Pradyumna K. Mishra
John W. Suh
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of DE102012214988A1 publication Critical patent/DE102012214988A1/de
Application granted granted Critical
Publication of DE102012214988B4 publication Critical patent/DE102012214988B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/90—Constructional details or arrangements of video game devices not provided for in groups A63F13/20 or A63F13/25, e.g. housing, wiring, connections or cabinets
    • A63F13/92—Video game devices specially adapted to be hand-held while playing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/216—Input arrangements for video game devices characterised by their sensors, purposes or types using geographical information, e.g. location of the game device or player using GPS
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/45—Controlling the progress of the video game
    • A63F13/46—Computing the game score
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/105—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals using inertial sensors, e.g. accelerometers, gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/204—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform the platform being a handheld device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/205—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform for detecting the geographical location of the game platform
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8094—Unusual game types, e.g. virtual cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren, umfassend:
Empfangen eines Live-Videobildes, das während eines Betriebes eines Fahrzeuges von einer auf dem Fahrzeug montierten Kamera in Echtzeit bereitgestellt wird;
Empfangen von Informationen eines weiteren Fahrzeugs;
Vorhersagen einer Eigenschaft des weiteren Fahrzeugs für einen Zeitpunkt in der Zukunft unter Verwendung der empfangenen Information des weiteren Fahrzeugs;
Zusammenführen des Live-Videobilds, FahrzeugBetriebsdaten, der Informationen eines weiteren Fahrzeugs und eines oder mehrerer virtuellen Bildern, um ein erweitertes Reality-Bild bereitzustellen,
wobei das erweitere Reality-Bild die vorhergesagte Eigenschaft des weiteren Fahrzeugs umfasst; und
Übertragen des erweiterten Reality-Bildes während des Betriebes des Fahrzeuges.

Description

  • Technisches Gebiet
  • Das technische Gebiet betrifft allgemein Systeme und Methoden für ein Spielesystem, welches zur Unterhaltung während der Fahrt in einem Fahrzeug dient, und insbesondere ein Spielesystem mit erweiterter Realität (so genannter „Augmented Reality“), wobei das Fahrzeug eine aktive Rolle in dem Spiel spielt.
  • Hintergrund
  • Die Druckschrift „Echtzeit-Bildverarbeitung für ein Fahrer-Unterstützungssystem zum Einsatz auf Autobahnen“, Volker Graefe, it + it - Informationstechnik und Technische Informatik 36 (1994) 1, Heft 1/94, Sonderheft Robotik, R. Oldenbourg Verlag beschreibt auf den Seiten 16 bis 24 ein System zum Erkennen von Verkehrssituationen in Echtzeit.
  • DE 10 2008 034 606 A1 beschreibt eine Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit.
  • DE 10 2008 034 594 A1 beschreibt ein System zur Darstellung von Fahrbahneigenschaften für die Insassen eines Fahrzeugs.
  • US 2006/0223637 A1 beschreibt ein Videospielesystem für ein ferngesteuertes Fahrzeug.
  • Es ist heutzutage üblich, an Bord von Fahrzeugen elektrische Steuer-, Kommunikations- und Sicherheitssysteme zu verbauen. Beispielsweise umfassen neuerdings viele Fahrzeuge Navigationssysteme, welche drahtlose globale Positioniersystem- (GPS) Technologie verwenden, welche eine Fahrzeugstandortinformation bereitstellen kann, um bei der Planung und Routenführung von Fahrstrecken behilflich zu sein. Ebenso sind bildgebende Systeme bekannt, welche Echtzeit-Ansichten bereitstellen, während Radar-, Sonar- und Laser-basierte Systeme bekannt sind, welche eine nach vorne, nach hinten und zur Seite gerichtete Hindernis-Erkennung bzw. -Detektion bereitstellen können. Es werden Fahrzeug-zu-Fahrzeug- und Straßendienst-zu-Fahrzeug-Kommunikationssysteme entwickelt, und zwar mit Adhoc-Drahtlos-Netzwerkverhalten, was eine Basis für dezentralisierte Sensor-Datenaustausch- und erweiterte Warn-Systeme bereitstellt, welche bei der Reduzierung bzw. Vermeidung von Kollisionen nützlich sind. Während solche Systeme dem Fahrzeugnutzer wertvolle Information hinsichtlich des sicheren Betriebes des Fahrzeuges bereitstellen, wurde diese Information bisher nicht zur Verwendung für Passagiere des Fahrzeuges nutzbar gemacht, welche im Allgemeinen einfach dasitzend mitfahren oder sich selber unterhalten müssen, bis das Fahrzeug am beabsichtigten Ziel ankommt.
  • Virtuelle Realität ist eine Technologie, welche allgemein in Spielesystemen verwendet wird, um Unterhaltung bereitzustellen, und zwar dadurch, dass Personen verschiedene Situationen erleben können, welche sie aufgrund räumlicher und physischer Einschränkungen niemals im realen Leben erfahren bzw. erleben würden, und zwar durch Erzeugen einer Computer-basierten künstlichen Umgebung. Im Gegensatz dazu ist die sogenannte „Augmented Reality“ (erweiterte Realität) ein System, welches sich mit der Kombination von Real-Welt-Bildern und Virtuelle-Welt-Bildern beschäftigt, wie zum Beispiel Computergraphikbilder. Mit anderen Worten, Augmented Reality-Systeme kombinieren eine reale Umgebung mit virtuellen Objekten, wodurch sie in effektiver Weise mit Nutzern in Echtzeit interagieren. Passagiere könnten durch Verwenden von Echtzeit-, Realwelt-, Fahrzeug-Information in einem Augmented Reality-System sowohl für Unterhaltungs- als auch für Lernzwecke profitieren.
  • Dementsprechend ist es wünschenswert, ein „Augmented Reality Game“-System, bzw. Spielesystem mit erweiterter Realität, zur Verwendung in einem Fahrzeug bereitzustellen. Ebenso ist es wünschenswert, ein Augmented Reality Game-System unter Verwendung des Fahrzeuges in einer aktiven Rolle der Augmented Reality für Lern- und Unterhaltungs-Zwecke für die Fahrzeugpassagiere bereitzustellen. Zusätzlich werden weitere wünschenswerte Merkmale und Eigenschaften der vorliegenden Erfindung aus der nachfolgenden Beschreibung in Verbindung mit den begleitenden Zeichnungen und dem vorangegangenen technischen Gebiet und Hintergrund ersichtlich.
  • Zusammenfassung
  • Gemäß einer beispielhaften Ausführungsform wird ein Augmented Virtual Reality-Spiel für ein Fahrzeug bereitgestellt. Ein Verfahren zur Bereitstellung des Augmented Reality-Spieles umfasst ein Empfangen eines Echtzeit-Videobildes während eines Betriebes eines Fahrzeuges von einer auf dem Fahrzeug befestigten Kamera und Zusammenführen des Echtzeit-Videobildes mit einem oder mehreren virtuellen Bildern, um ein Augmented-Reality-Bild bereitzustellen. Das Augmented-Reality-Bild wird dann auf eine Anzeige bzw. Display einer Spielevorrichtung bzw. Spielekonsole während des Betriebes des Fahrzeuges übertragen.
  • Gemäß einer beispielhaften Ausführungsform wird ein Augmented Virtual Reality-Spiel für ein Fahrzeug bereitgestellt. Ein Verfahren zur Bereitstellung des Augmented Reality-Spieles umfasst eine Kamera, welche ein Echtzeit-Videobild bereitstellt, sowie eine mit der Kamera gekoppelte Steuerung. Zusätzlich stellt eine Datenbank der Steuerung eines oder mehrere virtuelle Bilder bereit, so dass die Steuerung ein Augmented-Reality-Bild durch Zusammenführen des Echtzeit-Videobildes mit einem oder mehreren virtuellen Bildern bereitstellen kann. Schließlich ist ein Transmitter bzw. Sende-/Empfangseinheit zum Übermitteln des Augmented-Reality-Bildes auf eine Anzeige bzw. Display einer Spielevorrichtung während des Betriebes des Fahrzeuges mit umfasst.
  • Figurenliste
  • Der erfindungsgemäße Gegenstand wird hiernach in Verbindung mit den folgenden Zeichnungsfiguren beschrieben, wobei gleiche Bezugszeichen gleiche Elemente bedeuten, und:
    • 1 die Betriebsumgebung eines Hauptfahrzeuges zeigt, welches das Augmented-Reality-Spielesystem gemäß beispielhafter Ausführungsformen verwendet;
    • 2 ein alternatives Hauptfahrzeug gemäß beispielhafter Ausführungsformen darstellt;
    • 3 ein funktionelles Blockdiagramm eines Augmented-Reality-Spielesystems gemäß beispielhafter Ausführungsform ist;
    • 4 eine Darstellung einer mobilen Computereinrichtung ist, welche für eine Verwendung mit dem Augmented-Reality-Spielesystem nach beispielhaften Ausführungsformen geeignet ist; und
    • 5 ein Flussdiagramm eines Verfahrens zur Bereitstellung eines Augmented-Reality-Spielesystems nach beispielhaften Ausführungsformen ist.
  • Detaillierte Beschreibung
  • Die folgende detaillierte Beschreibung hat lediglich darstellenden Charakter und soll die Ausführungsformen des Gegenstandes oder die Anwendung und Verwendungen solcher Ausführungsformen nicht beschränken. Wie hierin verwendet, hat das Wort „beispielhaft“ die Bedeutung „als ein Beispiel, Umstand oder Darstellung dienend“. Jede hierin als beispielhaft beschriebene Umsetzung ist nicht notwendigerweise als bevorzugt oder vorteilhaft gegenüber anderen Umsetzungen gedacht. Weiterhin soll es keine Beschränkung durch irgendeine ausdrücklich oder implizit in dem vorangegangenen technischen Gebiet, Hintergrund, kurzen Zusammenfassung oder der folgenden detaillierten Beschreibung dargestellten Theorie geben.
  • Techniken und Technologien können hierin hinsichtlich funktionaler und/oder logischer Blockkomponenten beschrieben werden, und mit Bezug auf symbolische Darstellungen von Betriebsvorgängen, Bearbeitungsschritten und Funktionen, welche durch verschiedene Computerkomponenten oder -Einrichtungen ausgeführt werden können. Solche Betriebsvorgänge, Aufgaben und Funktionen werden manchmal als Computer-ausgeführt, computerisiert, Software-implementiert oder Computerimplementiert bezeichnet. In der Praxis können eine oder mehrere Prozessor-Einrichtungen die beschriebenen Betriebsvorgänge, Aufgaben, und Funktionen durch Manipulieren elektrischer Signale ausführen, welche Datenbits an Speicherorten in dem Systemspeicher darstellen, als auch durch eine andere Bearbeitung der Signale. Die Speicherorte, wo Datenbits abgelegt sind, sind physische Orte, welche bestimmte elektrische, magnetische, optische oder organische Eigenschaften entsprechend der Art der Datenbits aufweisen. Es wird bevorzugt, dass die verschiedenen in den Figuren gezeigten Blockkomponenten durch eine beliebige Anzahl von Hardware-, Software- und/oder Firmware-Komponenten ausgebildet sein können, welche dazu eingerichtet sind, die spezifizierten Funktionen auszuführen. Beispielsweise kann eine Ausführungsform eines Systems oder einer Komponente verschiedene integrierte Schaltkreiskomponenten verwenden, zum Beispiel Speicherelemente, digitale Signalbearbeitungselemente, Logikelemente, Look-Up-Tabellen oder dergleichen, welche eine Vielzahl von Funktionen unter der Steuerung eines oder mehrerer Mikroprozessoren oder anderer Steuereinrichtungen ausführen können.
  • Die folgende Beschreibung bezieht sich auf Elemente oder Knoten oder Merkmale, welche miteinander „verbunden“ bzw. „gekoppelt“ sind. Wie hierin verwendet, es sei denn, es wird ausdrücklich auf sonstige Weise darauf hingewiesen, bedeutet „verbunden“, dass eine Element/Knoten/Merkmal direkt mit einem anderen Element/Knoten/Merkmal verbunden ist (oder in direkter Kommunikation steht), und zwar nicht notwendigerweise in mechanischer Hinsicht. Ebenso bedeutet, es sei denn, dass ausdrücklich auf sonstige Weise darauf hingewiesen wird, „gekoppelt“, dass ein Element/Knoten/Merkmal direkt oder indirekt mit einem anderen Element/Knoten/Merkmal verbunden ist (oder direkt oder indirekt damit in Kommunikation steht), und zwar nicht notwendigerweise in mechanischer Hinsicht. Somit können, obwohl die Zeichnungen eine beispielhafte Ausführungsform von Elementen darstellen, zusätzliche wechselwirkende Elemente, Einrichtungen, Merkmale oder Komponenten in einer Ausführungsform des dargestellten Gegenstandes vorhanden sein.
  • Zusätzlich kann ebenso eine bestimmte Terminologie in der folgenden Beschreibung lediglich zum Zwecke der Bezugnahme verwendet werden, wobei diese Terminologie nicht beschränkend sein soll. Beispielsweise beziehen sich Ausdrücke wie „oberer“, „unterer“, „oben“, und „unten“ auf Richtungen in den Zeichnungen, auf welche Bezug genommen wird. Ausdrücke, wie zum Beispiel „vorne“, „hinten“, „rückwärtig“, „seitlich“, „außen“ und „innen“, beschreiben die Ausrichtung und/oder den Ort von Abschnitten der Komponente innerhalb eines konsistenten, jedoch beliebigen Bezugsrahmens, welcher durch den Textzusammenhang und den entsprechenden Zeichnungen, welche die in Frage stehende Komponente beschreiben, deutlich gemacht wird. Eine solche Terminologie kann die insbesondere oben erwähnten Worte beinhalten, Abstammungen davon und sinngemäße Wörter. Ebenso implizieren die Ausdrücke „erster“, „zweiter“ und weitere solcher numerischen Ausdrücke, welche sich auf Strukturen beziehen, keine Sequenz oder Reihenfolge, es sei denn, es wird eindeutig durch den Zusammenhang darauf hingewiesen.
  • Aus Gründen der Kürze sollen herkömmliche Techniken, welche sich auf drahtlose Datenübertragung, Radar und andere Detektionssysteme, GPS-Systeme, Vektoranalyse, Verkehrsführung und weitere funktionale Aspekte der Systeme (und der individuellen Betriebskomponenten der Systeme) hierin nicht im Detail beschrieben werden. Weiterhin sollen die Verbindungslinien, welche in den hierin enthaltenen verschiedenen Figuren gezeigt sind, beispielhafte funktionale Beziehungen und/oder physische Kopplungen zwischen den verschiedenen Elementen darstellen. Es wird darauf hingewiesen, dass viele alternative oder zusätzliche funktionale Beziehungen oder physische Verbindungen in einer Ausführungsform des Gegenstandes vorhanden sein können.
  • 1 ist eine schematische Darstellung einer beispielhaften Betriebsumgebung für eine Ausführungsform eines Augmented-Reality-Spielesystems, wie es hierin beschrieben ist. In beispielhaften Ausführungsformen umfasst das Augmented-Reality-Spielesystem ein Hauptfahrzeug 10, welches entlang einer Straße 12 fährt. Aus Gründen der Einfachheit und Übersichtlichkeit wird das System hier mit Bezug auf ein Hauptfahrzeug 10 und eine Mehrzahl von benachbarten Fahrzeugen 22, 24, 26, 28 und 30 beschrieben, welche sich in der Nähe des Hauptfahrzeuges 10 befinden. Zum Sammeln von Realwelt-Bildern und -Daten für das Augmented Reality-Spiel umfasst das Hauptfahrzeug 10 ein an Bord befindliches Fahrzeug-zu-Fahrzeug-Positionserkennungssystem, wobei benachbarte Fahrzeuge 22, 24, 26, 28 und 30 kompatible Positionserkennungssysteme haben können, jedoch nicht müssen. Zusätzlich haben einige der benachbarten Fahrzeuge 22, 24, 26, 28 und 30 die Fähigkeit für eine Kommunikation mit dem Hauptfahrzeug 10, welche als Fahrzeug-zu-Fahrzeug (V2V)-Benachrichtigung bzw. -Kommunikation bekannt ist. Das Hauptfahrzeug 10 und die entsprechenden benachbarten Fahrzeuge, welche die Fähigkeit zur Kommunikation untereinander haben, senden periodisch auf drahtlose Weise Nachrichten einander zu, und zwar über ein entsprechendes zwischen den Fahrzeugen bestehendes Kommunikationsnetzwerk, wie zum Beispiel, jedoch nicht darauf beschränkt, ein dediziertes Kurzbereichs-Kommunikationsprotokoll (DSRC), wie es im Stand der Technik bekannt ist. Auf diese Weise kann das Hauptfahrzeug 10 zusätzliche Daten zur Erzeugung virtueller Bilder erhalten, um die Realität der Echtzeit-Bilder des Augmented Reality-Spieles der vorliegenden Offenbarung zu erweitern.
  • Weiterhin mit Bezug auf 1 ist das Hauptfahrzeug 10 ebenso mit Sicht- und Objekterkennungs-Sensier-Einrichtungen ausgestattet. Objekterkennungs-Sensier-Einrichtungen umfassen, jedoch nicht in beschränkender Weise, Radar-basierte Erkennungseinrichtungen, Sicht-basierte Erkennungseinrichtungen und Licht-basierte Erkennungseinrichtungen. Beispiele solcher Einrichtungen können Radar-Detektoren umfassen (zum Beispiel mit langer Reichweite und mit kurzer Reichweite), Kameras und Laser-Einrichtungen (zum Beispiel Licht-Erkennung und Abstands-Messung (LIDAR) oder Laser-Erkennung und Abstandsmessung (LADAR)). Jedes entsprechende Sensier-System detektiert bzw. nimmt ein Bild in dem entsprechenden Gesichtsfeld des Sensors auf. Das Gesichtsfeld hängt von der Richtung ab, in welche die Objekterkennungs-Sensoren gerichtet sind. In diesem Beispiel werden benachbarte Fahrzeuge 22 und 24 durch eine nach vorne gerichtete Kamera detektiert, wobei sich die Objekterkennungssensoren des Hauptfahrzeuges 10 in einem Gesichtsfeld 25 für einen sensierten Bereich vor dem Hauptfahrzeug 10 befinden. In dem dargestellten Beispiel umfasst das benachbarte Fahrzeug 30 ebenso Sicht- und Objekt-Erkennungs-Sensier-Einrichtungen. Daher kann das benachbarte Fahrzeug 30 das benachbarte Fahrzeug 28 unter Verwendung seiner Objekterkennungssensoren detektieren und Bild- und PositionsInformation des benachbarten Fahrzeuges 28 übermitteln (V2V), welche sich nicht im Gesichtsfeld 25 des Hauptfahrzeuges 10 befindet. Als ein Ergebnis kann ein Zusammenführen der Bild- und Objekt-Daten, welche vom benachbarten Fahrzeug 30 detektiert wurden, dem Hauptfahrzeug 10 gestatten, ein „stabileres“ Augmented-Reality-Bild zu bilden, welches das Hauptfahrzeug 10 umgibt. Jedoch werden in der grundsätzlichen Ausführungsform des Augmented-Reality-Spielesystems der vorliegenden Offenbarung lediglich ein nach vorne gerichtetes Kamerabild und einige die virtuelle Realität erweiternde Elemente zum Ausführen eines entsprechenden Spieles von Interesse für die Passagiere benötigt. In einer Ausführungsform umfasst ein Spiel ein lehrhaftes Fahrübungsspiel, wo ein Passagier ein virtuelles Fahrzeug bedient, welches dem Hauptfahrzeug im Verkehr folgt. Spielpunkte können zu einem Spielpunktestand addiert oder von einem Spielpunktestand subtrahiert werden, und zwar abhängig von den Fahrgewohnheiten, welche der spielende Passagier erkennen lässt. Beispielsweise gibt es Punkte für das vorschriftsmäßige Abstandhalten zu einem Fahrzeug, Einhalten der Fahrgeschwindigkeit und vorschriftsmäßigen Spurwechsel, während zu schnelles Fahren, ein Nicht-Anzeigen von Fahrmanövern im Verkehr zu einem Punktabzug führen würden. Alternativ können verschiedene Icons ein sicheres, riskantes oder gefährliches Fahrverhalten dem spielenden Passagier anzeigen. Ein Bereitstellen eines Augmented Reality-Fahrerlebnisses auf Grundlage des Echtzeit-Hauptfahrzeugbetriebes stellt dem spielenden Passagier ein Lebens-nahes Fahrerlebnis zum Zwecke des Lernens und der Unterhaltung bereit. Überdies ist, da der Nutzer (Fahrer) des Hauptfahrzeuges weiß, dass das Augmented Reality-Fahrspiel im Gange ist, der Fahrer motiviert, vorsichtig zu fahren, um für den spielenden Passagier ein Vorbild zu sein.
  • Nunmehr mit Bezug auf 2 ist eine Draufsicht auf eine alternative Ausführungsform des Hauptfahrzeuges 10' dargestellt, wobei eine beispielhafte Sensorerkennungszone 32 für das Hauptfahrzeug 10' gezeigt ist. Zur Darstellung ist die Erkennungszone 32 in vier Unterzonen unterteilt, und zwar entsprechend einer vorderen Sensorzone 32a, einer hinteren Sensorzone 32b, einer Fahrerseiten-Sensorzone 32c und einer Passagierseiten-Sensorzone 32d. Diese Anordnung entspricht Ausführungsformen mit vier Sensoren für das Detektions- und Abstandsmessungssystem, obwohl eine Ausführungsform des Hauptfahrzeuges 10' mehr oder weniger als vier Sensoren umfassen kann. Es wird bevorzugt, dass im Betrieb jede dieser Sensorzonen einem dreidimensionalen Raum entspricht, welcher keine bestimmte Form oder Größe aufweisen muss, wie es in 2 dargestellt ist, wobei diese Sensorzonen einander überlappen können. Überdies kann die spezifische Größe, Gestalt und Reichweite jeder Sensorzone (welche in der Praxis einstellbar ist) derart ausgewählt werden, um sie den Anforderungen der besonderen Anwendung anzupassen und sicherzustellen, dass das Hauptfahrzeug 10' in der Lage sein wird, alle in Frage kommenden benachbarten Fahrzeuge zu detektieren.
  • Nunmehr mit Bezug auf 3 wird ein Funktionsblockdiagramm des Augmented-Reality-Spielesystems zur Verwendung in einem Hauptfahrzeug 10 dargestellt, welches eine Mehrzahl an Sensier-Systemen 34 zum Bereitstellen einer Vielzahl von auf die Umgebungen des Fahrzeugs bezogenen Daten umfasst. Signale und Daten von den Sensier-Systemen werden einer computerbasierten Steuereinheit 36 bereitgestellt. Die Steuereinheit 36 kann einzelne oder mehrfache Steuerungen umfassen, welche unabhängig voneinander oder zusammen oder als ein Netzwerk arbeiten, und umfassen solche gemeinsamen Elemente, wie zum Beispiel einen Mikroprozessor, einen Read-Only-Speicher ROM, einen Random-Access-Speicher RAM, einen elektrisch programmierbaren Read-Only-Speicher EPROM, einen Hochgeschwindigkeitszeitnehmer, Analog-zu-Digital (A/D) und Digital-zu-Analog (D/A)-Schaltkreise sowie Eingangs-/Ausgangs-Schaltkreise und -Einrichtungen (I/0) und geeignete Signalbearbeitungs- und Puffer-Schaltkreise. Ebenso kann die Steuereinheit 36 einer Fahrzeug-Dynamikdaten-Bearbeitungseinheit zugeordnet sein, einschließlich beispielsweise Echtzeitdaten hinsichtlich einer Fahrzeuggeschwindigkeit, Beschleunigung/Verzögerung, Gier-Rate, Lenkradposition, Bremspedal- und Drosselklappenposition und die Getriebestellung des Fahrzeuges. Schließlich sind in der Steuereinheit 36 in der Form von einem computerausführbaren Programmcode, Algorithmen zum Ausführen von Schritten, Vorgänge und Verfahren bezogen auf das Augmented-Reality-Spielesystem der beispielhaften Ausführungsformen der vorliegenden Offenbarung gespeichert.
  • In Fortführung der Beschreibung der verschiedenen Systeme des Hauptfahrzeuges 10 umfasst ein erstes und grundlegendes Sensier-System ein Abbildungssystem 38 mit einer oder mehreren Videokameras oder einer weiteren ähnlichen Abbildungsvorrichtung, einschließlich beispielsweise Infrarot- und Nachtsicht-Systeme, oder zusammenwirkende Kombinationen davon für eine Echtzeit-Objekterkennung. Allgemein wird wenigstens eine nach vorwärts gerichtete Kamera verwendet, welche dem spielenden Passagier eine Darstellung aus der Sicht des Fahrers zum Spielen des Fahrunterrichtsspieles bietet. Jedoch können andere Kamerapositionen verwendet werden, um dem spielenden Passagier die Möglichkeit zu geben, die Ansicht des virtuellen Fahrzeuges des Augmented Reality-Fahrspieles zu ändern.
  • Wie hierin verwendet, umfasst der Ausdruck „Abbildungssystem“ beispielsweise einer Abbildungsvorrichtung, wie zum Beispiel Videokameras, Infrarot- und Nachtsicht-Systeme. Beispielhafte Abbildungshardware umfasst eine Schwarz-/Weiß- bzw. Farb-CMOS- oder CCD-Videokamera und eine Analog-zu-Digital-Umwandler-Schaltkreisanordnung, oder das gleiche Kamerasystem mit einer digitalen Datenschnittstelle. Eine solche Kamera ist an geeigneter Stelle für die gewünschte Ansicht befestigt, welche vorzugsweise eine Frontalansicht (das heißt, nach vorne gerichtet) umfasst, und welche weiterhin eine rückwärtige und im Allgemeinen zu den Seiten gerichtete Ansicht umfasst (siehe 2). Mehrere Kameras sind ideal zur Bereitstellung eines weitgehendst unterschiedlichen Augmented-Reality-Spieles, und zwar dahingehend, dass eine volle 360°-Ansicht für den spielenden Passagier aufgenommen und angezeigt werden kann. Daher wird bevorzugt, dass mehrere Positionssensoren an verschiedenen unterschiedlichen Stellen entlang des Umfangs des Hauptfahrzeuges 10 angebracht sind, um das Aufnehmen von Bildern in jede Richtung zu ermöglichen. Alternativ wird bevorzugt, dass eine partielle Umfangsabdeckung (oder lediglich eine nach vorwärts gerichtete Sicht) völlig akzeptabel ist und in der Tat hinsichtlich Kosten-/Preis-Leistungsverhältnis aus der Sicht des Fahrzeugherstellers bevorzugt werden kann. In einigen Ausführungsformen umfasst das Abbildungssystem eine Objekt-Erkennungsfunktionalität, einschließlich beispielsweise: Straßenmerkmalserkennung, wie zum Beispiel Fahrspurmarkierungen, Seitenstreifenmarkierungen, Überholspurmarkierungen oder Kreuzungsmarkierungen, Rampen und dergleichen; allgemeine Straßenobjekterkennung für Signalschilder; und Erkennen von Fahrzeugen, wie zum Beispiel Passagierfahrzeuge, Lastwagen und andere einigermaßen wahrnehmbare Fahrzeuge, welche sich die Straße mit dem Hauptfahrzeug 10 teilen. Solche Sensier-Systeme sind bei der Bereitstellung einer Objekterkennung wirkungsvoll, insbesondere in Bezug auf eine Azimut-Position und, mit entsprechendem Training, eine deterministische Objekterkennung. Ebenso sind Abbildungsbearbeitungssysteme mit einer einzelnen Kamera bekannt, welche einen Abstand bzw. eine Abstandsänderung von Objekten zusätzlich zu einer Winkelposition abschätzen können. Stereo-Abbildungssysteme sind in der Lage, in genauer Weise den Abstand von Objekten zu bestimmen und können ebenso eine Abstandsänderungsinformation berechnen. Farbkamerasysteme bestimmen die Farbe der Objekte/Fahrzeuge im Gesichtsfeld, und können zur Erzeugung virtueller Objekte in entsprechenden Farben verwendet werden, wenn sie auf dem Augmented-Spielesystem dargestellt werden.
  • Ein weiteres Sensier-System, welches für eine Verwendung mit einem Augmented-Reality-Spielesystem geeignet ist, umfasst ein oder mehrere Radar-basierte, Sonar-basierte oder Laser-basierte Systeme 40 für eine Echtzeit-Objekterkennung und Ermittlung von Abstands-/Abstandsänderung-/Winkelpositions-Information. Wie hierin verwendet, umfasst der Ausdruck „Abstandssystem“ beispielsweise jedes anpassbare Erkennungs- und Abstands-System, einschließlich beispielsweise Radar-basierte, Sonar-basierte oder Laser-basierte Systeme (zum Beispiel Lichtdetektion und Abstandsmessung (LIDAR) oder Laserdetektion und Abstandsmessung (LADAR)). Obwohl andere herkömmliche Arten von Sensoren verwendet werden können, verwendet Sensier-System 40 vorzugsweise entweder einen elektromagnetischen Radar-Typ-Sensor, einen Laser-Radar-Typ-Sensor oder einen gepulsten Infrarot-Laserartigen-Sensor. Der Sensor bzw. das Sensor-Array ist vorzugsweise an oder nahe dem Umfang (zum Beispiel Front) des Fahrzeuges angeordnet, um ein optimales Sichtlinien-Positions-Sensieren (25 in 1) zu ermöglichen, wenn ein Objekt in einen Sensier-Bereich und Bereich des in Frage stehenden Fahrzeugumfanges kommt. Wiederum ist es ideal für ein optimales Spiel-Erlebnis, die möglichst unterschiedliche situationsbedingte Wahrnehmung in einem vollen 360°-Gesichtsfeld zu haben (siehe 2). Daher soll davon ausgegangen werden, dass mehrere Positionssensoren an verschiedenen unterschiedlichen Stellen und Ausrichtungen entlang des Umfanges des Fahrzeuges angeordnet sein können, um dadurch ein Sensieren von Objekten, ihrer Abstände, Abstandsraten und Winkelpositionen in bzw. aus jeder beliebigen Richtung zu ermöglichen. Es wird jedoch davon ausgegangen, dass eine teilweise Umfangs-Abdeckung völlig akzeptierbar ist und in der Tat hinsichtlich Kosten-/Preis-Leistungsverhältnis aus der Sicht des Fahrzeugherstellers bei der Umsetzung von Produktionssystemen bevorzugt werden kann.
  • Ein weiteres Sensier-System, welches für ein Bereitstellen von Daten für ein Augmented-Reality-Spielesystem nützlich ist, umfasst ein globales Positioniersystem (GPS). Ein GPS-System umfasst typischerweise einen globalen Positionier-Empfänger 42 und eine GPS-Datenbank 44, welche detaillierte Straßen- und Autobahn-Karteninformation in der Form von digitalen Kartendaten enthält. Das GPS (42 und 44) versetzt eine Steuerung 36 in die Lage, Echtzeit-Fahrzeugpositionsdaten von GPS-Satelliten in der Form von Längs- und Breitengrad-Koordinaten zu erhalten. Die Datenbank 42 stellt detaillierte Information bezüglich Straßen und Fahrspuren bereit, Identität und Position verschiedener Objekte oder Landschaftsmerkmale, welche entlang oder in der Nähe von Straßen und topologischen Daten positioniert sind. Einige dieser Datenbankobjekte können beispielsweise Zeichenschilder, Pfosten, Hydranten, Schranken, Brücken, Brückenpfeiler und Überholspuren umfassen. Zusätzlich ist die von dem GPS 42 verwendete Datenbank 44 auf einfache Weise über Fernübertragungen (zum Beispiel über Mobilfunknetzwerke, direkte Satellitenverbindungsnetzwerke oder andere Telematik-Netzwerke) von einem GPS-Kundendienstcenter auf einfache Weise aktualisierbar, so dass auch detaillierte Information hinsichtlich sowohl der Identität als auch Position von selbst zeitlich begrenzten Zeichenschildern oder Absperrungen abrufbar sind, welche während kurzer Perioden von Straßenbauarbeiten eingerichtet sind. Ein Beispiel eines solchen Kundendienstcenters umfasst ein Telematik-Service-System (nicht dargestellt). Solche Sensier-Systeme sind für eine Erzeugung von Straßenbildern und festen Strukturen auf oder in der Nähe von der Straße und ein Überlagern derselben bezogen auf die in Frage stehende Fahrzeugposition nützlich. Das GPS 42 wird ebenso für seine Verwendbarkeit hinsichtlich Fahrbedingungen mit reduzierter Sicht aufgrund von Wetter bzw. Umgebungshelligkeit bevorzugt, welche eine abträgliche Wirkung auf andere Sensier-Systeme haben können.
  • Ein weiteres Sensiersystem, welche ein zuverlässigeres Spielerlebnis ermöglicht, umfasst ein Fahrzeug-zu-Fahrzeug (V2V) und Straßendienst-zu-Fahrzeug (R2V)-Kommunikationssystem 46. Das Kommunikationssystem 46 kommuniziert mit anderen Fahrzeugen (beispielsweise entfernten Fahrzeugen 22, 24, 26, 28 und 30 in 1 mit entsprechenden Kommunikationsmöglichkeiten) innerhalb eines begrenzten Bereiches bzw. Gebietes. Solche Systeme dürften besser als dedizierte Kurzbereich-Kommunikations- (DSRC)-Systeme bekannt sein. Auf diese Weise können sowohl das Hauptfahrzeug als auch die entfernt angeordneten Fahrzeuge entsprechende Fahrzeugdaten übermitteln und empfangen, einschließlich Größendaten, Fahrzeugdynamikdaten (zum Beispiel Geschwindigkeit, Beschleunigung, Gier-Rate, Lenkradeinschlag/Radeinschlag, Zustand/Position des Bremspedalschalters usw.) und Positionsdaten zu- und voneinander über ihre entsprechenden Kommunikationssysteme übermitteln und empfangen.
  • Die Kommunikationssysteme 46 können ebenso mit Straßendienst-zu-Fahrzeug-Kommunikationssystemen kommunizieren. Solche Systeme stellen Daten bereit, wie zum Beispiel aufkommende Verkehrsbedingungen, Straßenbauarbeiten, Unfälle, Straßenbehinderungen oder Umleitungen. Zusätzlich kann eine Information, wie zum Beispiel die momentane und bevorstehende Geschwindigkeitsbegrenzung, befahrbare oder nicht-befahrbare Gebiete und andere Information, welche typischerweise durch Straßenzeichenschilder bereitgestellt wird, lokal für vorbeifahrende Fahrzeuge übermittelt werden, um die Information zu empfangen und weiter zu bearbeiten.
  • Die durch die Radar-basierten, Sonar-basierten oder Laserbasierten Systeme 40 bereitgestellten Daten und das V2V- und R2V-Kommunikationssystem 46 werden von einer virtuellen Bild-(Icon)-Datenbank 48 für die Bereitstellung von virtuellen Bildern (zum Beispiel Icons, Avatars) für eine Eingliederung in das durch die Kamera 38 bereitgestellte Live-Videobild bearbeitet. Ein Zusammenführen des Live-Bildes mit virtuellen Bildern stellt das Augmented-Reality-Bild für das Augmented-Reality-Spielesystem der vorliegenden Offenbarung bereit. Wie hierin verwendet, ist ein „Augmented-Reality-Bild“ eine Zusammenführung eines Live-Videobildes mit virtuellen Bildern (zum Beispiel Icons), welche ein simuliertes Modell der vorausliegenden Umgebung oder allgemein der Umgebung des Hauptfahrzeuges bildet. Im Allgemeinen kann ein Augmented-Reality-Bild Vektorberechnungen für jedes Fahrzeug von Interesse innerhalb des in Frage stehenden Gebietes umfassen, wobei ein Vektor für ein Fahrzeug die momentane Fahrtrichtung, die Position bzw. den Ort, die Geschwindigkeit und die Beschleunigung/Verzögerung des Fahrzeuges definiert. Ein Augmented-Reality-Bild kann ebenso projizierte, vorhergesagte oder extrapolierte Eigenschaften für entfernte Fahrzeuge umfassen, welche von dem Fahrzeug-zu-Fahrzeug-Kommunikationssystem 46 empfangen wurden, um die Fahrtrichtung, Position, Geschwindigkeit und möglicherweise andere Parameter eines oder mehrerer entfernter Fahrzeuge zu irgendeiner Zeit in der Zukunft vorherzusagen bzw. zu antizipieren. In bestimmten Ausführungsformen kann ein Augmented-Reality-Bild Information über das Hauptfahrzeug selber und über die Umgebung enthalten, in welcher sich das Hauptfahrzeug befindet, einschließlich, jedoch ohne Beschränkung, datenbezogen auf: die umgebende Landschaft bzw. das Straßenbild; die Straße, Schnellstraße oder Autobahn, auf welcher das Hauptfahrzeug fährt (zum Beispiel Navigations- oder Kartendaten); Fahrspurinformation; Geschwindigkeitsbegrenzungen für die Straßen, Schnellstraße oder Autobahn, auf welcher das Hauptfahrzeug fährt; und weitere Objekte in dem betreffenden Gebiet, wie zum Beispiel Bäume, Gebäude, Zeichen, Leuchteinrichtungen usw.
  • Dementsprechend werden das Live-Videobild 50, das bzw. die virtuellen Bilder 52 und die GPS-Daten (zum Beispiel Fahrzeug-Kompassrichtung, lokale Einrichtungen) der Steuerung 36 bereitgestellt, welche ein Zusammenführungsmodul 56 enthält, welches die Daten und Information zusammenführt, um das Augmented-Reality-Bild zu erzeugen. Das heißt, die Mehrzahl an gesammelten Daten von den verschiedenen Sensoren 34 werden in ein einzelnes Gesamtbild zusammengeführt, welches ein zusammengeführtes Echtzeit (oder Fast-Echtzeit) Augmented-Reality-Bild für das Augmented-Reality-Spielesystem der vorliegenden Offenbarung bereitstellt. Optional kann eine Echtzeit-Fahrzeuginformation 58 (zum Beispiel momentane Geschwindigkeit) ebenso in das Augmented-Reality-Bild eingefügt werden, um Zusatzinformation für den spielenden Passagier bereitzustellen.
  • So wie das Augmented-Reality-Bild erzeugt worden ist, wird das Augmented-Reality-Bild in Echtzeit (oder so gut wie Echtzeit aufgrund einer gewissen Bearbeitungszeit durch die Steuerung) für den spielenden Passagier entweder über eine im Fahrzeug befindliche verdrahtete Verbindung 60 (zum Beispiel ein innerhalb des Fahrzeuges befindlicher Datenbus) oder über eine Drahtlos-Verbindung 62 auf einem Display 64 bereitgestellt. In einer verdrahteten Ausführungsform kann das Display 64 in die Rückseite eines Sitzes vor dem Passagier oder in ein herausklappbares oder herabschwenkbares Überkopf-Videodisplaysystem (nicht dargestellt) eingebaut sein. In einer Drahtlos-Ausführungsform kann das Display 64 ein beliebiger mobiler Laptoprechner oder Tablet-Computer (zum Beispiel ein iPad® von Apple®) oder ein tragbares dediziertes Spielesystem sein. In einer alternativen oder zusätzlichen Ausführungsform kann das Augmented-Reality-Bild zu einem entfernt befindlichen Spieler über ein Kommunikationssystem 66 mit einer hohen Bandbreite und geringer Verzögerung übermittelt werden, wie zum Beispiel ein Mobilfunkkommunikationssystem einer dritten Generation (3G) oder vierten Generation (4G). Auf diese Weise kann ein entfernt befindlicher Spieler (zum Beispiel zu Hause) entlang der von dem Fahrer des Hauptfahrzeuges gefahrenen Route folgen und ebenso das Augmented-Reality-Spiel spielen. Spielesteuerungen für ein interaktives Spiel können von dem spielenden Passagier (oder dem entfernt befindlichen Spieler) über eine herkömmliche Spielekonsole (ein Touchscreen-Display oder eine andere Spieleingabeeinrichtung) eingegeben werden.
  • 4 zeigt einen beispielhaften mobilen Tablet-Computer 400, welcher dazu geeignet ist, dass ein Passagier das Augmented-Reality-Spiel der vorliegenden Offenbarung spielen kann. Typischerweise umfasst ein mobiler Tablet-Computer 400 ein Gehäuse 402 und eine Displayfläche 404. Während des Spieles ist für den Bildschirm 404 eine Live-Kamera-Fläche 406 bereitgestellt, in welche verschiedene virtuelle Bilder (Icons) 416 zusammengeführt werden können. In einigen Ausführungsformen ist ein Abschnitt 408 des Displays 404 (zum Beispiel ein virtuelles Armaturenbrett) für eine Spielinformation reserviert, wie zum Beispiel Spielstand 410, ein virtueller Rückspiegel (unter der Annahme, dass eine nach hinten gerichtete Kamera im Hauptfahrzeug vorhanden ist) oder weitere Spielinformation 414 (beispielsweise einen Hinweis darauf, ob der Spieler ein sicheres, rücksichtsloses oder gefährliches Fahrverhalten aufzeigt). Die Icons 416 können beliebige von den Sensoren (34 aus 3) erhaltene Information darstellen, einschließlich eines Icons bzw. Avatars (d.h. eine virtuelle Figur), welcher das von dem Spieler gefahrene virtuelle Fahrzeug darstellt. Um das Avatar-Fahrzeug des Spielers zu steuern, kann der Tablet-Computer 400 Beschleunigungsmesser (nicht dargestellt) umfassen, welche ein Lenken durch Drehen des Tablet-Computers 400 nach rechts (418) oder links (420) bereitstellen. Eine Beschleunigung kann durch ein leichtes Kippen (422) weg vom Spieler gesteuert werden, während eine Verzögerung durch ein entgegengesetzt gerichtetes Kippen (424) hin zu dem Spieler gesteuert werden kann. Abbiegen oder Fahrspurwechsel können durch Knöpfe oder berührungsempfindliche Sensoren 426 und 428 erzeugt werden, um jeweils ein nach rechts oder links gerichtetes Manöver anzudeuten.
  • In einer Ausführungsform ist das Augmented-Reality-Spiel als ein Fahrunterrichts-Lernspiel ausgeführt, wo ein Passagier ein virtuelles Fahrzeug bedient, welches dem Hauptfahrzeug im Verkehr folgt. Spielpunkte können zu dem Spielstand (410) hinzuaddiert bzw. davon abgezogen werden, und zwar in Abhängigkeit von dem durch den spielenden Passagier aufgezeigten Fahrverhalten. Beispielsweise werden Punkte für ordnungsgemäßes Abstandhalten zu einem Fahrzeug, Fahrgeschwindigkeit und Fahrspurwechsel zu dem Punktestand hinzuaddiert, während zu schnelles Fahren, ein Nicht-Anzeigen von Fahrmanövern oder ein beliebiges Hin- und Herfahren im Verkehr einen Punktabzug zur Folge hätte. Alternativ können verschiedene Icons (414) sichere, risikohafte oder gefährliche Fahreigenschaften dem spielenden Passagier anzeigen. Ein Bereitstellen eines Augmented-Reality-Fahrerlebnisses aufgrund des Echtzeit-Hauptfahrzeuges-Betriebes vermittelt dem spielenden Passagier ein lebensechtes Fahrerlebnis zum Lernen bzw. zur Unterhaltung. Überdies, da der Fahrer des Hauptfahrzeuges weiß, dass das Augmented-Reality-Fahrspiel gerade abläuft, ist der Fahrer motiviert, in sicherer Weise zu fahren, um für den spielenden Passagier ein gutes Vorbild zu sein.
  • Nunmehr mit Bezug auf 5 wird ein Flussdiagramm gezeigt, welches ein Verfahren 500 zur Bereitstellung eines Augmented-Reality-Spielesystems zeigt. Die verschiedenen in Verbindung mit dem Verfahren 500 aus 5 ausgeführten Schritte können durch Software, Hardware, Firmware oder einer beliebigen Kombination davon ausgeführt werden. Zum Zwecke der Darstellung kann sich die folgende Beschreibung des Verfahrens aus 5 auf oben in Verbindung mit 1 bis 4 erwähnte Elemente beziehen. In der Praxis können Abschnitte des Verfahrens aus 5 durch verschiedene Elemente des beschriebenen Systems ausgeführt werden. Es wird ebenso bevorzugt, dass das Verfahren aus 5 eine beliebige Anzahl von zusätzlichen oder alternativen Aufgaben enthalten kann und dass das Verfahren aus 5 in eine umfassendere Prozedur bzw. Verfahren mit zusätzlicher hier nicht im Detail beschriebener Funktionalität eingegliedert sein kann. Überdies können eine oder mehrere der in 5 dargestellten Aufgaben bzw. Schritte von einer Ausführungsform des Verfahrens aus 5 weggelassen werden, solange die beabsichtigte Gesamtfunktionalität erhalten bleibt.
  • Das Verfahren 500 beginnt bei Schritt 502, wo das Echtzeit-Videobild (50 in 3) für eine Zusammenführung (Fusion) mit in Schritt 504 bereitgestellten virtuellen Bildern aufgenommen wird. Wie oben erwähnt, können die virtuellen Bilder von einer Datenbank (48 in 3) oder von GPS-Daten (54 in 3) oder weiteren Informationsquellen kommen. Als Nächstes können in Schritt 506 den Betrieb des Hauptfahrzeuges betreffende Daten (58 in 3) für eine Zusammenführung mit dem Echtzeit-Videobild und den virtuellen Bildern gesammelt werden. Entscheidungsschritt 508 bestimmt, ob zusätzliche Information bzw. Daten erhältlich sind, wie zum Beispiel von V2V- oder R2V-Quellen (zum Beispiel vom Kommunikationssystem 46 in 3). Falls ja, enthält Schritt 510 solche Information bzw. Daten, welche mit anderen Informationen zusammengeführt werden. Weiterhin fährt das Verfahren zu Schritt 512 fort, welches das Echtzeit-Videobild mit allen anderen virtuellen Bildern und Daten zusammenfügt. Das nunmehr erzeugte Augmented-Reality-Bild wird an den Spieler übermittelt (60, 62 oder 66 in 3). Schließlich wird in Schritt 516 eine Spielereingabe während des Spieles angenommen.
  • Dementsprechend wird ein Augmented-Reality-Spielesystem für ein Fahrzeug bereitgestellt, welches dem spielenden Passagier ein lebensechtes Fahrerlebnis zum Lernen bzw. zur Unterhaltung bereitstellt. Überdies, da der Fahrer des Hauptfahrzeuges weiß, dass das Augmented-Reality-Fahrspiel gerade abläuft, ist der Fahrer motiviert, auf sichere Weise zu fahren, um für den spielenden Passagier ein gutes Vorbild zu sein.
  • Während wenigstens eine beispielhafte Ausführungsform in der vorangegangenen detaillierten Beschreibung dargestellt worden ist, wird bevorzugt, dass eine große Anzahl von Variationen existiert. Es wird ebenso bevorzugt, dass die beispielhafte Ausführungsform oder Ausführungsformen lediglich Beispiele sind, und den Umfang, die Anwendbarkeit oder Konfiguration der Offenbarung in keinster Weise beschränken sollen. Vielmehr soll die vorangegangene detaillierte Beschreibung dem Fachmann eine nützliche Anleitung zur Umsetzung der beispielhaften Ausführungsform bzw. Ausführungsformen bereitstellen. Es wird davon ausgegangen, dass verschiedene Änderungen hinsichtlich Funktion und Anordnung der Elemente vorgenommen werden können, ohne den wie in den beigefügten Ansprüchen definierten Umfang der Offenbarung und der rechtlichen Äquivalente davon zu verlassen.
  • Weitere Ausführungsformen
    1. 1. Verfahren, umfassend:
      • Empfangen eines Echtzeit-Videobildes während eines Betriebes eines Fahrzeuges von einer auf dem Fahrzeug montierten Kamera;
      • Zusammenführen der Echtzeit-Videobild-FahrzeugBetriebsdaten von einem oder mehreren virtuellen Bildern, um ein erweitertes Real-Bild bereitzustellen; und
      • Übertragen des erweiterten Real-Bildes während des Betriebes des Fahrzeuges.
    2. 2. Verfahren nach Ausführungsform 1, wobei das Übermitteln weiterhin ein Übermitteln des erweiterten Real-Bildes auf eine innerhalb des Fahrzeuges befestigte Anzeige umfasst.
    3. 3. Verfahren nach Ausführungsform 1, wobei das Übermitteln weiterhin ein Übermitteln des Augmented-Reality-Bildes auf ein Display eines mobilen Computers oder Spielesystems während des Betriebs im Fahrzeug umfasst.
    4. 4. Verfahren nach Ausführungsform 1, wobei das Übermitteln weiterhin ein Übermitteln des Augmented-Reality-Bildes auf ein Display eines mobilen Computers oder Spielesystems während des Betriebs des Fahrzeugs umfasst.
    5. 5. Verfahren nach Ausführungsform 1, wobei die Fahrzeugbetriebsdaten wenigstens eine der folgenden Gruppen umfassen: Fahrzeuggeschwindigkeit, Fahrzeugrichtung; oder Fahrzeugbeschleunigung.
    6. 6. Verfahren nach Ausführungsform 1, weiterhin umfassend:
      • Empfangen von Daten von einem Radar- oder Sonar-System während eines Betriebes des Fahrzeuges; und
      • Zusammenführen wenigstens eines Abschnitts der Daten mit dem Echtzeit-Videobild und dem einen oder den mehreren virtuellen Bildern, um das Augmented-Reality-Bild bereitzustellen.
    7. 7. Verfahren nach Ausführungsform 1, weiterhin umfassend:
      • Empfangen von globalen Positionierdaten während des Betriebs des Fahrzeugs; und
      • Zusammenführen wenigstens eines Abschnitts der globalen Positionierdaten mit dem Echtzeit-Videobild und dem einen oder den mehreren virtuellen Bildern, um das Augmented-Reality-Bild bereitzustellen.
    8. 8. Verfahren nach Ausführungsform 1, weiterhin umfassend:
      • Empfangen von Information von einer Straßendienst-Informationsquelle während des Betriebs des Fahrzeugs; und
      • Zusammenführen wenigstens eines Abschnitts der Information mit dem Echtzeit-Videobild und dem einen oder den mehreren virtuellen Bildern, um das Augmented-Reality-Bild bereitzustellen.
    9. 9. Verfahren nach Ausführungsform 1, weiterhin umfassend:
      • Empfangen eines zweiten Echtzeit-Videobildes von einem anderen Fahrzeug; und
      • Zusammenführen wenigstens eines Abschnitts des zweiten Echtzeit-Videobildes mit dem Augmented-Reality-Bild vor der Übertragung.
    10. 10. Verfahren nach Ausführungsform 1, weiterhin umfassend:
      • Empfangen von Information von einem anderen Fahrzeug während eines Betriebes des Fahrzeuges, wobei die Information von wenigstens einer der folgenden Gruppe von Informationsquellen stammt: Echtzeit-Video; Radar; Laser; Sonar; GPS; oder Straßendienst-Informationen; und
      • Zusammenfassen wenigstens eines Abschnittes der Information mit dem Echtzeit-Videobild und dem einen oder mehreren virtuellen Bildern, um das erweiterte Real-Bild bereitzustellen.
    11. 11. Verfahren, umfassend:
      • Empfangen eines Echtzeit-Videobildes während eines Betriebes eines Fahrzeuges von einer auf dem Fahrzeug befestigten Kamera;
      • Empfangen von Information von einer anderen Informationsquelle während eines Betriebes des Fahrzeuges, wobei die Information von wenigstens einer der folgenden Gruppe von Informationsquellen stammt: Radar; Laser; Sonar; GPS; oder Straßendienstinformation;
      • Erzeugen eines oder mehrerer virtueller Bilder unter Verwendung der Information;
      • Zusammenfassen des Echtzeit-Videobildes mit einem oder mehreren virtuellen Bildern, um ein erweitertes Reality-Spiel-Bild bereitzustellen; und
      • Übermitteln des erweiterten Reality-Spiel-Bildes während des Betriebes des Fahrzeuges.
    12. 12. Verfahren nach Ausführungsform 11, wobei das Übermitteln weiterhin ein Übermitteln des erweiterten Reality-Spiel-Bildes auf eine Anzeige eines mobilen Computers oder eines Spielesystems umfasst, welche in dem Fahrzeug betreibbar sind.
    13. 13. Verfahren nach Ausführungsform 12, weiterhin umfassend Empfangen von Anweisungen für das erweiterte Reality-Spiel-Bild von dem in dem Fahrzeug betreibbaren Computer oder Spiel-System.
    14. 14. Verfahren nach Ausführungsform 13, weiterhin umfassend ein Einfügen eines Spielstandes in das erweiterte Reality-Spiel-Bild vor Übermitteln des erweiterten Reality-Spiel-Bildes auf die Anzeige des innerhalb des Fahrzeuges betreibbaren mobilen Computers oder Spiele-Systems.
    15. 15. Verfahren nach Ausführungsform 11, weiterhin umfassend:
      • Empfangen von Fahrzeugbetriebsdaten während des Betriebes des Fahrzeuges; und
      • Zusammenführen wenigstens eines Abschnitts der Fahrzeugbetriebsdaten mit dem Echtzeit-Videobild und dem einen oder den mehreren virtuellen Bildern, um das Augmented-Reality-Bild bereitzustellen.
    16. 16. Fahrzeug, umfassend: Eine Kamera, welche ein Echtzeit-Videobild bereitstellt;
      • eine Steuerung, welche mit der Kamera gekoppelt ist und mit einer Datenbank, welche eines oder mehrere virtuelle Bilder aufweist und dazu eingerichtet ist, durch Zusammenführen von Fahrzeugbetriebsdaten mit dem Echtzeit-Videobild und dem einen oder den mehreren virtuellen Bildern ein erweitertes Reality-Bild bereitzustellen; und
      • einen Transmitter zum Übermitteln des erweiterten Reality-Bildes während des Betriebes des Fahrzeuges.
    17. 17. Fahrzeug nach Ausführungsform 16, wobei die Steuerung ebenso mit wenigstens einer der folgenden Gruppe von Informationsquellen gekoppelt ist: Radar; Laser; Sonar; GPS; oder Straßendienstinformation.
    18. 18. Fahrzeug nach Ausführungsform 16, wobei die Steuerung von der wenigstens einen Quelle von der Gruppe von Informationsquellen bereitgestellte Information bearbeitet, um das eine oder die mehreren virtuellen Bilder bereitzustellen.
    19. 19. Fahrzeug nach Ausführungsform 16, wobei der Transmitter das Augmented-Reality-Bild auf ein innerhalb des Fahrzeuges befestigtes Display überträgt.
    20. 20. Fahrzeug nach Ausführungsform 16, wobei der Transmitter das Augmented-Reality-Bild auf ein Display eines innerhalb des Fahrzeuges betriebenen mobilen Computers oder Spielesystem überträgt.

Claims (10)

  1. Verfahren, umfassend: Empfangen eines Live-Videobildes, das während eines Betriebes eines Fahrzeuges von einer auf dem Fahrzeug montierten Kamera in Echtzeit bereitgestellt wird; Empfangen von Informationen eines weiteren Fahrzeugs; Vorhersagen einer Eigenschaft des weiteren Fahrzeugs für einen Zeitpunkt in der Zukunft unter Verwendung der empfangenen Information des weiteren Fahrzeugs; Zusammenführen des Live-Videobilds, FahrzeugBetriebsdaten, der Informationen eines weiteren Fahrzeugs und eines oder mehrerer virtuellen Bildern, um ein erweitertes Reality-Bild bereitzustellen, wobei das erweitere Reality-Bild die vorhergesagte Eigenschaft des weiteren Fahrzeugs umfasst; und Übertragen des erweiterten Reality-Bildes während des Betriebes des Fahrzeuges.
  2. Verfahren nach Anspruch 1, wobei das Übermitteln weiterhin ein Übermitteln des erweiterten Reality-Bildes auf eine innerhalb des Fahrzeuges befestigte Anzeige umfasst und/oder auf eine Anzeige eines mobilen Computers oder innerhalb des Fahrzeuges betreibbaren Spielesystems und/oder auf eine Anzeige eines mobilen Computers oder entfernt von dem Fahrzeug betreibbaren Spielesystems.
  3. Verfahren nach Anspruch 1 oder 2, wobei die Fahrzeugbetriebsdaten wenigstens eine der folgenden Gruppen umfassen: Fahrzeuggeschwindigkeit, Fahrzeugrichtung; oder Fahrzeugbeschleunigung.
  4. Verfahren nach einem der Ansprüche 1 bis 3, weiterhin umfassend: Empfangen von Daten von einem Radar- oder Sonar-System während eines Betriebes des Fahrzeuges; und/oder Empfangen von globalen Positionierdaten während eines Betriebes des Fahrzeuges; und/oder Empfangen von Information von einer Straßendienst während eines Betriebes des Fahrzeuges; und/oder Empfangen eines zweiten Echtzeit-Videobildes von einem anderen Fahrzeug; und/oder Empfangen von Information von einem anderen Fahrzeug während eines Betriebes des Fahrzeuges, wobei die Information von wenigstens einer der folgenden Gruppe von Informationsquellen stammt: Echtzeit-Video; Radar; Laser; Sonar; GPS; oder Straßendienst-Informationen; und Zusammenfassen wenigstens eines Abschnittes der Information mit dem Live-Videobild und dem einen oder mehreren virtuellen Bildern, um das erweiterte Reality-Bild bereitzustellen.
  5. Verfahren, umfassend: Empfangen eines Live-Videobildes, das während eines Betriebes eines Fahrzeuges von einer auf dem Fahrzeug befestigten Kamera bereitgestellt wird; Empfangen von Information von einer anderen Informationsquelle während eines Betriebes des Fahrzeuges, wobei die Information von wenigstens einer der folgenden Gruppe von Informationsquellen stammt: Radar; Laser; Sonar; GPS; oder Straßendienstinformation; Erzeugen eines oder mehrerer virtueller Bilder unter Verwendung der Information; Empfangen von Fahrzeugbetriebsdaten; Empfangen von Informationen eines weiteren Fahrzeugs; Vorhersagen einer Eigenschaft des weiteren Fahrzeugs für einen Zeitpunkt in der Zukunft unter Verwendung der empfangenen Information des weiteren Fahrzeugs; Zusammenfassen des Live-Videobildes mit einem oder mehreren virtuellen Bildern, den Fahrzeugbetriebsdaten und den Informationen eines weiteren Fahrzeugs, um ein erweitertes Reality-Bild bereitzustellen, wobei das erweitere Reality-Bild die vorhergesagte Eigenschaft des weiteren Fahrzeugs umfasst; und Übermitteln des erweiterten Reality-Bildes während des Betriebes des Fahrzeuges.
  6. Verfahren nach Anspruch 5, wobei das Übermitteln weiterhin ein Übermitteln des erweiterten Reality-Bildes auf eine Anzeige eines mobilen Computers oder eines Spielesystems umfasst, welche in dem Fahrzeug betreibbar sind.
  7. Verfahren nach Anspruch 5 oder 6, weiterhin umfassend Empfangen von Anweisungen für das erweiterte Reality-Bild von dem in dem Fahrzeug betreibbaren Computer oder Spiel-System.
  8. Verfahren nach einem der Ansprüche 5 bis 7, weiterhin umfassend ein Einfügen eines Spielstandes in das erweiterte Reality-Bild vor Übermitteln des erweiterten Reality-Bildes auf die Anzeige des innerhalb des Fahrzeuges betreibbaren mobilen Computers oder Spiele-Systems.
  9. Fahrzeug, umfassend: eine Kamera, welche ein Live-Videobild bereitstellt; ein Kommunikationssystem, das dazu ausgelegt ist, Informationen eines weiteren Fahrzeugs zu empfangen; eine Steuerung, welche mit der Kamera gekoppelt ist und mit einer Datenbank, welche eines oder mehrere virtuelle Bilder aufweist und dazu eingerichtet ist, durch Zusammenführen von Fahrzeugbetriebsdaten und Informationen eines weiteren Fahrzeugs mit dem Live-Videobild und dem einen oder den mehreren virtuellen Bildern ein erweitertes Reality-Bild bereitzustellen, wobei die Steuerung dazu ausgelegt ist, eine Eigenschaft des weiteren Fahrzeugs für einen Zeitpunkt in der Zukunft unter Verwendung der empfangenen Information des weiteren Fahrzeugs vorherzusagen, und wobei das erweitere Reality-Bild die vorhergesagte Eigenschaft des weiteren Fahrzeugs umfasst; und einen Transmitter zum Übermitteln des erweiterten Reality-Bildes während des Betriebes des Fahrzeuges.
  10. Fahrzeug nach Anspruch 9, wobei die Steuerung ebenso mit wenigstens einer der folgenden Gruppe von Informationsquellen gekoppelt ist: Radar; Laser; Sonar; GPS; oder Straßendienstinformation.
DE102012214988.0A 2011-09-30 2012-08-23 Fahrzeug-Spielesystem mit erweiterter Realität für Vorder- und Rück-Sitz zur Unterhaltung und Information von Passagieren Expired - Fee Related DE102012214988B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/249,983 2011-09-30
US13/249,983 US20130083061A1 (en) 2011-09-30 2011-09-30 Front- and rear- seat augmented reality vehicle game system to entertain & educate passengers

Publications (2)

Publication Number Publication Date
DE102012214988A1 DE102012214988A1 (de) 2013-04-04
DE102012214988B4 true DE102012214988B4 (de) 2020-06-25

Family

ID=47878789

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012214988.0A Expired - Fee Related DE102012214988B4 (de) 2011-09-30 2012-08-23 Fahrzeug-Spielesystem mit erweiterter Realität für Vorder- und Rück-Sitz zur Unterhaltung und Information von Passagieren

Country Status (3)

Country Link
US (1) US20130083061A1 (de)
CN (1) CN103028243B (de)
DE (1) DE102012214988B4 (de)

Families Citing this family (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101387189B1 (ko) * 2012-05-30 2014-04-29 삼성전기주식회사 운행 보조정보 표시장치 및 운행 보조정보 표시방법
US20140043482A1 (en) * 2012-08-07 2014-02-13 Chui-Min Chiu Vehicle security system
WO2014101742A1 (en) * 2012-12-27 2014-07-03 Harman International Industries, Incorporated Vehicle navigation
DE102013215095A1 (de) * 2013-08-01 2015-02-05 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Vermeidung von Beeinträchtigungen der Gesundheit eines Fahrzeuginsassen unter Nutzung der Fahrzeugdynamik
US9536353B2 (en) 2013-10-03 2017-01-03 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9715764B2 (en) 2013-10-03 2017-07-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9630631B2 (en) 2013-10-03 2017-04-25 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9547173B2 (en) * 2013-10-03 2017-01-17 Honda Motor Co., Ltd. System and method for dynamic in-vehicle virtual reality
US9613459B2 (en) 2013-12-19 2017-04-04 Honda Motor Co., Ltd. System and method for in-vehicle interaction
WO2015185629A2 (en) 2014-06-06 2015-12-10 Lego A/S Interactive game apparatus and toy construction system
US10646780B2 (en) 2014-10-02 2020-05-12 Lego A/S Game system
US10943395B1 (en) 2014-10-03 2021-03-09 Virtex Apps, Llc Dynamic integration of a virtual environment with a physical environment
FR3028246B1 (fr) * 2014-11-07 2018-03-23 Airbus Group Sas Dispositif de transport porte a porte d'un voyageur
US9943754B2 (en) * 2014-11-14 2018-04-17 United Services Automobile Association System, method and apparatus for collecting and utilizing big data for online gameplay
US10026450B2 (en) * 2015-03-31 2018-07-17 Jaguar Land Rover Limited Content processing and distribution system and method
DE102015207337B4 (de) 2015-04-22 2024-06-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Unterhaltung mindestens eines Insassen eines Kraftfahrzeugs
KR102375411B1 (ko) 2015-05-11 2022-03-18 삼성전자주식회사 차량 주변 영상 제공 방법 및 장치
US9964765B2 (en) * 2015-09-11 2018-05-08 The Boeing Company Virtual display of the real-time position of a robotic device to a human operator positioned on an opposing side of an object
WO2017053616A1 (en) 2015-09-25 2017-03-30 Nyqamin Dynamics Llc Augmented reality display system
US10589625B1 (en) 2015-12-11 2020-03-17 Disney Enterprises, Inc. Systems and methods for augmenting an appearance of an actual vehicle component with a virtual vehicle component
US10969748B1 (en) * 2015-12-28 2021-04-06 Disney Enterprises, Inc. Systems and methods for using a vehicle as a motion base for a simulated experience
US11524242B2 (en) 2016-01-20 2022-12-13 Disney Enterprises, Inc. Systems and methods for providing customized instances of a game within a virtual space
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
US10323952B2 (en) * 2016-04-26 2019-06-18 Baidu Usa Llc System and method for presenting media contents in autonomous vehicles
DE102016210088B3 (de) 2016-06-08 2017-07-06 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Darstellung einer Umgebung eines Kraftfahrzeugs
CN106110657A (zh) * 2016-07-18 2016-11-16 杨跃龙 一种基于地理位置和速度的驾驶者互动和游戏系统
US10205890B2 (en) 2016-07-25 2019-02-12 Ford Global Technologies, Llc Systems, methods, and devices for rendering in-vehicle media content based on vehicle sensor data
KR102366723B1 (ko) * 2016-10-11 2022-02-23 삼성전자주식회사 운송 수단으로 시야 확보 영상을 제공하는 방법, 이를 위한 전자 장치 및 컴퓨터 판독 가능한 기록 매체
US10647289B2 (en) 2016-11-15 2020-05-12 Ford Global Technologies, Llc Vehicle driver locator
CN106781822B (zh) * 2016-12-03 2019-07-05 西安科锐盛创新科技有限公司 提高驾驶安全性的系统和方法
US10455165B2 (en) 2016-12-28 2019-10-22 Microsoft Technology Licensing, Llc Systems, methods, and computer-readable media for using a video capture device to alleviate motion sickness via an augmented display for a passenger
US10627909B2 (en) 2017-01-10 2020-04-21 Disney Enterprises, Inc. Simulation experience with physical objects
US10332292B1 (en) * 2017-01-17 2019-06-25 Zoox, Inc. Vision augmentation for supplementing a person's view
EP3370085B1 (de) * 2017-03-01 2021-10-13 Aptiv Technologies Limited Verfahren zur verfolgung mehrerer objekte in der umgebung eines host-fahrzeugs
US10467980B2 (en) * 2017-03-07 2019-11-05 Panasonic Avionics Corporation Systems and methods for supporting augmented reality applications on a transport vehicle
US10580386B2 (en) * 2017-04-21 2020-03-03 Ford Global Technologies, Llc In-vehicle projected reality motion correction
US10331125B2 (en) * 2017-06-06 2019-06-25 Ford Global Technologies, Llc Determination of vehicle view based on relative location
US10357715B2 (en) * 2017-07-07 2019-07-23 Buxton Global Enterprises, Inc. Racing simulation
US10341162B2 (en) 2017-09-12 2019-07-02 Pacific Import Manufacturing, Inc. Augmented reality gaming system
US10585471B2 (en) 2017-10-03 2020-03-10 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on predicted events
CN107589851A (zh) * 2017-10-17 2018-01-16 极鱼（北京）科技有限公司 汽车的交互方法和系统
US10970560B2 (en) 2018-01-12 2021-04-06 Disney Enterprises, Inc. Systems and methods to trigger presentation of in-vehicle content
CN108519815B (zh) * 2018-03-26 2020-10-02 Oppo广东移动通信有限公司 基于增强现实的车辆控制方法、装置、存储介质及电子设备
WO2019190722A1 (en) * 2018-03-28 2019-10-03 Pearson Education, Inc. Systems and methods for content management in augmented reality devices and applications
CN108543309B (zh) * 2018-04-03 2020-03-10 网易（杭州）网络有限公司 在增强现实中控制虚拟控制对象移动的方法、装置及终端
JP7048398B2 (ja) * 2018-04-13 2022-04-05 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
CN108635861B (zh) * 2018-05-18 2022-04-22 腾讯科技（深圳）有限公司 控制应用中车辆的方法、装置、设备及存储介质
US10698206B2 (en) 2018-05-31 2020-06-30 Renault Innovation Silicon Valley Three dimensional augmented reality involving a vehicle
DE102018210390B4 (de) 2018-06-26 2023-08-03 Audi Ag Verfahren zum Betreiben einer Anzeigeeinrichtung in einem Kraftfahrzeug und Anzeigesystem für ein Kraftfahrzeug
US10841632B2 (en) 2018-08-08 2020-11-17 Disney Enterprises, Inc. Sequential multiplayer storytelling in connected vehicles
US10882617B2 (en) * 2018-10-11 2021-01-05 Rockwell Collins, Inc. Aircraft based augmented and virtual reality passenger social media interaction system and related method
US11504626B2 (en) * 2018-11-29 2022-11-22 Ts Tech Co., Ltd. Seat system and seat experience device
US10625676B1 (en) * 2018-12-03 2020-04-21 GM Global Technology Operations LLC Interactive driving system and method
JP2020144332A (ja) * 2019-03-08 2020-09-10 トヨタ自動車株式会社 仮想現実システムおよび仮想現実方法
US10785621B1 (en) * 2019-07-30 2020-09-22 Disney Enterprises, Inc. Systems and methods to provide an interactive space based on vehicle-to-vehicle communications
CN110404255B (zh) * 2019-08-07 2023-06-30 广州小鹏汽车科技有限公司 车辆间的游戏互动方法、装置、车辆及机器可读介质
JP7431538B2 (ja) * 2019-09-10 2024-02-15 株式会社カプコン ゲームプログラム、車両、及びゲームシステム
CN110677476B (zh) * 2019-09-27 2023-01-20 大陆投资(中国)有限公司 基于车辆的电子装置
US11087529B2 (en) * 2019-09-27 2021-08-10 Disney Enterprises, Inc. Introducing real-time lighting effects to illuminate real-world physical objects in see-through augmented reality displays
JP6974782B2 (ja) * 2019-10-01 2021-12-01 株式会社カプコン ゲームプログラム、コンピュータ、及びゲームシステム
JP6901541B2 (ja) * 2019-11-28 2021-07-14 株式会社カプコン ゲームプログラム、コンピュータ、及びゲームシステム
JP6974780B2 (ja) * 2019-11-28 2021-12-01 株式会社カプコン ゲームプログラム、コンピュータ、及びゲームシステム
US11076276B1 (en) 2020-03-13 2021-07-27 Disney Enterprises, Inc. Systems and methods to provide wireless communication between computing platforms and articles
US20210316797A1 (en) * 2020-04-13 2021-10-14 Kelvin Cannon Personal Transportation Vehicle
DE102020114656A1 (de) 2020-06-02 2021-12-02 Audi Aktiengesellschaft Informationsverarbeitungssystem und verfahren zur verarbeitung von information
CN113847929A (zh) * 2020-06-28 2021-12-28 宝能汽车集团有限公司 车辆及其控制方法、装置和存储介质
US11571622B2 (en) * 2020-08-12 2023-02-07 GM Global Technology Operations LLC In-vehicle gaming systems and methods
CN113082691B (zh) * 2021-03-05 2023-05-23 东风汽车集团股份有限公司 赛车游戏控制方法、装置、设备及可读存储介质
US12340371B2 (en) 2021-07-28 2025-06-24 Disney Enterprises, Inc. Systems and methods to adjust in-vehicle content based on digital assets
US12211031B2 (en) 2021-08-11 2025-01-28 Disney Enterprises, Inc. Systems and methods to compilate an experience summary based on real-world experiences
WO2023092375A1 (en) * 2021-11-25 2023-06-01 Citrix Systems, Inc. Computing device with live background and related method
CN114567783B (zh) * 2022-01-10 2023-02-07 上海哲奥实业有限公司 一种驾车游戏的处理方法、装置及计算机存储介质
US12109504B2 (en) 2022-03-24 2024-10-08 Disney Enterprises, Inc. Vehicle entertainment system and method
US12090398B2 (en) * 2022-04-07 2024-09-17 Ford Global Technologies, Llc Systems and methods to entertain an occupant of a vehicle
DE102022120134A1 (de) 2022-08-10 2024-02-15 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung und Verfahren zum Bereitstellen eines Computerspiels in einem Fahrzeug
US12141791B2 (en) 2022-11-07 2024-11-12 Disney Enterprises, Inc. Systems and methods to adjust a unit of experience based on digital assets of users
US11948227B1 (en) * 2023-04-18 2024-04-02 Toyota Motor Engineering & Manufacturing North America, Inc. Eliminating the appearance of vehicles and/or other objects when operating an autonomous vehicle
US20250058226A1 (en) * 2023-08-17 2025-02-20 Valeo Comfort And Driving Assistance Method for creating an automotive mixed-reality gaming system
CN117173240B (zh) * 2023-11-03 2024-02-06 天津信天电子科技有限公司 伺服控制驱动器的ar辅助装配方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10152855A1 (de) * 2001-10-25 2003-05-15 Manfred Eckelt Vorrichtung für den drahtlosen Datentransfer sowie Verfahren zur Durchführung von drahtlosem Datentransfer
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US20080311983A1 (en) * 2007-06-14 2008-12-18 Panasonic Autmotive Systems Co. Of America, Division Of Panasonic Corp. Of North America Vehicle entertainment and Gaming system
DE102008034594A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Information eines Insassen eines Fahrzeuges
DE102008034606A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5316480A (en) * 1993-02-10 1994-05-31 Ellsworth Thayne N Portable multiple module simulator apparatus
US5983161A (en) * 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
US20060284839A1 (en) * 1999-12-15 2006-12-21 Automotive Technologies International, Inc. Vehicular Steering Wheel with Input Device
EP1279150B1 (de) * 2000-04-24 2004-06-30 Video Domain Technologies Ltd Überwachungssystem mit kamera
US7050630B2 (en) * 2002-05-29 2006-05-23 Hewlett-Packard Development Company, L.P. System and method of locating a non-textual region of an electronic document or image that matches a user-defined description of the region
US7102496B1 (en) * 2002-07-30 2006-09-05 Yazaki North America, Inc. Multi-sensor integration for a vehicle
JP4568009B2 (ja) * 2003-04-22 2010-10-27 パナソニック株式会社 カメラ連携による監視装置
US7174153B2 (en) * 2003-12-23 2007-02-06 Gregory A Ehlers System and method for providing information to an operator of an emergency response vehicle
WO2005098781A1 (en) * 2004-04-01 2005-10-20 Dana Corporation Intelligent transportation system
JP3875697B2 (ja) * 2004-05-06 2007-01-31 松下電器産業株式会社 車載情報処理装置
DE102004048347A1 (de) * 2004-10-01 2006-04-20 Daimlerchrysler Ag Fahrassistenzvorrichtung zur gegenüber dem Sichtfeld des Fahrers eines Kraftfahrzeugs positionsrichtigen Darstellung des weiteren Straßenverlaufs auf einem Fahrzeugdisplay
US20070016372A1 (en) * 2005-07-14 2007-01-18 Gm Global Technology Operations, Inc. Remote Perspective Vehicle Environment Observation System
US7486199B2 (en) * 2005-11-17 2009-02-03 Nissan Technical Center North America, Inc. Forward vehicle brake warning system
US7991550B2 (en) * 2006-02-03 2011-08-02 GM Global Technology Operations LLC Method and apparatus for on-vehicle calibration and orientation of object-tracking systems
EP2210235B1 (de) * 2007-10-12 2011-02-23 Toyota Motor Europe NV Verfahren und systeme zum verarbeiten von videodaten
US20090228172A1 (en) * 2008-03-05 2009-09-10 Gm Global Technology Operations, Inc. Vehicle-to-vehicle position awareness system and related operating method
DE102008028373A1 (de) * 2008-06-13 2009-12-24 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer Fahrinformation, sowie Kraftfahrzeug hierfür
US8229663B2 (en) * 2009-02-03 2012-07-24 GM Global Technology Operations LLC Combined vehicle-to-vehicle communication and object detection sensing
EP2401176B1 (de) * 2009-02-27 2019-05-08 Magna Electronics Fahrzeugalarmsystem
DE102009051265A1 (de) * 2009-10-29 2010-07-01 Daimler Ag Anzeigeeinheit für ein Kraftfahrzeug und Verfahren zum Anzeigen einer Bildinformation über eine Umgebung des Kraftfahrzeugs
CN101876827A (zh) * 2009-11-20 2010-11-03 海安县奇锐电子有限公司 无人驾驶汽车
US20110150434A1 (en) * 2009-12-23 2011-06-23 Empire Technology Development Llc A Pan camera controlling method
US8669857B2 (en) * 2010-01-13 2014-03-11 Denso International America, Inc. Hand-held device integration for automobile safety
US20110185390A1 (en) * 2010-01-27 2011-07-28 Robert Bosch Gmbh Mobile phone integration into driver information systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10152855A1 (de) * 2001-10-25 2003-05-15 Manfred Eckelt Vorrichtung für den drahtlosen Datentransfer sowie Verfahren zur Durchführung von drahtlosem Datentransfer
US20060223637A1 (en) 2005-03-31 2006-10-05 Outland Research, Llc Video game system combining gaming simulation with remote robot control and remote robot feedback
US20080311983A1 (en) * 2007-06-14 2008-12-18 Panasonic Autmotive Systems Co. Of America, Division Of Panasonic Corp. Of North America Vehicle entertainment and Gaming system
DE102008034594A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Information eines Insassen eines Fahrzeuges
DE102008034606A1 (de) 2008-07-25 2010-01-28 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Darstellung der Umgebung eines Fahrzeugs auf einer mobilen Einheit

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GRAEFE, Volker: Echtzeit-Bildverarbeitung für ein Fahrer-Unterstützungssystem zum Einsatz auf Autobahnen. it + ti - Informationstechnik und Technische Informatik 36 (1994) 1, Heft 1/94, Sonderheft Robotik, R. Oldenbourg Verlag, S. 16-24. *

Also Published As

Publication number Publication date
CN103028243B (zh) 2018-11-30
US20130083061A1 (en) 2013-04-04
DE102012214988A1 (de) 2013-04-04
CN103028243A (zh) 2013-04-10

Similar Documents

Publication Publication Date Title
DE102012214988B4 (de) Fahrzeug-Spielesystem mit erweiterter Realität für Vorder- und Rück-Sitz zur Unterhaltung und Information von Passagieren
DE102020110458A1 (de) Fahrzeugpfadvorhersage
US9507345B2 (en) Vehicle control system and method
DE69736766T2 (de) Verfahren und Vorrichtung zum Anzeigen einer Navigationskarte
DE112018007027T5 (de) Abbiegewegvisualisierung zum verbessern von räumlichem und situativem bewusstsein bei abbiegemanövern
DE112006001864T5 (de) System zur Beobachtung der Fahrzeugumgebung aus einer entfernten Perspektive
DE112019004832T5 (de) Betrieb eines Fahrzeugs unter Verwendung von Bewegungsplanung mit maschinellem Lernen
DE112021003339T5 (de) Parkhaltepunktverwaltungsvorrichtung, parkhaltepunktverwaltungsverfahren und fahrzeugvorrichtung
DE112020000110T5 (de) Nutzung von in fahrzeugen erfassten fahrgastaufmerksamkeitsdaten fürlokalisierungs- und standortbezogene dienste
DE112019001046T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und mobiler körper
DE102018106527A1 (de) Elektronische Steuereinheiten, Fahrzeuge und Verfahren zum Umschalten einer Fahrzeugsteuerung aus einem autonomen Fahrmodus
DE112021003340T5 (de) Hindernisinformationsverwaltungsvorrichtung,hindernisinformationsverwaltungsverfahren und vorrichtung für ein fahrzeug
DE112022002353T5 (de) Verfahren und Systeme zur Trajektorienerzeugung für ein autonomes Fahrzeug beim Überfahren einer Kreuzung
DE102020111250A1 (de) Grafische benutzerschnittstelle zur anzeige des verhaltens autonomer fahrzeuge
DE112016007429T5 (de) Entferntes Betriebssystem, Transportsystem und entferntes Betriebsverfahren
JP2019182305A (ja) 車両制御装置、車両制御方法、およびプログラム
DE102021133742A1 (de) Planung einer trajektorie eines autonomen fahrzeugs mit dynamischem zustand
DE112018005910T5 (de) Steuervorrichtung und steuerverfahren, programm und mobiler körper
DE102007032814A1 (de) System zum Bereitstellen von Informationen zur Fahrunterstützung für einen Fahrer eines Fahrzeugs
DE102015205133A1 (de) Verfahren und Vorrichtung zum Ermitteln einer Bewegungsplanung für ein zumindest teilweise automatisiertes Fahren eines Fahrzeugs
DE112017008079T5 (de) Anzeigesystem, anzeigeverfahren und programm
DE112017007964T5 (de) Anzeige-Steuervorrichtung, Anzeige-Steuerverfahren und Programm
DE112020001221T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und mobile Körpervorrichtung
DE112022003364T5 (de) Komplementäres steuersystem für ein autonomes fahrzeug
DE102020128155A1 (de) Bedingte bewegungsvorhersagen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: B60R0016020000

Ipc: H04N0005265000

R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R082 Change of representative

Representative=s name: LKGLOBAL | LORENZ & KOPF PARTG MBB PATENTANWAE, DE

Representative=s name: LKGLOBAL LORENZ UND KOPF PATENTANWALT, ATTORNE, DE

Representative=s name: LKGLOBAL ] LORENZ & KOPF PARTG MBB PATENTANWAE, DE

R020 Patent grant now final
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee