[go: up one dir, main page]

DE69928642T2 - Emulation von strömung über internet in einer rundfunkanwendung - Google Patents

Emulation von strömung über internet in einer rundfunkanwendung Download PDF

Info

Publication number
DE69928642T2
DE69928642T2 DE69928642T DE69928642T DE69928642T2 DE 69928642 T2 DE69928642 T2 DE 69928642T2 DE 69928642 T DE69928642 T DE 69928642T DE 69928642 T DE69928642 T DE 69928642T DE 69928642 T2 DE69928642 T2 DE 69928642T2
Authority
DE
Germany
Prior art keywords
server
customer
world model
copy
state changes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69928642T
Other languages
English (en)
Other versions
DE69928642D1 (de
Inventor
Raoul Mallart
Atul Sinha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE69928642D1 publication Critical patent/DE69928642D1/de
Application granted granted Critical
Publication of DE69928642T2 publication Critical patent/DE69928642T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/12—
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/358—Adapting the game course according to the network or server load, e.g. for reducing latency due to different connection speeds between clients
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/402—Communication between platforms, i.e. physical link to protocol
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/407—Data transfer via internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/40—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of platform network
    • A63F2300/409—Data transfer via television network
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8017—Driving on land or water; Flying
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/8082—Virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Computer And Data Communications (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

  • BEREICH DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Emulieren von Streaming einer Multimedia-Datei mit Daten, die ein Weltmodell beschreiben, von einem Server über ein Netzwerk zu einer Empfangsstation.
  • Die vorliegende Erfindung bezieht sich weiterhin auf eine Station zum Empfangen einer derartigen Multimedia-Datei.
  • HINTERGRUND DER ERFINDUNG
  • Der Ausdruck "streaming" bezieht sich auf die Übertragung von einem Server zu einem Kunden, so dass diese Datei als einen regelmäßigen und andauernden Strom am Empfänger-Ende verarbeitet werden kann. Streaming-Technologien werden mit dem Wachen des Internets immer wichtiger, weil die meisten Benutzer nicht einen ausreichend schnellen Zugriff haben um große Multimedia-Dateien mit beispielsweise graphischen Animationen, Audio, Video oder einer Kombination derselben usw. herunter zu laden. Streaming aber ermöglicht es, dass der Browser oder das Zusatzmodul des Kunden die Verarbeitung der Daten startet, bevor die ganze Datei empfangen worden ist. Damit Streaming funktioniert, soll die Seite des Kunden, welche die Datei empfängt, imstande sein. Die Daten zu sammeln und sie als regelmäßiger Strom der die Daten verarbeitenden Applikation zuzuführen. Dies bedeutet, dass wenn der Kunde die Daten schneller empfängt als erforderlich, die übrigen Daten gepuffert werden sollen. Wenn die Daten andererseits nicht rechtzeitig eintreffen, wird die Präsentation der Daten nicht geschmeidig sein.
  • Der Term "Datei" wird in diesem Zusammenhang verwendet um eine Entität relatierter Datenitems anzugeben, die einer Datenverarbeitung zur Verfügung stehen und imstande sind als eine Entität verarbeitet zu werden. Im Kontext der vorliegenden Erfindung kann der Term "Datei" sich auf Daten beziehen, die in Echtzeit erzeugt werden, sowie auf Daten, die von einem Speicher erhalten werden.
  • Unter den heutzutage zur Verfügung stehenden Technologien oder die zur Zeit für Kommunikation von graphischen Daten über das Internet in Entwicklung sind, sind VRML 97 und MPEG-4. VRML 97 steht für "Virtual Reality Modeling Language" und ist ein Dateiformat nach einer internationalen Norm (ISO/IEC 14772) zur Beschreibung inter aktiver 3D Multimedia-Content im Internet. MPEG-4 ist eine ISO/IEC Norm, die von MPEG ("Moving Picture Experts Group") entwickelt worden ist. In den beiden Normen wird der graphische Content in einer sog. Szenengraphik strukturiert. Eine Szenengraphik ist ein Familienbaum von Koordinatensystemen und Formen, die gemeinsam eine Graphikwelt beschreiben. Das oberste Item in dem Szenenfamilienbaum ist das Weltkoordinatensystem. Das Weltkoordinatensystem funktioniert als Elternteil für ein oder mehrere Kindkoordinatensysteme und Formen. Diese Kindkoordinatensysteme sind ihrerseits Eltern für weite Kindkoordinatensysteme und Formen, usw.
  • VRML ist ein Dateiformat zum beschreiben von Objekten. VRML definiert einen Satz von Objekten, die zum Herstellen von 3D Graphiken, von Multimedia und zum Bauen eines Objektes/einer Welt nützlich sind. Diese Objekte werden als Knotenpunkte bezeichnet und enthalten Daten, die in Feldern und Ereignissen gespeichert werden. Typischerweise umfasst die Szenengraphik strukturierte Knotenpunkte, Blattknotenpunkte, Interpolationsknotenpunkte und Sensorknotenpunkte. Die strukturellen Knotenpunkte definieren die räumliche Beziehung zwischen Objekten innerhalb einer Szene. Die Blattknotenpunkte definieren das physikalische Erscheinen der Objekte. Die Interpolationsknotenpunkte definieren Animationen. Die Sensorknotenpunkte definieren Benutzerinteraktion für bestimmte Benutzereingabemodalitäten. VRML unterstützt nicht unmittelbar Streaming von Daten von einem Server zu einem Kunden. Möglichkeiten wie Synchronisation zwischen Strömen und Zeitmarkierung, die bei Streaming wesentlich sind, gibt es bei VRML nicht. Aber VRML hat einen Mechanismus, der es ermöglicht, dass externe Programme mit VRML Kunden interaktiv sind. Dies ist in Sportapplikationen Angewandt worden um Animationsdaten in den Kunden zu laden. Siehe beispielsweise: "Virtual Soccer" von Orad Hi-Tec Systems, Ltd., auf <htt://www.virtualive.com>. Dieses Web-Dokument beschreibt einen Prozess zum Erzeugen realistischer, animierter, dreidimensionaler graphischer Clips, die wirkliche Fußballwettkampfhöhenpunkte simulieren, die übers Internet gesendet werden. Das System erzeugt Content, der Fernsehsportsendungen mit multimediareichen Web-Seiten in nahezu Echtzeit ergänzt. In diesem Beispiel arbeitet der Prozess in zwei Schritten. Zunächst werden die Graphikmodelle des Sportstadions und der Fußballspieler zusammen mit einem externen Programm heruntergeladen, in diesem Fall mit einem Java Applet. Der Benutzer kann dann mit dem externen Programm interaktiv sein um eine bestimmte Animation zu beantragen. Die Daten für diese Animation werden danach in den Kunden herunter geladen und sind dadurch mit dem Benutzer interaktiv. In Termen des Knotenpunkttyps ladet dieser Prozess zunächst die strukturellen und Blattknoten herunter und danach die Interpolationsknoten. Durch Änderung des Satzes mit Interpolationsknoten ist es möglich, eine andere Animationssequenz durchzuführen. Der in diesem Beispiel angewandte Prozess entspricht gewissermaßen einem Ein-Schritt-Prozess, bei dem der Benutzer die komplette VRML-Datei wählen kann, die alle Modelle (strukturelle Knoten) und alle Animationsdaten (Interpolatorknoten) enthält. Diese Annäherung führt zu lange Zeiten zum Herunterladen, bevor ein Content beim Kunden wiedergegeben werden kann. Dies wird als frustrierend erfahren, insbesondere, wenn man dies mit Fernsehsendungen vergleicht, bei denen Content sofort verfügbar ist.
  • Die andere oben eingeführte Technologie, MPEG-4, definiert ein binäres Beschreibungsformat für Szenen (BIFS), die eine große Überlappung mit VR$ML 97 haben. MPEG-4 ist andererseits zum Unterstützen von Streaming von Graphiken sowie für Video entworfen. MPEG-4 definiert zwei Server/Kunde-Protokolle um Szenen zu aktualisieren und zu animiere: BIFS-Update und BIFS-Anim. Einige der Vorteile von MPE-4 gegenüber VRML sind die Codierung der Szenenbeschreibung und der Animationsdaten, sowie der eingebauten Streaming-Fähigkeit. Der Benutzer braucht nicht zu warten, bis alle Animationsdaten heruntergeladen worden sind. So kann beispielsweise in der oben genannten Fußballwettkampfsendungsapplikation die Animation starten, sobald die Modelle der Spieler und des Stadions heruntergeladen worden sind. MPEG-4 bietet weiterhin den Vorteil, dass es wegen des BIFS Tansportprotokolls, das ein komprimiertes binäres Formar benutzt, effizienter ist.
  • Im Kontext von Streaming haben die bekannten oben genannten Technologien mehrere Begrenzungen in Bezug auf den Bandbreitengebrauch, Paketverlustverschleierung oder Wiederherstellung und Mehrfach-Benutzer-Interaktivität, insbesondere in einer Sendung zu einer Vielzahl von Kunden.
  • In Bezug auf die Bandbreite wird die ganze Animation beim Server erzeugt. Dies führt zu einem großen Betrag an Daten, die über das Netzwerk, beispielsweise Internet, das den Kunden mit dem Server verbindet, transportiert werden müssen. So sollen beispielsweise in der oben genannten Fußballspielsendungsapplikation die 22 Spieler animiert werden. Jeder Animationsdatenpunkt je einzelnen Spieler umfasst eine Position in dem 3D Raum und einen Satz von, sagen wir, 15 gekoppelten Drehungen zum Modellieren der Körperhaltung des Spielers. Dies stellt 63 Fließpunktwerte dar. Wenn vorausgesetzt wird, dass die Animationsaktualisierungsrate 15 Datenpunkte je Sekunde beträgt, ist eine Bitrate von 665 Kbps erforderlich. Diese Bitrate kann durch Kompression reduziert werden. Typischerweise reduziert die Verwendung von BIFS die Bitrate um einen Faktor 20, was eine Bitrate von etwa 33 Kbps ergibt. Diese Anzahl ist nicht berücksichtigt worden, erforderlich für die Internetprotokolle (RTP, UDP und IP) und für die zusätzlichen Datentypen, wie Audio. Typische Modems, die auf dem Konsumentenmarkt kommerziell erhältlich sind, haben eine Kapazität von 28,8 Kbps oder 33,6 Kpbs. Es dürfte einleuchten, dass Streaminganimation durch Bandbreitenbegrenzungen bei dem Endverbraucher Probleme verursachen. Im falle einer Sendung zu einer Vielzahl von Kunden, sagen wird 100.000 Kunden, soll der Datenstrom in verschiedenen Routern dupliziert werden. Ein Router im Internet bestimmt die nächste Netzwerkstelle, der ein Paket auf seinem Weg zu dem Endziel zugesendet werden soll. Der Router entscheidet, über welchen Weg jedes Informationspaket gesendet werden oll, und zwar auf Basis des aktuellen Verständnisses des Zustandes des Netzwerkes, mit dem er verbunden ist. Ein Router befindet sich bei jedem Knotenpunkt von Netzwerken oder eines Knotenamtes, einschließlich der Anwesenheitsstelle von Internet. Es dürfte einleuchten, dass die Sendung zu einer unbeherrschbaren Datenexplosion übers Internet führt. Um zu vermeiden, dass dies passiert, soll die wirkliche Bandbreite auf viel mehr als 28,8 Kbps begrenzt werden.
  • Wegen der Paketverlustverschleierung benutzen VRLM-basierte Systeme zuverlässige Protokolle (TCP). Paketverluste sind an dieser Stelle kein Thema. Im Falle von MPEG-4 benutzt BIFS RTP/UDP/IP. Dazu ist ein Paketverlustwiederherstellungsmechanismus erforderlich. In einer Punkt-zu-Punkt-Applikation kann die Neuübertragung verloren gegangener Pakete erwogen werden. In einer Sendungssituation aber ist dies viel komplexer. In beiden Fällen aber erfordert die MPEG-Zuverlässigkeit entweder Gebrauch einer höheren Bandbreite (Redundanz) oder einer höheren Latenz (Neuübertragung).
  • Wie bei Mehrfach-Benutzer-Interaktivität sind VRML sowie MPEG-4 im Grunde auf einer Server-Kunde-Kommunikation basiert. Es gibt keine Maßnahmen um eine Kommunikation zwischen mehreren Kunden zu ermöglichen.
  • Für mehr Information über VRML siehe beispielsweise: "Key Concepts", den 5. März, 1996 auf: <http://sgi.felk.cvut.cz/~holecek/VRML/concepts.html>, oder "Internetwork Infrastructure Requirements for Virtual Environments", D. P. Brutzman u. a., den 23. Jan. 1996, öffentlich verfügbar auf:
    <http://www.stl.nps.navy.mil/~brutzman/vrml/vrml_95.html>
  • Für mehr Information über MPEG-4 siehe beispielsweise "Overview of the MPEG-4 Standard", ISO/IEC JTC1/SC29/WG11 N2323 ed. Rob Koenen, Juli 1998, öffentlich verfügbar auf <http://drogo.cselt.stet.it/mpeg/standards/mpeg-4/mpeg-4.htm>.
  • Das aus US 5.842.216 bekannte System bezieht sich auf das Abrufen von Dateien von einem Server zu einer örtlichen Station durch ein örtliches Programm wie einen Internet Browser. Das örtliche Programm speichert eine Kopie jeder erneuerten Datei in dem örtlichen Speicher (Zwischenspeicher). Wenn in Zukunft dieselbe Datei erwünscht ist, kann diese Datei aus dem Zwischenspeicher angerufen werden und braucht nicht über das Netzwerk von dem Server abgerufen zu werden.
  • Das Dokument von Waters, R.; Anderson, D. B. und Schwenkel, D. L. mit dem Titel: "Design of the Interacting Sharing Transfer Protocol", "Proceedings of the sixth IEEE workshops on enabling technologies: infrastructure for collaborative enterprises, 1997, 18.–20. Juni 1997, Seiten 140–147, XP002125528 beschreibt ein Protokoll zum senden von Information über eine virtuelle Umgebung, die als Weltmodell bezeichnet wird, von der einen Station zu einer anderen Station. Das Weltmodell wird in Teile gebrauchen, die als "locales" mit zerlegten Sätzen von Objekten bezeichnet werden. Die Einhaltung des Weltmodells wird nicht durch einen einzigen Prozess durchgeführt, es gibt aber eine Anzahl Prozesse, die je eine bestimmte "locale" mit den Objekten beibehält. Wenn ein Prozess ein Objekt des "locale", den er beibehält, aktualisiert, dann wird aktualisierte Information zu einer anderen Station gesendet, die abonniert ist.
  • AUFGABE DER ERFINDUNG
  • Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, ein Verfahren der eingangs beschriebenen Art mit einer verbesserten Übertragung der Information in Bezug auf das Weltmodell zu einer empfangenden Station zu schaffen.
  • Es ist eine weitere Aufgabe der vorliegenden Erfindung, eine empfangende Station zu schaffen, die wirksam um diese Information auf die genannte Art und weise zu empfangen.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Dazu schafft die vorliegende Erfindung ein Verfahren zum Emulieren von Streaming einer Multimedia-Datei mit Daten, die ein Weltmodell beschreiben, von einem Server über ein Netzwerk zu einer Empfangsstation, wobei der Server eine erste Kopie des Weltmodells hat und die Empfangsstation eine zweite Kopie des Weltmodells hat, wobei das Verfahren die nachfolgenden Verfahrensschritte aufweist:
    • – das Erhalten von Zustandsänderungen des Weltmodells in Bezug auf die erste Kopie,
    • – das Senden der Zustandsänderungen zu der Empfangsstation,
    • – das Aktualisieren der zweiten Kopie auf Basis der empfangenen Zustandsänderungen, m
    • – das Erzeugen der Multimedia-Datei auf Basis der aktualisierten zweiten Kopie und der empfangenen Zustandsänderungen.
  • Die vorliegende Erfindung schafft weiterhin eine Station zur Verwendung in einem Kunde-Server-System, wobei der Server mit wenigstens einem Kunden gekoppelt ist und wobei das System dazu vorgesehen ist, eine Multimedia-Datei mit Daten, die ein Weltmodell beschreiben, von dem Server über ein Netzwerk zu der Station zu streamen, wobei die Station Folgendes enthält:
    • – eine örtliche Kopie des Weltmodells,
    • – Mittel zum Empfangen von Zustandsänderungen des Weltmodells,
    • – Mittel zum Erzeugen der Multimedia-Datei auf Basis der empfangenen Zustandsänderungen,
    • – Mittel zum Streamen der erzeugten Datei zu dem wenigstens einen Kunden.
  • In der vorliegenden Erfindung wird die Multimedia-Datei (Animation, Video- oder Audiodatei) als eine Folge von Zuständen beschrieben. Es ist diese Zustandsinformation, die zu den Kunden übertragen wird, statt der Animationsdaten selber. Der Term "Emulieren" betont, dass die dem Kunden zugeführte Information nicht gestreamt zu werden braucht. Der Kunde erzeugt die Daten zur örtlichen Abspielung und basiert auf der empfangenen Zustandsinformation. Auf entsprechende Art und Weise nimmt der Benutzer während der Abspielung einen kontinuierlichen und stabilen Strom von Daten wahr, als wären die Daten (unter optimalen Umständen) über das Netzwerk gestreamt.
  • Bei einer bevorzugten Ausführungsform wird ein geteiltes Objektprotokoll verwendet zum Bewerkstelligen der Emulation. Ein Server sowie ein Kunde haben beide eine Kopie eines Sammlung von Objekten. Ein Objekt ist eine Datenstruktur, die Zustands information enthält. Im Kontext des virtuellen Fußballwellkampfes ist ein Objekt beispielsweise eine Graphikdarstellung eines der Fußballspieler. Der Server empfängt eine gestreamte Video-Datei und überwacht die Objekte. Es sei bemerkt, dass MPEG-4 die Erzeugung von Video-Objekten ermöglicht, die als eine Entität verarbeitet werden. Wenn der Server den Zustand dieses Objektes ändert, sorgt das geteilte Objektprotokoll für eine Kopie beim Kunden um auf entsprechende Art und weise zu ändern. Dies wird anhand der Zeichnung näher erläutert.
  • Diese Zustandsinformation liegt auf einem höheren Abstraktionspegel als die Animationsdaten selber. So umfasst beispielsweise in der oben genannten Fußballspielsendeapplikation die Zustandsinformation die aktuellen Positionen von 22 Spielern auf dem Platz und Parameter, die deren aktuelle Aktion (beispielsweise "Laufen", "Springen", usw.) spezifizieren. Die Verwendung von Information auf einem höheren Pegel hat verschiedene Vorteile, insbesondere in einer Sendeapplikation, wobei Animation über das Internet zu einem großen Publikum gestreamt wird. Der Content der Zustandsinformation, wie diese über das Internet kommuniziert worden ist, ist sehr gedrängt, was auf diese Weise eine geringere Bandbreite erfordert als in dem Fall, dass die Animationsdaten selber gestreamt werden. Die Animation wird örtlich aus einigen Parametern erzeugt. Außerdem ist die Aktualisierungsrate der Animationsdatenstellen niedriger, weil der Zustand der Animation mit einer geringeren Rate sich ändert als die Animationsdaten selber. Dies trägt zu einer weiteren Verringerung der Bandbreitenanforderungen bei. Weiterhin schafft die vorliegende Erfindung bessere Möglichkeiten zur Wiederherstellung von Paketverlusten oder Verschleierung und für Maskierung von Netzwerklatenzschwankungen. Es ist leicht zwischen Zuständen zu interpolieren oder zu extrapolieren und ungefähre Berechnungskonzepte zu implementieren. Benutzerinteraktion mit der Animation ist einfacher programmierbar, und zwar wegen dieses höheren Pegels der Abstraktion. Ein weiterer Vorteil ist, dass Mehrfach-Benutzer-Interaktion realisierbar ist, wenn Kunden die Möglichkeit erhalten, Zustandsinformation zu teilen. Noch ein anderer Vorteil ist die Tatsache, dass Kunden die Möglichkeit geboten wird, die Zustandsinformation in Animation umzuwandeln, und zwar auf Basis deren einzelnen Verarbeitungsleistung, die von Kunde zu Kunde anders sein kann. Diese Mittel, die beim Kunden verfügbar sind, können je Kunde oder je Gruppe von Kunden anders sein.
  • Im Kontext der vorliegenden Erfindung sei hingewiesen auf die US Patentanmeldung Nr. 09/053.448 (PHA 23.383) der Anmelderin, mit dem Titel: "Group-wise video conferencing uses 3D-graphics model of broadcast event" und durch Bezeichnung als hierin aufgenommen betrachtet. Dieses Dokument befasst sich mit einen Fernsehsender mit Aussendungen zu vielen geographisch verteilten Endverbrauchern. Der Rundfunkdienst ist mit einer Konferenzmode integriert. Bei einem bestimmten Ereignis in der Sendung werden bestimmte Gruppen von Endverbrauchern in eine Konferenzmode geschaltet, und zwar unter Software-Steuerung, so dass die Gruppe die Möglichkeit erhält, über das Ereignis zu diskutieren. Die Konferenzmode wird durch ein 3D Graphikmodell der Videopräsentation des Ereignisses, das zu den Gruppen heruntergeladen wurde, verbessert. Die Endverbraucher sind imstande, mit dem Modell interaktiv zu sein um über Alternative zu dem Ereignis zu diskutieren.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
  • 1 eine Darstellung eines VRLM Kunde-Server-Systems,
  • 2 eine Darstellung eines MPEG-4 Kunde-Server-Systems, und
  • 3 Darstellungen von Systemen nach der vorliegenden Erfindung.
  • In den Figuren bezeichnen gleiche Bezugszeichen dieselben oder ähnliche Elemente.
  • BEVORZUGTE AUSFÜHRUNGSFORMEN
  • 1 ist ein Blockschaltbild eines Kunde-Server-Systems 100 auf Basis von VRLM. Das System 100 umfasst einen Server 102, der über einen Kommunikationskanal 106, in dem vorliegenden Fall über das Internet, mit einem Kunden 104 gekoppelt ist. Das System 100 kann mehr Kunden umfasst aber diese sind der Deutlichkeit der Zeichnung wegen nicht dargestellt. Der Server 102 umfasst einen Quellencodierer 108 und einen Kanalcodierer 110. Der Kunde 104 umfasst einen Kanaldecoder 112 und einen Quellendecoder 114. Der Quellencodierer 108 wird als ein Content-Erzeugungswerkzeug betrachtet. So kann dies beispielsweise ein Werkzeug sein, das die VRLM Animationsdaten von den (nicht dargestellten) Bewegungseinfanganordnungen, die mit Video arbeiten, erzeugt. Der Kanalcodierer 110 ist ein Subsystem, das als Eingang die VRLM Animation nimmt, die in dem Quellencodierer 108 erzeugt wird und transformiert diese Animation zu einer Form, die über das Internet transportiert werden kann. Die VRLM Animationsdaten werden in einer Datei gespeichert. Der Transport dieser Datei benutzt ein Standard-Dateitransportprotokoll. Beim Kunden 104 befindet sich der Kanaldecoder in einem externen Programm 116. Er erhält die Animationsdaten aus der herunter geladenen Datei und sendet diese zu einem VRLM Spieler 118, der die Quellendecoderfunktion erfüllt. Die Quellendecoderfunktion ist im Wesentlichen eine Verwaltung der Szenengraphik. Diese Server-Kunde-Kommunikationsprozedur ist nicht eine Streaming-Lösung. Die Spezifikation von VRLM betrachtet Streaming nicht als eine Anforderung. Möglichkeiten, wie Synchronisation zwischen Streams und Zeitmarkierung, beide wesentlich für Streaming, gibt es in VRLM nicht.
  • 2 ist ein Blockschaltbild eines Kunde-Server-Systems 200 auf Basis von MPEG-4. Das System 200 hat einen Server 202, der über einen Kommunikationskanal 206 mit einem Kunden 204 gekoppelt ist. Der Server 202 hat einen Quellencodierer 208 und einen Kanalcodierer 210. Der Kunde 204 hat einen Kanaldecoder 212 und einen Quellendecoder 214. Wie oben erwähnt, ist MPEG-4 entworfen zum Unterstützen von Streaming. MPEG-4 hat u. a. ein binäres Beschreibungsformat für Szenen definiert (BIFS), das mit VRLM 97 eine große Überlappung hat. Weiterhin definiert MPEG-4 zwei Server/Kunde Protokolle zum Aktualisieren und zum Animieren von Szenen, und zwar BIFS-Update und BIFS-Anim. Vorteile von MPEG-4 gegenüber VRLM im Kontext von Streaming ist die Codierung der Szenenbeschreibungs- und der Animationsdaten sowie der eingebauten Streaming-Fähigkeit. Der Quellencodierer 208 ist entsprechend dem Codierer 108 ein Content-Erzeugungswerkzeug. Der Kanalcodierer 210 ist anders als der Kanalcodierer 110. Er erzeugt einen Bitstrom in BIFS- und BIFS-Anim-Format. Dieser Bitstrom enthält die Graphikmodelle der Spieler und des Stadions (in der Fußballwettkampfanimation) sowie die Animationsdaten.
  • Die beiden Systeme 100 und 200 aber haben einige wesentliche Nachteile, wenn sie in einer Umgebung für Aussendung von Animation zu einer Vielzahl von Kunden, sagen wird 100 bis 100.000 Kunden angewandt werden. Die Beschränkungen beziehen sich auf die Verwendung von Netzwerkbandbreite, Verschleierung von Paketverlusten und Mehrfach-Benutzer-Interaktivität, wie bereits oben erwähnt.
  • Eine bevorzugte Ausführungsform der vorliegenden Erfindung schafft eine Lösung für diese Probleme durch Emulierung des Streamings unter Anwendung eines Kommunikationsprotokolls, das die gemeinsame Benutzung von Objekten durch einen Objektinhaber und einen Objektzuschauer (oder Objekthörer) unterstützt. Ein gemeinsam benutztes Objekt ist eine Datenstruktur, die Zustandsinformation enthält. Der Satz mit gemeinsam benutzten Objekten, der den ganzen Zustand definiert, wird als Weltmodell bezeichnet. Die Kunden und der Server haben ihre eigene Kopie des Weltmodells. So ist beispielsweise ein Objekt im Kontext einer Fußballwettkampfdarstellung die Darstellung eines Fußballspielers. Die Zustandsinformation des Objekts ist dann beispielsweise die Position des Fußballspielers in 3D Raum oder ein Aktionszustand, wie "Laufen", "Springen", "Sliding", oder "auf dem Boden liegen, scheinbar verletzt, spielt aber Komödie". Jedes gemeinsam benutztes Objekt gehört zu einer bestimmten Partei, beispielsweise dem Server. Der Inhaber kann die Zustandsinformation in dem Objekt ändern. Wenn dies passiert, synchronisiert das Protokoll automatisch die Zustandsinformation über das Netzwerk. Ein derartiges Protokoll wird in diesem Zusammenhang als ein das gemeinsam benutzte Objekt unterstützendes Protokoll bezeichnet. Das Protokoll gewährleistet, dass alle Weltmodellkopien nach wie vor bestehen, wenn der Zustand des Weltmodells sich entwickelt. Beispiele von Protokollen, die dazu verwendet werden können sind DIS ("Distributed Interactive Simulation") und ISTP ("Interaktive Sharing Transfer Protocol"). Ein unterliegender Grundgedanke ist, die Animation als eine Folge von Zuständen zu beschreiben. So ist beispielsweise in der Fußballsoftwareapplikation die Animation als eine Folge von Spielerpositionen auf dem Platz und als Aktionszustände der Spieler beschrieben worden. Der Zustand zu einem bestimmten Zeitpunkt wird durch das Weltmodell dargestellt. Mit dem Fortschreiten der Zeit entwickelt sich der Zustand und das Protokoll synchronisiert den Zustand des Weltmodells über das Netzwerk. Dies kann auch in Termen gemeinsam benutzter Objekte erläutert werden. Diese Objekte enthalten die Zustandsinformation, die das Spiel zu einem bestimmten Zeitpunkt beschreibt. Aktualisierungen der Zustandsinformation für jedes Objekt führt zu der Erzeugung von Nachrichten, die über das Netzwerk den Kunden zugeführt werden.
  • 3 ist ein Blockschaltbild eines Systems 300 nach der vorliegenden Erfindung. Das System 300 umfasst einen Server 302, der über ein Netzwerk 306 mit einem Kunden 304 gekoppelt ist. Der Server 302 umfasst einen Quellencodierer 308 und einen Kanalcodierer 310. Der Kunde 304 umfasst einen Kanaldecoder 312 und einen Quellende coder 314. Der Server 302 hat eine Kopie 316 eines Weltmodells und der Kunde 304 hat eine Kopie 318 des Weltmodells. Daten werden dem Quellencodierer 308 an dem Eingang 320 zugestreamt. Der Quellencodierer 308 erzeugt die erforderliche Zustandsinformation auf Basis der empfangenen Eingabe und aktualisiert den Zustand der Objekte in der Kopie 316 des Weltmodells je nachdem der Streamingprozess sich fortsetzt. Diese Art von Technologie wird beispielsweise durch das oben genannte "VirtuaLive Soccer" System angewandt. Der Kanalcodierer 310 überwacht die Weltmodellkopie 316 und codiert die Zustandsänderungen der gemeinsam benutzten Objekte. Die codierten Zustandsänderungen werden dem Kunden 304 über das Netzwerk 306 zugeführt. Der Kanaldecoder empfängt die Zustandsänderungen und aktualisiert die örtliche Weltmodellkopie 318. Der Quellendecoder 314 führt zwei Aufgaben durch. Erstens erzeugt er die Animation auf Basis der empfangenen Zustandsinformation. Zweitens bewältigt der Quellendecoder 314 die Szenengraphik entsprechend der Animation. Der Quellendecoder 314 ist nun ein intelligentes Element: er führt Animationsberechnungen durch und außerdem ist er imstande, andere Aufgaben, wie Zustandsinterpolation oder Extrapolation zum Verschleiern von Paketverlusten oder Netzwerklatenzschwankungen zu erledigen.
  • In diesem Kontext sei verwiesen auf die US Patentanmeldung Nr. 08/722.414 (PHA 23.155) der Anmelderin mit dem Titel: " Multi-player video game with local updates mitigates latency effects", durch Bezeichnung als hierin aufgenommen betrachtet. Das Bezugsmaterial beschreibt ein System, bei dem mehrere Benutzer über eine interaktive Softwareapplikation gemeinsam eine virtuelle Umgebung benutzen. Zustandsänderungen eines bestimmten Benutzers werden je nach betreffenden relativen Abständen in der virtuellen Umgebung zwischen dem betreffenden Benutzer und jedem der anderen Benutzer zu einem oder mehreren anderen Benutzern übertragen. Diese bedingte Übertragung reduziert den Nachrichtenverkehr und ermöglicht es, die virtuelle Umgebung praktisch unendlich zu skalieren.
  • Auch sei verwiesen auf US Patentanmeldung Nr. 08/722.413 (PHA 23.156) der Anmelderin mit dem Titel: "Latency effect in multi-player video game reduced by surrogate agent" und durch Bezeichnung als hierin aufgenommen betrachtet. Dieses Dokument bezieht sich auf ein Datenverarbeitungssystem, das eine interaktive Softwareapplikation für einen Wettkampf zwischen zwei oder mehr Spielern verarbeitet. Das System umfasst Benutzerschnittstellenanordnungen zur Betätigung durch betreffende Benutzer. Um Latenz effektiv zu eliminieren wird ein Benutzer in den Anordnungen der anderen Benutzer als ein Agent dargestellt, dessen Reaktion auf eine Aktion des anderen Benutzers durch eine Regelbasis gesteuert wird, die in dem System gespeichert ist.
  • Weiterhin sei verwiesen auf US Patentanmeldung Nr. 08/994,827 (PHA 23,319) der Anmeldering und durch Bezeichnung als hierin aufgenommen betrachtet, mit dem Titel: "Diversion agent uses cinematographic techniques to mask latency". Diese Dokument bezieht sich auf einen Software-Agenten als einen funktionellen Teil einer benutzerinteraktiven Softwareapplikation, die in einem Datenverarbeitungssystem läuft. Der Agent schafft einen vom Benutzer wahrnehmbaren Effekt um Latenz in der Lieferung von Daten zu dem Benutzer zu maskieren. Der Agent schafft den Effekt unter Anwendung von kinematographischen Techniken.
  • Es sei bemerkt, dass Kopien 316 und 318 des Weltmodells nicht identisch zu sein brauchen, beispielsweise in der Erscheinung, wenn erstellt, solange ein Objekt in der einen Kopie des Weltmodells und ein anderes Objekt in einer anderen Kopie des Weltmodells derart behandelt werden, als gemeinsam benutzt, in dem Sinne, dass sie ihre Zustandsänderungen gemeinsam benutzen. Die Wahrscheinlichkeit und der Umfang einer Nichtidentität ist applikationsabhängig. Wenn beispielsweise der Benutzer des einen Kunden die Fußballspieler als, sagen wir, Pinguine darstellen möchte, und der andere Benutzer des Kunden eine Darstellung von, sagen wird, Balletttänzern bevorzugt, werden die Darstellungen bei den beiden Kunden durch das ganze System konsistent gehalten, und zwar mit Hilfe der gemeinsam benutzten Zustandsänderungen. So kann in einem anderen Beispiel der Kunde 304 dem Benutzer die Möglichkeit bieten, zusätzliche Zustandsinformation einzugeben um die Aufbereitung des Weltmodells im Spiel zu steuern. So kann beispielsweise der Benutzer einen bestimmten Standpunkt wählen, wenn er sich den VirtuaLive Fußballwettkampf anschaut. Diese Zustandsinformation ist nicht in dem Server 302 vorhanden und braucht auch nicht darin vorhanden zu sein. Es sei bemerkt, dass die Aufbereitung des Standpunktes auf Basis der Zustandsinformation und des Weltmodells viel weniger kompliziert ist und weniger Mittel erfordert als wenn das Bild wirklich in den Kunden 304 als Bitmap mit Tiefeninformation gestreamt wurde. Auf entsprechende Art und Weise ermöglicht die vorliegende Erfindung nebst den oben genannten Vorteilen der vorliegenden Erfindung Bennutzerinteraktivität.
  • Die Konfiguration des Systems 300 setzt voraus, dass der Kunde 304 imstande ist, eine Software-Applikation laufen zu lassen und hat eine ausreichend kräftige CPU und einen ausreichend großen Speicher. Es kann sein, dass einige Kunden diese Fähigkeiten nicht im Haus haben. Es ist deswegen erwünscht, "lower-End-Terminals" zu erwägen, auch als "dünne Kunden" bezeichnet. Derartige Terminals können beispielsweise "low-profile"-MPEG-4 Terminals sein, die einen BIFS-Stream als Eingabe akzeptieren, die aber nicht stark genug sind. Dies wird anhand der 4 näher erläutert, wobei es sich umein Blockschaltbild eines Systems 400 nach der vorliegenden Erfindung handelt. Das System 400 umfasst einen Server 302, der über eine Übersetzerstation 406 mit dem Kunden 204 kommuniziert. Die Konfiguration des Servers 302 und des Kunden 204 ist oben bereits beschrieben worden. Die Übersetzerstation 406 behält eine örtliche Kopie des Weltmodells bei. Dieses Weltmodell wird durch die Nachrichten von dem Server 302 aktualisiert, so dass das Modell den aktuellen Zustand darstellt. Auf Basis dieser Zustandsinformation berechnet die Übersetzerstation 406 die Animation. Die Animationsdaten werden in BIFS-Anim-Format codiert und zu dem MPEGG-4 Kunden 204 übertragen. Der Server 302 entspricht dem aus dem System 300. Die Übersetzerstation 406 ist ein Modul, das eine Umwandlung zwischen Nachrichten, die unter dem Unterstützungsprotokoll des gemeinsam benutzten Objektes einerseits übertragen werden, und dem BIFS-Anim-Bitstrom andererseits durchführt. Die Station 406 hat einen oben beschriebenen Kanaldecoder 312, einen Quellentranscodierer 410 und einen Kanalcodierer 412. Der Decoder 312 interpretiert die Nachrichten von dem Server 302 und aktualisiert die örtliche Kopie des Weltmodells 318. Der Quellentranscodierer 410 umfasst ein Programm, das die Animation berechnet, und zwar auf Basis der Zustandsinformation. Dieses Modul erledigt vorzugsweise derartige Aufgaben wie Paketverlustwiederherstellung (auf Basis von Interpolation oder Extrapolation), ungefährer Berechnung, örtlicher Animation, usw. entsprechend dem oben genannten Quellendecoder 314. Der Kanalcodierer 412 erzeugt einen Bitstrom in BIFS-Anim-Formaten auf Basis des Ausgangs des Quellentranscodierers 410.
  • 5 ist ein Blockschaltbild eines Systems 500 nach der vorliegenden Erfindung. Das System 500 kombiniert die Konfigurationen der Systeme 300 und 400. Das System 500 umfasst einen Server 302, ein Netzwerk 502, Kunden 504, 506, 508 und 510, die über das Netzwerk 502 mit dem Server 302 verbunden sind. Das System 500 umfasst weiterhin eine Übersetzerstation 406 und Kunden 512, 514 und 516. Die Kunden 512–516 sind über das Netzwerk 502 und die Übersetzerstation 406 mit dem Server 302 gekoppelt. Die Kunden 512–516 werden von der Übersetzerstation 406 mit den BIFS-Biströmen bedient, während die Kunden 504–510 die Zustandsinformation in einem Protokoll empfangen, das gemeinsam benutzte Objekte unterstützt und die Animation selber erzeugen.
  • 6 ist ein Blockschaltbild eines Systems 600 nach der vorliegenden Erfindung, das Interaktion unter Kunden ermöglicht. Das System 600 umfasst einen Server 302, der über das Netzwerk 606 mit den Kunden 602 und 604 gekoppelt ist. Die Konfiguration des Servers 302 ist bereits oben beschrieben worden. Der Server 302 hat eine Kopie eines Weltmodells mit den Objekten 608, 610, 612 und 614. Die Kunden 602 und 604 haben gleiche Kopien des Weltmodells mit gleichen Objekten 608–614. Die Kopien des Weltmodells werden durch das ganze System 600 hindurch konsistent gehalten durch Zustandsinformation, die von dem Server 302 gesendet wird. Dies bildet die Basis der Emulation von Streaming einer Graphikanimation, einer Video-Animation oder einer Audiodatei, wie oben beschrieben. Die Kunden 602 und 604 benutzen nun auch gemeinsam die Objekte 616 und 618 miteinander, aber nicht mit dem Server 302. So ist beispielsweise der Kunde 602 Inhaber eines Objektes "Viewpoint", das das Bild der Graphikdarstellung des von dem Kunden 602 gewählten Fußballwettkampes darstellt. Auf Basis der von dem Server 302 empfangenen Zustandsinformation bereitet der Kunde 602 ein Graphikbild des Wettkampfes auf, als wäre es von einem bestimmten Standpunkt in dem Stadion aus gesehen. Die Aufbereitung des Bildes basiert auf der Kombination von aktueller, von dem Server 302 empfangener Zustandsinformation, der örtlichen Kopie des Weltmodells und den über die Benutzereingabemittel 620, beispielsweise mit Hilfe eines Joysticks oder einer Maus, vom Benutzer eingegebenen Daten, wodurch eine Selektion des Standpunktes ermöglicht wird. Der Kunde 604 teilt sich das Standpunktobjekt, das konsistent gehalten wird, mit einem beim Kunden 602 unter Ansteuerung des letzteren und unter Verwendung des Unterstützungsprotokolls des gemeinsam benutzten Objektes. Die Objekte 616–618 werden nicht mit anderen Kunden in dem System gemeinsam benutzt. Es sei bemerkt, dass die Aufbereitung des Gesichtspunktes auf Basis der Zustandsinformation und des Weltmodells viel weniger kompliziert ist und weniger Mittel erfordert als wenn das Bild wirklich in die Kunden 602 und 604 als Bitmap mit Tiefeninformation gestreamt würde. Das System 600 kann sogar ein völlig verteiltes System sein ohne einen Server mit Haupteigentümerschaft. Jeder betreffende Kunde der vielen Kunden besitzt bestimmte Objekte in dem Weltmodell, das von allen Kunden wahrgenommen werden kann. Der Inhaber eines Objektes triggert eine Zustandsänderung, die über das Netzwerk fortgepflanzt wird um die Konsistenz in dem gemeinsam benutzten Weltmodell beizubehalten. In einer Mehrfachbenutzerapplikation ist der Effekt ein kontinuierliches Spiel bei jedem Kunden ohne große Bandbreitenbegrenzungen infolge der Emulation von Streaming der Animation.
  • 6
    • 620
    Benutzereingabe

Claims (7)

  1. Verfahren zum Emulieren von Streaming einer Multimedia-Datei mit Daten, die ein Weltmodell beschreiben, von einem Server über ein Netzwerk zu einer Empfangsstation, wobei der Server eine erste Kopie des Weltmodells hat und die Empfangsstation eine zweite Kopie des Weltmodells hat, wobei das Verfahren die nachfolgenden Verfahrensschritte aufweist: – das Erhalten von Zustandsänderungen des Weltmodells in Bezug auf die erste Kopie, – das Senden der Zustandsänderungen zu der Empfangsstation, – das Aktualisieren der zweiten Kopie auf Basis der empfangenen Zustandsänderungen, – das Erzeugen der Multimedia-Datei auf Basis der aktualisierten zweiten Kopie und der empfangenen Zustandsänderungen.
  2. Verfahren nach Anspruch 1, das die Anwendung eines gemeinsamen Projektprotokolls zum Übermitteln der Zustandsänderungen zu der Empfangsstation umfasst.
  3. Verfahren nach Anspruch 1, wobei die Zustandsänderungen zu vielen Empfangsstationen übertragen werden.
  4. Verfahren nach Anspruch 1, wobei die Datei graphische Animation enthält.
  5. Verfahren an 1, wobei die Datei Audio enthält.
  6. Verfahren nach Anspruch 1, wobei die Datei Video enthält.
  7. Station (406) zur Verwendung in einem Kunde-Server-System (400), wobei der Server (302) mit wenigstens einem Kunden (204) gekoppelt ist und wobei das System dazu vorgesehen ist, eine Multimedia-Datei mit Daten, die ein Weltmodell beschreiben, von dem Server über ein Netzwerk zu der Station zu streamen, wobei die Station Folgendes enthält: – eine örtliche Kopie (318) des Weltmodells, – Mittel (312) zum Empfangen von Zustandsänderungen des Weltmodells, – Mittel (410) zum Erzeugen der Multimedia-Datei auf Basis der empfangenen Zustandsänderungen, – Mittel (412) zum Streamen der erzeugten Datei zu dem wenigstens einen Kunden (204).
DE69928642T 1998-08-24 1999-08-06 Emulation von strömung über internet in einer rundfunkanwendung Expired - Lifetime DE69928642T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/138,782 US6697869B1 (en) 1998-08-24 1998-08-24 Emulation of streaming over the internet in a broadcast application
US138782 1998-08-24
PCT/EP1999/005775 WO2000011847A1 (en) 1998-08-24 1999-08-06 Emulation of streaming over the internet in a broadcast application

Publications (2)

Publication Number Publication Date
DE69928642D1 DE69928642D1 (de) 2006-01-05
DE69928642T2 true DE69928642T2 (de) 2006-08-10

Family

ID=22483621

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69928642T Expired - Lifetime DE69928642T2 (de) 1998-08-24 1999-08-06 Emulation von strömung über internet in einer rundfunkanwendung

Country Status (12)

Country Link
US (2) US6697869B1 (de)
EP (1) EP1048159B1 (de)
JP (2) JP2002523980A (de)
KR (2) KR100791795B1 (de)
CN (1) CN1134958C (de)
AR (1) AR056899A1 (de)
BR (1) BR9906766A (de)
CA (1) CA2306785C (de)
DE (1) DE69928642T2 (de)
TR (1) TR200001074T1 (de)
TW (1) TW480857B (de)
WO (1) WO2000011847A1 (de)

Families Citing this family (173)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453334B1 (en) 1997-06-16 2002-09-17 Streamtheory, Inc. Method and apparatus to allow remotely located computer programs and/or data to be accessed on a local computer in a secure, time-limited manner, with persistent caching
US6654931B1 (en) 1998-01-27 2003-11-25 At&T Corp. Systems and methods for playing, browsing and interacting with MPEG-4 coded audio-visual objects
US7565905B2 (en) * 1998-06-03 2009-07-28 Scott Laboratories, Inc. Apparatuses and methods for automatically assessing and monitoring a patient's responsiveness
GB2347332B (en) * 1998-10-28 2003-07-09 Canon Kk Computer games apparatus
AUPQ108799A0 (en) * 1999-06-21 1999-07-15 Unisearch Limited Progressive multi-frame animation software for web objects
US6934906B1 (en) * 1999-07-08 2005-08-23 At&T Corp. Methods and apparatus for integrating external applications into an MPEG-4 scene
JP4389323B2 (ja) * 2000-02-29 2009-12-24 ソニー株式会社 シーン記述変換装置及び方法
JP2001243043A (ja) * 2000-02-29 2001-09-07 Sony Corp ユーザインタフェースシステム、シーン記述生成装置及び方法、シーン記述変換装置及び方法、記録媒体並びに伝送媒体
US7328239B1 (en) 2000-03-01 2008-02-05 Intercall, Inc. Method and apparatus for automatically data streaming a multiparty conference session
US6948131B1 (en) * 2000-03-08 2005-09-20 Vidiator Enterprises Inc. Communication system and method including rich media tools
JP2002051334A (ja) * 2000-08-01 2002-02-15 Sanyo Electric Co Ltd データ送信装置、データ受信装置及びデータ送受信システム
KR100429838B1 (ko) * 2000-03-14 2004-05-03 삼성전자주식회사 인터랙티브 멀티미디어 콘텐츠 서비스에서 업스트림채널을 이용한 사용자 요구 처리방법 및 그 장치
FR2807268A1 (fr) * 2000-04-04 2001-10-05 Koninkl Philips Electronics Nv Reseau, terminal d'emission et methode de constitution d'un point d'acces dans un flux de donnees
US8296805B2 (en) * 2000-05-30 2012-10-23 Sony Corporation Command description scheme providing for dynamic update of instance documents and their associated schema
EP1311946B1 (de) * 2000-07-27 2017-12-27 Oracle International Corporation System und verfahren zur konzentration und zum lastausgleich von anforderungen
GR20000100267A (el) * 2000-08-01 2002-05-24 Θεοδωρου Χρηστος Μαγκος Αμφιδρομη επικοινωνια εικονικου χαρακτηρα με τους θεατες
FI112307B (fi) 2000-08-02 2003-11-14 Nokia Corp Viestintäpalvelu
US6788300B2 (en) * 2000-08-09 2004-09-07 The Board Of Trustees Of The Leland Stanford Junior University Virtual interactive solids with dynamic multimedia
US6934334B2 (en) * 2000-10-02 2005-08-23 Kabushiki Kaisha Toshiba Method of transcoding encoded video data and apparatus which transcodes encoded video data
US20020083183A1 (en) * 2000-11-06 2002-06-27 Sanjay Pujare Conventionally coded application conversion system for streamed delivery and execution
US8831995B2 (en) * 2000-11-06 2014-09-09 Numecent Holdings, Inc. Optimized server for streamed applications
US20020087883A1 (en) * 2000-11-06 2002-07-04 Curt Wohlgemuth Anti-piracy system for remotely served computer applications
US7062567B2 (en) 2000-11-06 2006-06-13 Endeavors Technology, Inc. Intelligent network streaming and execution system for conventionally coded applications
US7451196B1 (en) 2000-12-15 2008-11-11 Stream Theory, Inc. Method and system for executing a software application in a virtual environment
GB0031157D0 (en) * 2000-12-20 2001-01-31 Ncr Int Inc Streaming of data
FR2823343B1 (fr) * 2001-04-05 2003-07-04 Cit Alcatel Dispositif de generation d'un fichier multimedia a destination d'un terminal de telecommunications et fichier multimedia associe
EP1258837A1 (de) * 2001-05-14 2002-11-20 Thomson Licensing S.A. Verfahren zur Erzeugung eines gegenseitigen fotometrischen Effektes
US7216288B2 (en) * 2001-06-27 2007-05-08 International Business Machines Corporation Dynamic scene description emulation for playback of audio/visual streams on a scene description based playback system
KR20030035138A (ko) * 2001-10-30 2003-05-09 한국전자통신연구원 클라이언트-서버 기반 네트워크 가상환경에서 상태정보의전송 방법
KR100497497B1 (ko) * 2001-12-27 2005-07-01 삼성전자주식회사 엠펙 데이터의 송수신시스템 및 송수신방법
US7269543B2 (en) * 2002-02-25 2007-09-11 Zoran Corporation System and method for providing network connectivity to a common embedded interface by stimulating the embedded interface
US7505889B2 (en) * 2002-02-25 2009-03-17 Zoran Corporation Transcoding media system
KR100930340B1 (ko) * 2002-06-07 2009-12-08 엘지전자 주식회사 대화형 광디스크 장치에서의 채팅 데이터 재생방법과,콘텐츠 제공서버에서의 채팅 데이터 제공방법
DE60222890T2 (de) 2002-08-12 2008-02-07 Alcatel Lucent Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht
US20040049624A1 (en) * 2002-09-06 2004-03-11 Oak Technology, Inc. Network to computer internal interface
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US20110126255A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US20110122063A1 (en) * 2002-12-10 2011-05-26 Onlive, Inc. System and method for remote-hosted video effects
US8468575B2 (en) 2002-12-10 2013-06-18 Ol2, Inc. System for recursive recombination of streaming interactive video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9314691B2 (en) * 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9003461B2 (en) 2002-12-10 2015-04-07 Ol2, Inc. Streaming interactive video integrated with recorded video segments
US9032465B2 (en) * 2002-12-10 2015-05-12 Ol2, Inc. Method for multicasting views of real-time streaming interactive video
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US9061207B2 (en) 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US8526490B2 (en) * 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8661496B2 (en) 2002-12-10 2014-02-25 Ol2, Inc. System for combining a plurality of views of real-time streaming interactive video
US8495678B2 (en) 2002-12-10 2013-07-23 Ol2, Inc. System for reporting recorded video preceding system failures
US8832772B2 (en) 2002-12-10 2014-09-09 Ol2, Inc. System for combining recorded application state with application streaming interactive video output
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US8893207B2 (en) 2002-12-10 2014-11-18 Ol2, Inc. System and method for compressing streaming interactive video
US10201760B2 (en) * 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US8840475B2 (en) * 2002-12-10 2014-09-23 Ol2, Inc. Method for user session transitioning among streaming interactive video servers
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US20090118019A1 (en) 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8549574B2 (en) * 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8387099B2 (en) * 2002-12-10 2013-02-26 Ol2, Inc. System for acceleration of web page delivery
US7426539B2 (en) * 2003-01-09 2008-09-16 Sony Computer Entertainment America Inc. Dynamic bandwidth control
TW589892B (en) * 2003-03-12 2004-06-01 Asustek Comp Inc Instant video conferencing method, system and storage medium implemented in web game using A/V synchronization technology
US8264489B2 (en) * 2003-07-11 2012-09-11 Intel Corporation Interface remoting
WO2005009566A2 (en) * 2003-07-17 2005-02-03 Fabricio Vayra Method and system for interaction with real-time events from a remote location, through use of a computer, game console or other module
KR100695126B1 (ko) * 2003-12-02 2007-03-14 삼성전자주식회사 그래픽 데이터 압축에 관한 메타표현을 이용한 입력파일생성 방법 및 시스템과, ａｆｘ부호화 방법 및 장치
US20050130725A1 (en) * 2003-12-15 2005-06-16 International Business Machines Corporation Combined virtual and video game
US8965460B1 (en) * 2004-01-30 2015-02-24 Ip Holdings, Inc. Image and augmented reality based networks using mobile devices and intelligent electronic glasses
US11455799B2 (en) 2004-01-30 2022-09-27 Airspace Reality Image networks for mobile communication
US10140514B1 (en) 2004-01-30 2018-11-27 Ip Holdings, Inc. Capturing and sharing images with mobile device users including for a limited duration of time
US20050273804A1 (en) * 2004-05-12 2005-12-08 Showtime Networks Inc. Animated interactive polling system, method, and computer program product
US8870639B2 (en) 2004-06-28 2014-10-28 Winview, Inc. Methods and apparatus for distributed gaming over a mobile device
US8376855B2 (en) 2004-06-28 2013-02-19 Winview, Inc. Methods and apparatus for distributed gaming over a mobile device
US10226698B1 (en) 2004-07-14 2019-03-12 Winview, Inc. Game of skill played by remote participants utilizing wireless devices in connection with a common game event
US20060048136A1 (en) * 2004-08-25 2006-03-02 Vries Jeff D Interception-based resource detection system
EP1789958A4 (de) * 2004-09-13 2009-12-09 Lg Electronics Inc Verfahren und vorrichtung zum wiedergeben von in einem aufzeichnungsmedium aufgezeichneten daten unter verwendung einer lokalen speicherung
US20060077817A1 (en) * 2004-09-13 2006-04-13 Seo Kang S Method and apparatus for reproducing data from recording medium using local storage
US7240162B2 (en) 2004-10-22 2007-07-03 Stream Theory, Inc. System and method for predictive streaming
WO2006050197A2 (en) * 2004-10-28 2006-05-11 Accelerated Pictures, Llc Camera and animation controller, systems and methods
WO2006055445A2 (en) * 2004-11-13 2006-05-26 Stream Theory, Inc. Hybrid local/remote streaming
US7695369B2 (en) * 2004-11-22 2010-04-13 Planetwide Games, Inc. Systems and methods for accessing online content during online gaming
CN101065171B (zh) * 2004-11-26 2010-09-29 世嘉股份有限公司 信息处理装置及数据处理方法
KR20060081323A (ko) * 2005-01-07 2006-07-12 엘지전자 주식회사 로컬 스토리지를 이용한 기록매체 재생방법 및 재생장치
US20060218165A1 (en) * 2005-03-23 2006-09-28 Vries Jeffrey De Explicit overlay integration rules
US8024523B2 (en) 2007-11-07 2011-09-20 Endeavors Technologies, Inc. Opportunistic block transmission with time constraints
US9716609B2 (en) * 2005-03-23 2017-07-25 Numecent Holdings, Inc. System and method for tracking changes to files in streaming applications
US20060230428A1 (en) * 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
US10721543B2 (en) 2005-06-20 2020-07-21 Winview, Inc. Method of and system for managing client resources and assets for activities on computing devices
US8284842B2 (en) 2005-07-08 2012-10-09 Activevideo Networks, Inc. Video game system using pre-encoded macro-blocks and a reference grid
US9061206B2 (en) * 2005-07-08 2015-06-23 Activevideo Networks, Inc. Video game system using pre-generated motion vectors
US8118676B2 (en) * 2005-07-08 2012-02-21 Activevideo Networks, Inc. Video game system using pre-encoded macro-blocks
US8270439B2 (en) * 2005-07-08 2012-09-18 Activevideo Networks, Inc. Video game system using pre-encoded digital audio mixing
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
US9511287B2 (en) 2005-10-03 2016-12-06 Winview, Inc. Cellular phone games based upon television archives
US9919210B2 (en) 2005-10-03 2018-03-20 Winview, Inc. Synchronized gaming and programming
US8149530B1 (en) 2006-04-12 2012-04-03 Winview, Inc. Methodology for equalizing systemic latencies in television reception in connection with games of skill played in connection with live television programming
US8577953B2 (en) * 2005-12-09 2013-11-05 At&T Intellectual Property I, Lp System and method for providing multimedia services
US9056251B2 (en) 2006-01-10 2015-06-16 Winview, Inc. Method of and system for conducting multiple contests of skill with a single performance
US10556183B2 (en) 2006-01-10 2020-02-11 Winview, Inc. Method of and system for conducting multiple contest of skill with a single performance
US8002618B1 (en) 2006-01-10 2011-08-23 Winview, Inc. Method of and system for conducting multiple contests of skill with a single performance
US20070238526A1 (en) * 2006-03-31 2007-10-11 Chandranmenon Girish P Methods and devices for exchanging messages in an always-on network
US11082746B2 (en) * 2006-04-12 2021-08-03 Winview, Inc. Synchronized gaming and programming
US20070265094A1 (en) * 2006-05-10 2007-11-15 Norio Tone System and Method for Streaming Games and Services to Gaming Devices
US7841946B2 (en) 2006-06-29 2010-11-30 Spawn Labs, Inc. System for remote game access
JP4064429B2 (ja) * 2006-07-26 2008-03-19 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム端末およびサーバ装置
JP4064430B2 (ja) * 2006-07-26 2008-03-19 株式会社コナミデジタルエンタテインメント ゲームシステム、ゲーム端末およびサーバ装置
US7880770B2 (en) * 2006-07-28 2011-02-01 Accelerated Pictures, Inc. Camera control
WO2008014487A2 (en) * 2006-07-28 2008-01-31 Accelerated Pictures, Inc. Scene organization in computer-assisted filmmaking
US8888592B1 (en) 2009-06-01 2014-11-18 Sony Computer Entertainment America Llc Voice overlay
US8261345B2 (en) 2006-10-23 2012-09-04 Endeavors Technologies, Inc. Rule-based application access management
US7925485B2 (en) * 2006-10-25 2011-04-12 International Business Machines Corporation System and apparatus for managing latency-sensitive interaction in virtual environments
WO2008088772A2 (en) 2007-01-12 2008-07-24 Ictv, Inc. Mpeg objects and systems and methods for using mpeg objects
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
WO2009026379A1 (en) * 2007-08-20 2009-02-26 Garagegames, Inc. System and method for hybridizing browser and game views
AU2008243102B2 (en) 2007-11-05 2012-01-19 Videobet Interactive Sweden AB A gaming system and a method of managing bandwidth usage in a gaming system
US8892738B2 (en) 2007-11-07 2014-11-18 Numecent Holdings, Inc. Deriving component statistics for a stream enabled application
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
US9498714B2 (en) * 2007-12-15 2016-11-22 Sony Interactive Entertainment America Llc Program mode switching
US8147339B1 (en) 2007-12-15 2012-04-03 Gaikai Inc. Systems and methods of serving game video
US8613673B2 (en) 2008-12-15 2013-12-24 Sony Computer Entertainment America Llc Intelligent game loading
US8968087B1 (en) 2009-06-01 2015-03-03 Sony Computer Entertainment America Llc Video game overlay
US8253728B1 (en) 2008-02-25 2012-08-28 Lucasfilm Entertainment Company Ltd. Reconstituting 3D scenes for retakes
US9716918B1 (en) 2008-11-10 2017-07-25 Winview, Inc. Interactive advertising system
KR101029425B1 (ko) * 2008-11-20 2011-04-14 엔에이치엔(주) 멀티 유저 네트워크 게임의 제작 시스템 및 방법
US8926435B2 (en) 2008-12-15 2015-01-06 Sony Computer Entertainment America Llc Dual-mode program execution
US8700072B2 (en) 2008-12-23 2014-04-15 At&T Mobility Ii Llc Scalable message fidelity
AU2010202024A1 (en) * 2009-05-22 2010-12-09 Aristocrat Technologies Australia Pty Limited A gaming system
US9723319B1 (en) 2009-06-01 2017-08-01 Sony Interactive Entertainment America Llc Differentiation for achieving buffered decoding and bufferless decoding
US8194862B2 (en) * 2009-07-31 2012-06-05 Activevideo Networks, Inc. Video game system with mixing of independent pre-encoded digital audio bitstreams
US20110256931A1 (en) * 2010-04-14 2011-10-20 Yazici Emre Player contributed dynamic network games
US8560331B1 (en) 2010-08-02 2013-10-15 Sony Computer Entertainment America Llc Audio acceleration
WO2012028198A1 (en) * 2010-09-03 2012-03-08 Nokia Siemens Networks Oy Media server and method for streaming media
CN110336850B (zh) 2010-09-13 2022-08-09 索尼互动娱乐美国有限责任公司 附加组件管理
KR20170129296A (ko) 2010-09-13 2017-11-24 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 비디오 서버 및 게임 서버를 포함하는 컴퓨터 게임 시스템에서 컴퓨터 게임을 제공하기 위한 방법 및 시스템
US12070680B2 (en) * 2010-09-13 2024-08-27 Sony Interactive Entertainment LLC Web-based game controller
JP5866125B2 (ja) 2010-10-14 2016-02-17 アクティブビデオ ネットワークス， インコーポレイテッド ケーブルテレビシステムを使用したビデオ装置間のデジタルビデオストリーミング
US10046241B1 (en) * 2010-11-01 2018-08-14 Ronald Charles Krosky Output production
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
EP2695388B1 (de) 2011-04-07 2017-06-07 ActiveVideo Networks, Inc. Latenzreduktion in videoverteilungsnetzwerken mit adaptiver bitrate
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US8715087B2 (en) * 2011-04-12 2014-05-06 David W. Rouille Video game including user determined location information
US8376860B1 (en) 2011-07-25 2013-02-19 Jari Boutin Game flicz systems
JP2015501984A (ja) 2011-11-21 2015-01-19 ナント ホールディングス アイピー，エルエルシー 加入請求書サービス、システムおよび方法
KR20130062463A (ko) 2011-11-25 2013-06-13 한국전자통신연구원 다중 사용자 및 멀티 플랫폼 지원을 위한 게임 스트리밍 시스템 및 방법
EP2800365B1 (de) * 2011-12-29 2019-02-27 Sony Interactive Entertainment Inc. Videowiedergabesystem
EP2815582B1 (de) 2012-01-09 2019-09-04 ActiveVideo Networks, Inc. Wiedergabe einer interaktiven vereinfachten benutzerschnittstelle auf einem fernsehgerät
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
HUE028841T2 (en) 2012-07-04 2017-01-30 Virtually Live (Switzerland) Gmbh Process and system for 3D rendering of real-time live scenes and a computer-readable device
US9418370B2 (en) 2012-10-23 2016-08-16 Google Inc. Obtaining event reviews
US8998719B1 (en) 2012-12-14 2015-04-07 Elbo, Inc. Network-enabled game controller
US10142496B1 (en) 2013-01-26 2018-11-27 Ip Holdings, Inc. Mobile device image capture and image modification including filters, superimposing and geofenced comments in augmented reality
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
EP3005712A1 (de) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Überlagerte darstellung einer benutzerschnittstelle auf quellvideoinhalten
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
CN104283698A (zh) * 2014-10-28 2015-01-14 用友优普信息技术有限公司 发送广播消息的装置和方法
US10395413B2 (en) * 2015-03-03 2019-08-27 Jeremy Flores Dynamic user interfaces
KR102203381B1 (ko) * 2015-07-24 2021-01-15 고릴라박스 게엠베하 아이. 지. 애플리케이션을 스트리밍하고 재생하기 위한 방법 및 전자통신 네트워크
US10565160B1 (en) * 2015-09-21 2020-02-18 Amazon Technologies, Inc. Managing state changes of modeled objects in a three dimensional virtual environment
US10476827B2 (en) 2015-09-28 2019-11-12 Google Llc Sharing images and image albums over a communication network
CN105263040A (zh) * 2015-10-08 2016-01-20 安徽理工大学 一种节省手机流量观看球赛直播的方法
US11551529B2 (en) 2016-07-20 2023-01-10 Winview, Inc. Method of generating separate contests of skill or chance from two independent events
US10432728B2 (en) 2017-05-17 2019-10-01 Google Llc Automatic image sharing with designated users over a communication network
US10357715B2 (en) * 2017-07-07 2019-07-23 Buxton Global Enterprises, Inc. Racing simulation
US11383164B2 (en) * 2018-02-23 2022-07-12 Rovi Guides, Inc. Systems and methods for creating a non-curated viewing perspective in a video game platform based on a curated viewing perspective
EP3773949A4 (de) 2018-04-06 2021-12-29 Novi Digital Entertainment Private Limited Synchronisierung einer online-spielumgebung mit video-streaming eines live-ereignisses
US11308765B2 (en) 2018-10-08 2022-04-19 Winview, Inc. Method and systems for reducing risk in setting odds for single fixed in-play propositions utilizing real time input
CN113034651B (zh) * 2021-03-18 2023-05-23 腾讯科技（深圳）有限公司 互动动画的播放方法、装置、设备及存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5701582A (en) * 1989-08-23 1997-12-23 Delta Beta Pty. Ltd. Method and apparatus for efficient transmissions of programs
WO1992000654A1 (en) * 1990-06-25 1992-01-09 Barstow David R A method for encoding and broadcasting information about live events using computer simulation and pattern matching techniques
US5659691A (en) 1993-09-23 1997-08-19 Virtual Universe Corporation Virtual reality network with selective distribution and updating of data to reduce bandwidth requirements
US5594856A (en) * 1994-08-25 1997-01-14 Girard; Michael Computer user interface for step-driven character animation
JP3632705B2 (ja) * 1994-08-31 2005-03-23 ソニー株式会社 対話型画像提供方法、サーバ装置、提供方法、ユーザ端末、受信方法、画像提供システム、および画像提供方法
US5668948A (en) * 1994-09-08 1997-09-16 International Business Machines Corporation Media streamer with control node enabling same isochronous streams to appear simultaneously at output ports or different streams to appear simultaneously at output ports
CA2153445C (en) * 1994-09-08 2002-05-21 Ashok Raj Saxena Video optimized media streamer user interface
JP3193263B2 (ja) * 1995-06-05 2001-07-30 日本電信電話株式会社 ３次元映像表示システム
US5754190A (en) * 1995-06-07 1998-05-19 Advanced Micro Devices System for reproducing images utilizing image libraries
JP3658797B2 (ja) * 1995-06-16 2005-06-08 ソニー株式会社 情報通信装置及び情報提供装置
US6020885A (en) * 1995-07-11 2000-02-01 Sony Corporation Three-dimensional virtual reality space sharing method and system using local and global object identification codes
JPH0981495A (ja) * 1995-07-11 1997-03-28 Sony Corp ３次元仮想現実空間共有方法、３次元仮想現実空間共有システム、情報記録媒体、情報記録方法、情報伝送媒体、情報伝送方法、情報処理方法、並びに共有サーバ端末
US5956028A (en) * 1995-09-14 1999-09-21 Fujitsu Ltd. Virtual space communication system, three-dimensional image display method, and apparatus therefor
US6219045B1 (en) * 1995-11-13 2001-04-17 Worlds, Inc. Scalable virtual world chat client-server system
GB9525047D0 (en) * 1995-12-07 1996-02-07 Philips Electronics Nv Virtual body control device
JP2000512039A (ja) * 1996-03-15 2000-09-12 ザパ デジタル アーツ リミテッド プログラム可能なコンピュータグラフィックオブジェクト
US5842216A (en) 1996-05-03 1998-11-24 Mitsubishi Electric Information Technology Center America, Inc. System for sending small positive data notification messages over a network to indicate that a recipient node should obtain a particular version of a particular data item
US5864678A (en) * 1996-05-08 1999-01-26 Apple Computer, Inc. System for detecting and reporting data flow imbalance between computers using grab rate outflow rate arrival rate and play rate
US5953506A (en) * 1996-12-17 1999-09-14 Adaptive Media Technologies Method and apparatus that provides a scalable media delivery system
US6055563A (en) * 1997-02-03 2000-04-25 Fujitsu Limited Transfer and display of virtual-world data
JP3472065B2 (ja) * 1997-03-17 2003-12-02 株式会社東芝 アニメーション生成装置およびアニメーション生成方法
US6331851B1 (en) * 1997-05-19 2001-12-18 Matsushita Electric Industrial Co., Ltd. Graphic display apparatus, synchronous reproduction method, and AV synchronous reproduction apparatus
US6006254A (en) * 1997-08-29 1999-12-21 Mitsubishi Electric Information Technology Center America, Inc. System for the reliable, fast, low-latency communication of object state updates over a computer network by combining lossy and lossless communications
US5996015A (en) * 1997-10-31 1999-11-30 International Business Machines Corporation Method of delivering seamless and continuous presentation of multimedia data files to a target device by assembling and concatenating multimedia segments in memory
US6157933A (en) * 1997-11-26 2000-12-05 International Business Machines Corporation Method and apparatus for loading multiple animated images on a web-page with limited network throughput
US5999944A (en) * 1998-02-27 1999-12-07 Oracle Corporation Method and apparatus for implementing dynamic VRML
US6208357B1 (en) * 1998-04-14 2001-03-27 Avid Technology, Inc. Method and apparatus for creating and animating characters having associated behavior
US6185602B1 (en) * 1998-06-29 2001-02-06 Sony Corporation Multi-user interaction of multimedia communication
US6215498B1 (en) * 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US6351267B1 (en) * 1998-12-10 2002-02-26 Gizmoz Ltd Fast transmission of graphic objects

Also Published As

Publication number Publication date
KR100791795B1 (ko) 2008-01-04
DE69928642D1 (de) 2006-01-05
KR20010031390A (ko) 2001-04-16
AR056899A1 (es) 2007-11-07
BR9906766A (pt) 2000-10-03
WO2000011847A1 (en) 2000-03-02
KR20010031391A (ko) 2001-04-16
CN1134958C (zh) 2004-01-14
TW480857B (en) 2002-03-21
EP1048159A1 (de) 2000-11-02
US20030037156A1 (en) 2003-02-20
US6557041B2 (en) 2003-04-29
US6697869B1 (en) 2004-02-24
JP2012147481A (ja) 2012-08-02
JP2002523980A (ja) 2002-07-30
TR200001074T1 (tr) 2000-11-21
KR100830852B1 (ko) 2008-05-21
CA2306785C (en) 2010-03-30
CN1277774A (zh) 2000-12-20
CA2306785A1 (en) 2000-03-02
EP1048159B1 (de) 2005-11-30

Similar Documents

Publication Publication Date Title
DE69928642T2 (de) Emulation von strömung über internet in einer rundfunkanwendung
DE60222890T2 (de) Verfahren und Vorrichtungen zur Implementerung von hochinteraktiven Unterhaltungsdiensten unter Verwendung der Medienströmungstechnologie, das die Bereitstellung auf Abstand von Virtuelle Realitätdiensten ermöglicht
DE69918571T2 (de) Verfahren und vorrichtung zur lieferung von in einem transportstrom eingebetteten bytekodes
DE60212339T2 (de) Ein digitales fernsehen anwendungsprotokoll zum interaktiven fernsehen
DE60310639T2 (de) Konsistente anpassung digitaler datengrössen (&#34;digital item&#34;) in mpeg-21 multimedia-systemen
DE10392598T5 (de) Unterstützung von fortschrittlichen Codierungsformaten in Mediendateien
JP2016001911A (ja) 被管理ネットワークを介したテレビ放送および非被管理ネットワークを介した双方向コンテンツのクライアントデバイスへの提供
JP2013516847A (ja) クライアントデバイスへのマネージドネットワーク上でのテレビ放送およびアンマネージドネットワーク上での双方向コンテンツの提供
DE10392282T5 (de) Verfahren und Vorrichtung zum Unterstützen von AVC in MP4
DE10353564A1 (de) Verfahren zur abschnittsweisen, diskontinuierlichen Übertragung von Daten in einem Netzwerk verteilter Stationen sowie Netzwerkteilnehmerstation als Anforderungsgerät bei der Durchführung eines solchen Verfahrens als auch Netzwerkteilnehmerstation als Quellgerät bei der Durchführung eines solchen Verfahrens
DE10392280T5 (de) Verfahren und Vorrichtung zum Unterstützen von AVC in MP4
DE112013007509T5 (de) Verfahren, Einrichtung und System zum Auswählen von Audio-Video-Daten zum Streamen
DE10031034B4 (de) Allgemein interaktive Rundsendungen und insbesondere Systeme zur Erzeugung von interaktiven Rundsendungen
JP5160704B2 (ja) 放送においてインターネットを介してストリーミングをエミュレーションするリアルタイム・ビデオゲーム
DE10392284T5 (de) Verfahren und Vorrichtung zum Unterstützen von AVC in MP4
DE60221636T2 (de) Verfahren und vorrichtung zur verwaltung von interaktionen im standard mpeg-4
DE69801998T2 (de) Signal der animation einer grafischen szene, entsprechende vorrichtung und verfahren
Hosseini et al. Suitability of MPEG4's BIFS for development of collaborative virtual environments
Laier et al. Content-based multimedia data access in Internet video communication
DE60120745T2 (de) Verfahren und gerät zur zusammenstellung von videoszenen aus verschiedenartigen daten
MXPA00003828A (en) Emulation of streaming over the internet in a broadcast application
EP1316922A1 (de) Adaptives Verfahren zur Anzeige einer graphischen Szene auf einem Bildschirm basierend auf einer Wavelet-Kodierung
DE102005052207A1 (de) Verfahren zum Übertragen von einem Datenstrom von einer Datenquelle zu einer Datensenke sowie Datensenkengerät, Datenquellgerät und Gerät zur Durchführung des Verfahrens
De Oliveira et al. Virtual Worlds-a virtual environment architecture
Pereira Visual data representation: recent achievements and future developments

Legal Events

Date Code Title Description
8364 No opposition during term of opposition