DE19825303A1 - System für virtuelle Szenen mit mehreren Kameras unter Verwendung von Standbildspeicherrahmenpuffern für jede Kamera - Google Patents

Description

Die Erfindung betrifft allgemein ein System für virtuelle Szenen, und insbesondere ein Verfahren und eine Einrichtung, durch welche ein zusammengesetztes Bild durch ein System mehrerer Kameras erzeugt wird, denen jeweils ein Rahmenpuffer zugeordnet ist, um virtuelle Bilddaten zur Erzeugung eines zusammengesetzten Bildes zu speichern, auf der Grundlage der Gesichtsfelddaten der zugeordneten Kamera und der virtuellen Bilddaten von dem Rahmenpuffer.

Die Berechnung virtueller Szenen ist auf dem Gebiet der computererzeugten Bilderzeugung bekannt. Eine virtuelle Szene kombiniert Szenen, die von einer Kamera betrachtet und aufgezeichnet werden, mit Szenenelementen (beispielsweise Kulissen) von irgendeiner anderen Quelle. Die von der Kamera aufgezeichneten Szenen sind typischerweise entweder sich bewegende oder ortsfeste Objekte, und die Szenen werden vor einer ebenen, farbigen Wand aufgenommen, die üblicherweise als "blaue Bühne" bezeichnet wird. Typischerweise weist die blaue Bühne die Farbe Blau oder Grün auf. Spezielle Geräte oder Verfahren werden dann dazu verwendet, die Kameraszenen mit den anderen Szenebestandteilen zu vereinigen. Die Vereinigung wird normalerweise unter Verwendung von Überlagerungsverfahren erzielt.

Eine typische Anwendung von Überlagerungsverfahren umfaßt die Vereinigung einer Kameraszene mit einer Hintergrundszene, wobei die Kameraszene eine lebende Person im Vordergrund ist, und die Hintergrundszene ein Bild oder ein Photo einer anderen Szene (eine "künstliche Szene"). Unter Verwendung dieser Vorgehensweisen wird alles in der Kameraszene, welches die Farbe der blauen Bühne aufweist (beispielsweise Blau), durch die künstliche Szene ersetzt. Vorzugsweise sieht das vereinigte Bild dann so aus, als ob sich die Person in der Hintergrundszene befindet.

Statt nur die Kameraszene vor einer zweidimensionalen Hintergrundszene anzuordnen (wobei sie deutlich sichtbar nicht mit der Hintergrundszene verschmilzt) ist es häufig erwünscht, daß die Kameraszene so aussieht, als befände sie sich in einer dreidimensionalen Umgebung (3D). In derartigen Fällen ist es erforderlich, mit beträchtlicher Genauigkeit genügend Information über die Kamera zu haben, um die Szene zu erzeugen, welche die Kamera "sieht", als wäre die Hintergrundszene tatsächlich ein Teil der Umgebung der Kamera. Die Hintergrundszene wird mit einer 3D-Graphikmaschine oder einem Computer erzeugt, häufig als Bildgenerator bezeichnet. Herkömmlicherweise weist ein Bildgenerator einen Rahmenpuffer auf, bei dem in jedem Zyklus eine Auffrischung der Daten erfolgt. Bei jeder Auffrischung erfordern es die voranstehend erwähnten Berechnungen, daß der Bildgenerator weiß, was eine Kamera "sieht", so daß der Bildgenerator die entsprechende Szene aus einer virtuellen Datenbank erzeugen kann. Die erforderliche Kamerainformation umfaßt Kenntnis der XYZ-Position, der Orientierung (Verschwenkung, Kippen, Rollen), des Gesichtsfelds (Zoom) und der Fokussierung.

Virtuelle Szenensysteme werden typischerweise als entweder dreidimensionale (3D) virtuelle Szenensysteme oder als zweidimensionale (2D) virtuelle Szenensysteme bezeichnet. Ein virtuelles 3D-Szenesystem verwendet 3D-Bildgeneratoren für die Echtzeiterzeugung von 3D-Bildern für jeden Kamerabetrachtungsort. Echtzeit ist als 30 Rahmen pro Sekunde oder besser definiert. Der Vorteil virtueller 3D-Szenen besteht darin, daß sowohl die Kamera als auch Szeneelemente frei in der virtuellen Welt bewegt werden können. Diese Bewegungsfreiheit stellt dem Regisseur maximale Flexibilität bei der Erzeugung von Videoerzeugnissen zur Verfügung. Diese Freiheit bringt jedoch erhebliche Kosten mit sich.

Ein 3D-Bildgenerator zur Verwendung in einem virtuellen 3D-Szenesystem ist typischerweise ein sehr teures und kompliziertes System. Dies liegt daran, daß die Erzeugung komplizierter Szenen in drei Dimensionen hohe Anforderungen an die Berechnung stellt. In den meisten virtuellen 3D-Szenesystemen stellen die Kosten für den Bildgenerator den Hauptanteil der Kosten des gesamten virtuellen Szenesystems dar. Infolge der Kompliziertheit von 3D-Bild­ erzeugungssystemen neigen darüber hinaus diese Systeme zu einer höheren Ausfallrate als irgendein anderer Bestandteil eines virtuellen Studios.

Ein virtuelles 3D-Szenesystem, welches Anordnungen mit mehreren Kameras verwendet, erfordert typischerweise einen Bildgenerator für jede Kamera. Diese Praxis ist äußerst kostenaufwendig, und Verkäufer virtueller Szenen haben versucht, die Kosten für diese zusätzlichen Generatoren dadurch zu verringern, daß kostengünstigere Graphiksysteme mit geringerer Qualität für die Erzeugung von Szenen aus Vorschaukanälen verwendet werden. Vorschaukanäle sind Systeme, die "ausreichend gute" Graphik für den Einsatz bei der Vorschau zur Verfügung stellen, jedoch keine Graphiken erzeugen können, die gut genug für tatsächlich gesendete Bilder sind. Obwohl Vorschaukanäle die Kosten virtueller Szenesysteme mit mehreren Kameras verringern, führt die Verwendung kostengünstiger Vorschaukanäle dazu, daß irgendeine Art einer Umschaltung weiter oben erforderlich ist, um sicherzustellen, daß das korrekte Videobild mit dem korrekten Hintergrundbild zusammengesetzt wird. Dieses zusätzliche Umschaltniveau führt zu einem zusätzlichen Niveau an Kompliziertheit bei dem Aufbau des Gesamtsystems. In solchen Fällen, wenn der Regisseur mehr als eine Quelle von Bildern hoher Qualität benötigt (beispielsweise bei Überblendungen, Ausblendungen, Iso-Kanälen), ist er gezwungen, mehrere Quellen von Bildern hoher Qualität zu verwenden, was normalerweise mehreren Bilderzeugungssystemen entspricht.

Beispielsweise ist bei Überblendungen ein Bildgenerator für jede Kamera erforderlich, und daher sind zwei Bildgeneratoren erforderlich, da man zwei Kameras für die Überblendung benötigt. Bei einer Überblendung sind deswegen zwei Kameras erforderlich, da ein erstes Bild langsam in ein zweites Bild übergeblendet wird. Das erste Bild benötigt ein virtuelles Bild hoher Qualität, und das zweite Bild, in welches übergeblendet wird, benötigt ebenfalls ein virtuelles Bild hoher Qualität. Während eines Abschnitts der Überblendung tauchen beide Bilder zusammen auf. Wenn das zweite Bild nur einen Vorschaukanal verwendet, kann die Überblendung nicht ordnungsgemäß ausgeführt werden, da das zweite Bild nur ausreichend gut für eine Vorschau ist. Daher benötigt der Stand der Technik einen zweiten Bildgenerator.

Heutige virtuelle 3D-Szenesysteme weisen zahlreiche Schwierigkeiten infolge der Echtzeiteigenschaft virtueller 3D-Szenesysteme auf. Da die Bilderzeugungssysteme eine komplette Szene in der Zeit eines einzelnen Rahmens oder schneller erzeugen müssen, müssen dem virtuellen Szenesystem zahlreiche Beschränkungen auferlegt werden. Zum Beispiel sind die Datenbanken virtueller Szenen bezüglich der Anzahl an Oberflächenbereichen in der Szene streng eingeschränkt, die zusammen mit einem Bild geliefert werden müssen, und bezüglich des Ausmaßes der Oberflächenbeschaffenheit in den Szenen. Diese Oberflächenbereiche, die zusammen mit Bildern geliefert werden müssen, werden von Fachleuten auf diesem Gebiet üblicherweise als "Polygone" bezeichnet. Darüber hinaus können Echtzeit-Graphikalgorithmen nicht den Vorteil fortgeschrittener Bilderzeugungsverfahren nutzen, etwa Strahlenverfolgung oder effektive Strahlung, da die Kompliziertheit der Berechnungen zu viel Prozessorzeit erfordert. Diese Einschränkungen führen dazu, daß Szenen erzeugt werden, die nicht real aussehen, und die Szenen werden häufig als ähnlich "Cartoons" bezeichnet.

Die virtuellen 2D-Szenesysteme sind weniger kompliziert als 3D-Systeme und leiden nicht an vielen der Probleme der 3D-Systeme. Obwohl viele der voranstehend geschilderten Probleme in einem virtuellen 2D-Szenesystem nicht vorhanden sind, hat das virtuelle 2D-Szenesystem andere Schwierigkeiten, so daß heutige Systeme nicht wünschenswert sind. Bei zahlreichen Videoproduktionen verläßt sich ein virtuelles 2D-Szenesystem auf Kameras, die typischerweise an einem bestimmten Ort ortsfest sind, und nur Verschwenkung, Kippen und in einigen Fällen Zoom und Fokussierung zulassen. Durch Einschränkung der Bewegung der Kamera kann der Designer der virtuellen Szene die Vorteile kostengünstiger, qualitativ hochwertiger Bilderzeugungsverfahren ausnutzen, beispielsweise Strahlenverfolgung und effektive Strahlung. Vor einer Videoproduktion kann der Regisseur den geplanten Ort für jede der Kameras festlegen, und der Szenedesigner kann dann eine Vorerstellung des Bildes für jede der Kameras durchführen.

Signifikante Einschränkungen virtueller 2D-Szenesysteme sind allerdings (i) die Tatsache, daß es unmöglich ist, daß sich 3D-Objekte in dem Bild bewegen, und (ii) die Tatsache, daß es unmöglich ist, daß sich Kameras frei bewegen. Darüber hinaus zwingen 2D-Systeme den Regisseur dazu, innerhalb der vorher festgelegten Einschränkungen jeder der vorher erzeugten Szenen der Kameras zu bleiben. Normalerweise hat ein Regisseur während der Produktionszeit nicht die Freiheit, irgendeine der Kameras umzustellen.

Wünschenswert wäre momentan ein System für virtuelle Szenen, welches die Vorteile zahlreicher Eigenschaften herkömmlicher virtueller 2D-Szenesysteme nutzt, jedoch in Bezug auf die Leistung auch einen großen Bereich der Eigenschaften von 3D-Bilderzeugungssystemen aufweist.

Ein Vorteil der vorliegenden Erfindung besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zur Erzeugung von Daten in einer virtuellen Szene unter Verwendung mehrerer Kameras und eines jeder Kamera zugeordneten Rahmenpuffers zum Speichern von Daten, die ein virtuelles Bild repräsentieren.

Ein weiterer Vorteil der Erfindung besteht in der Bereitstellung eines derartigen Verfahrens und einer derartigen Einrichtung zum Vereinigen von Daten, die ein Bild des Gesichtsfelds einer Kamera repräsentieren, mit Daten, die ein virtuelles Bild repräsentieren, so daß eine virtuelle Szene repräsentierende Daten gespeichert und zurückgewonnen werden können.

Ein weiterer Vorteil der Erfindung besteht in der Bereitstellung eines derartigen Verfahrens und einer derartigen Einrichtung, welche die Eigenschaften herkömmlicher virtueller zweidimensionaler (2D) Szenesysteme nutzen, und dabei ein dreidimensionales (3D) Bilderzeugungssystem zur Verfügung stellen.

Ein weiterer Vorteil der Erfindung besteht gemäß einer ihrer Zielsetzungen darin, ein derartiges Verfahren und eine derartige Einrichtung zur Verfügung zu stellen, bei welchen jede reale Kamera einen Kameraausrichtungsverfolger dazu verwendet, eine Bildquelle zu kalibrieren, wenn ein virtuelles Bild erzeugt werden soll.

Ein weiterer Vorteil der Erfindung besteht gemäß einer ihrer Zielrichtungen darin, ein derartiges Verfahren und eine derartige Einrichtung zur Verfügung zustellen, bei welchen jede reale Kamera eine Videoverzögerung dazu verwendet, virtuelle Bilddaten von einer Bildquelle mit Kamera- Gesichtsfelddaten zu synchronisieren.

Ein weiterer Vorteil der Erfindung besteht in der Bereitstellung eines derartigen Verfahrens und einer derartigen Einrichtung, bei welchen ein portables Computerprogramm die Hardwareeinzelteile der virtuellen Szene dazu veranlaßt, insgesamt und mit weniger Hardware zusammenzuwirken als Systeme für virtuelle Szenen nach dem Stand der Technik.

Ein weiterer Vorteil der Erfindung besteht gemäß einer ihrer Zielrichtungen darin, ein derartiges Verfahren und eine derartige Einrichtung zur Verfügung zu stellen, bei welchen ein Bildgenerator zur Erzeugung von Daten verwendet wird, die ein virtuelles Bild repräsentieren.

Ein weiterer Vorteil der Erfindung besteht gemäß einer ihrer Zielrichtungen darin, ein derartiges Verfahren und eine derartige Einrichtung zur Verfügung zu stellen, bei denen ein externes Video zur Erzeugung eines Teils der Daten verwendet wird, die ein virtuelles Bild repräsentieren, und das externe Video von jeder Videoquelle abgeleitet werden kann.

Die voranstehenden Vorteile sowie weitere, die nicht speziell aufgeführt wurden, werden durch ein Verfahren und eine Einrichtung zur Erzeugung von Daten in einem Speicher für eine virtuelle Szene erzielt, der ein zusammengesetztes Bild repräsentiert. Die zusammengesetzten Bilddaten werden aus einer Kombination von Daten, die ein virtuelles Bild repräsentieren, und Daten erzeugt, die ein Kamera- Gesichtsfeldbild repräsentieren. Gemäß der Erfindung sind mehrere Kameras vorgesehen, von denen jede so angeordnet ist, daß sie Daten entwickelt, die ein jeweiliges Gesichtsfeld repräsentieren, und die jeweils einen zugeordneten Rahmenpuffer aufweisen, um Daten, die die virtuellen Bilder repräsentieren, zu empfangen und zu speichern. Die Rahmenpuffer sind so ausgebildet, daß eine nachfolgende selektive Rückgewinnung erfolgen kann. Gemäß der Erfindung ist weiterhin eine Quelle virtueller Bilddaten vorgesehen, um virtuelle Bilder repräsentierende Daten zu erzeugen, und diese Daten an die Rahmenpuffer zu liefern, die jeder der mehreren Kameras zugeordnet sind. Schließlich umfaßt die Erfindung zumindest einen Bildüberlagerer zum Zusammensetzen von Daten, die das Gesichtsfeld einer ausgewählten Kamera unter den mehreren Kameras repräsentieren, mit Daten, die ein virtuelles Bild repräsentieren, und aus einem Rahmenpuffer zurückgeholt wurden, welcher der ausgewählten Kamera unter den mehreren Kameras zugeordnet ist. Der Bildüberlagerer erzeugt Daten in dem Speicher für die virtuelle Szene.

Ein Vorteil der vorliegenden Erfindung besteht in der Verwendung mehrerer Kameras und eines Rahmenpuffers, der jeder Kamera zugeordnet ist, da das System nicht zur Arbeit in Echtzeit mehrere Bildgeneratoren erfordert.

Ein weiterer Vorteil der Erfindung besteht darin, daß keine Bildgeneratoren erforderlich sind, so daß das System für virtuelle Szenen gemäß der vorliegenden Erfindung sich kostengünstiger verwirklichen läßt.

Ein weiterer Vorteil der Erfindung besteht darin, die Vorteile der Eigenschaften herkömmlicher virtueller zweidimensionaler (2D) Szenesystemen zu nutzen, während ein dreidimensionales (3D) Bilderzeugungssystem erzielt wird, da so ein 3D-System kostengünstiger mit Bildern besserer Qualität verwirklicht werden kann.

Ein weiterer Vorteil der Erfindung besteht darin, ein derartiges Verfahren und eine derartige Einrichtung zur Verfügung zu stellen, bei welchen jede reale Kamera einen Standbildspeicherrahmenpuffer verwendet, um das letzte virtuelle Bild zu speichern, welches von der Quelle virtueller Bilder erzeugt wird, wobei eine einzelne Kamera dann als Reservekamera festgelegt werden kann, wobei diese Kamera dann das gespeicherte virtuelle Bild verwendet, wenn ein Teilausfall bei dem System für virtuelle Szenen auftritt.

Ein weiterer Vorteil der Erfindung besteht in der Bereitstellung eines derartigen Verfahrens und einer derartigen Einrichtung, bei welchen ein portables Computerprogramm die Hardwareeinzelteile der virtuellen Szene dazu veranlaßt, zusammen wechselzuwirken, und zwar mit weniger Hardware als bei Systemen für virtuelle Szenen nach dem Stand der Technik.

Ein weiterer Vorteil der vorliegenden Erfindung besteht in der Bereitstellung eines Computerprogramms, das auf mehrere Systeme übertragen werden kann, ohne daß das Computerprogramm umgeschrieben werden muß.

Ein weiterer Vorteil der Erfindung besteht in der Bereitstellung eines Systems für virtuelle Szenen, bei welchen verschiedene Quellen für virtuelle Bilder mit derselben Software und denselben Rahmenpuffern verwendet werden können.

Ein weiterer Vorteil der Erfindung besteht in der Bereitstellung eines derartigen Verfahrens und einer derartigen Einrichtung, bei welchen ein Bildgenerator oder irgendeine andere externe Videoquelle dazu verwendet werden kann, Daten zu erzeugen, die ein virtuelles Bild repräsentieren, da dies das Erfordernis ausschaltet, einen Bildgenerator in dem System für virtuelle Szenen vorsehen zu müssen.

Die Erfindung wird nachstehend anhand zeichnerisch dargestellter Ausführungsbeispiele näher erläutert, aus welchen weitere Vorteile und Merkmale hervorgehen; zusätzliche Vorteile und Merkmale werden dann deutlich, wenn die Erfindung in die Praxis umgesetzt wird. Es zeigt:

Fig. 1 eine schematische Darstellung eines Systems für virtuelle Szenen, welches mehrere Kameras verwendet, mehrere Rahmenpuffer, mehrere Bildüberlagerer, und einen einzelnen Bildgenerator; und

Fig. 2 eine schematische Darstellung eines Systems für virtuelle Szenen, welches mehrere Kameras verwendet, mehrere Rahmenpuffer, mehrere Bildüberlagerer, und ein externes Video als Videoeinfügung in das System für virtuelle Szenen.

Als nächstes wird auf die Zeichnungen Bezug genommen, in welchen die verschiedenen Einzelteile der vorliegenden Erfindung mit Bezugszeichen versehen werden, und auf deren Grundlage die Erfindung erläutert wird, um Fachleuten auf diesem Gebiet die Ausbildung und Verwendung der Erfindung zu ermöglichen. Es wird darauf hingewiesen, daß die nachstehende Beschreibung nur ein Beispiel für die Grundlagen der vorliegenden Erfindung darstellt, und nicht die Erfindung einschränken soll.

Das System für virtuelle Szenen gemäß der vorliegenden Erfindung nutzt in vorteilhafter Weise zahlreiche der Eigenschaften herkömmlicher virtueller zweidimensionaler (2D) Szenesysteme, setzt in Bezug auf die Leistung jedoch auch einen weiten Bereich der Eigenschaften dreidimensionaler (3D) Bilderzeugungssysteme ein. Das System für virtuelle Szenen gemäß der vorliegenden Erfindung ist im wesentlichen ein System mit mehreren Kameras, welches einen Rahmenpuffer für jede Kamera einsetzt. Die Rahmenpuffer gemäß der Erfindung sind im wesentlichen ein Personalcomputer (PC) mit einer eingebauten Rahmenpufferkarte; die Rahmenpufferkarte ist so ausgebildet, daß sie ein Einzelrahmenbild einfängt, speichert, und ausgibt, ist also eine "Standbildspeicher"-Rahmenpufferkarte. Jede Standbildspeicher-Rahmenpufferkarte ist ausreichend groß, um Bilder mit einer Größe von 2k × 2k zu unterstützen. Die Standbildspeicher-Rahmenpuffer erzeugen ein System, welches ohne einen getrennten Bildgenerator für jede Kamera arbeiten kann. Daher lassen sich auf der Grundlage der Rahmenpuffer gemäß der vorliegenden Erfindung verschiedene Ausführungsformen verwirklichen. Eine Ausführungsform besteht beispielsweise in einem einzelnen Bildgenerator, der virtuelle Bilddaten an mehrere Standbildspeicher-Rahmenpuffer mehrerer Kameras ausgeben kann. Eine weitere Ausführungsform ist ein System, welches ohne Verwendung irgendwelcher Bildgeneratoren arbeiten kann. Die Standbildspeicher- Rahmenpuffer gemäß der vorliegenden Erfindung können dazu verwendet werden, virtuelle Bilder unabhängig von einem Bildgenerator zu erzeugen. Bei anderen Ausführungsformen können externe Videodaten direkt den Standbildspeicher- Rahmenpuffern zugeleitet werden, oder können alternativ durch den Bildgenerator (oder eine andere Quelle virtueller Bilder) geleitet werden, bevor sie die Standbildspeicher-Rahmenpuffer erreichen.

Ein einzelner Bildgenerator kann mit mehreren Kameras verwendet werden, da ein Bildgenerator nur virtuelle Bilder erneut erzeugen muß, wenn sich die Sendekamera bewegt. Wenn die Sendekamera ihre Bewegung abbricht, wird das letzte Bild, welches von dem Bildgenerator erzeugt wurde, in dem Standbildspeicher-Rahmenpuffer gespeichert. Die Fähigkeiten des Bildgenerators können dann bei anderen Kameras in dem System für virtuelle Szenen eingesetzt werden.

Der Standbildspeicher-Rahmenpuffer jeder sich nicht bewegenden Kamera verwendet die letzten virtuellen Bilddaten, die von dem Bildgenerator erzeugt wurden, und vorher in der internen Rahmenpufferkarte gespeichert wurden. Diese Daten werden dann aus dem Rahmenpuffer ausgescannt, und werden mit Videodaten von der Kamera vereinigt. Auf diese Weise werden Daten für eine virtuelle Szene mit hoher Qualität für jede Kamera des Systems für virtuelle Szenen erzeugt, obwohl das System nur einen einzelnen Bildgenerator aufweist.

Fig. 1 ist eine schematische Darstellung eines Systems 10 für virtuelle Szenen. Das System 10 für virtuelle Szenen dient zur Erzeugung eines zusammengesetzten Bildes aus einer Kombination eines virtuellen Bildes und eines Kamera- Gesichtsfeldbildes. Fig. 1 zeigt ein System 10 mit mehreren Kameras 14, mehreren Standbildspeicher-Rahmenpuffern 18, mehreren Bildüberlagerern 22, und einem einzelnen Bildgenerator 26. Jede Kamera 14 hat ein zugeordnetes Gesichtsfeld und einen zugeordneten Standbildspeicher- Rahmenpuffer 18. Wie in Fig. 1 gezeigt ist jeder Standbildspeicher-Rahmenpuffer 18 sowohl mit einer Kamera 14 als auch mit dem Bildgenerator 26 verbunden.

Die Standbildspeicher-Rahmenpuffer 18 dienen zum Empfangen und Speichern von Daten, welche virtuelle Bilder repräsentieren, und zur Bereitstellung einer selektiven Rückgewinnung der virtuellen Bilddaten. Die virtuellen Bilddaten, die zurückgeholt werden sollen, befinden sich in einem der Standbildspeicher-Rahmenpuffer 18, der einer der Kameras 14 zugeordnet ist, und repräsentieren ein einzelnes virtuelles Bild. Ein möglicher Rahmenpuffer ist ein PC mit einer Rahmenpufferkarte des Typs TARGA 1000, die einen HUB2-Chip und 16 Megabytespeicher aufweist.

Das System 10 für virtuelle Szenen gemäß Fig. 1 ist so dargestellt, daß mehrere Bildüberlagerer 22 zur Vereinigung von Daten, die ein Bild des Gesichtsfeldes einer Kamera 14 repräsentieren, mit virtuellen Bilddaten, die eines der virtuellen Bilder von einem der Standbildspeicher- Rahmenpuffer 18 repräsentieren, vorgesehen sind. Der Bildüberlagerer 22 erzeugt Daten in einem Speicher für eine virtuelle Szene zur Erzeugung einer virtuellen Szene. Ein Bildüberlagerer ermöglicht es, daß mehrere digitale Bilder auf solche Weise überlagert werden, daß ein einzelnes, vereinigtes oder zusammengesetztes Bild erzeugt wird. Das zusammengesetzte Bild erscheint mit Hintergrundszenen, animierten Elementen und Objekten, und/oder lebenden Schauspielern, die ohne Ränder mit einem glaubhaften Sendebild verschmolzen werden. Ein Bildüberlagerer, der eingesetzt werden könnte, ist der Ultimatte 45.

Wie in Fig. 1 gezeigt ist die Quelle für die virtuellen Bilddaten, die mit den Gesichtsfeldbilddaten der Kamera 14 vereinigt werden, ein Bildgenerator 26. Der Bildgenerator 26 (oder die Quelle für virtuelle Bilddaten) dient zur Erzeugung der Daten, welche die virtuellen Bilder repräsentieren, und ist elektrisch mit jedem der Rahmenpuffer 18 verbunden, die jeder der mehreren Kameras 14 zugeordnet sind. Darüber hinaus können die virtuellen Bilddaten Daten von einem externen Videogerät 28 oder Video enthalten. Diese Daten von dem externen Video 28 können als Videoeinfügung in das System 10 für virtuelle Szenen verwendet werden.

Obwohl Fig. 1 einen Bildgenerator 26 und ein externes Video 28 zeigt, wird darauf hingewiesen, daß virtuelle Bilddaten auch durch zusätzliche Quellen erzeugt werden können.

Die in Fig. 1 dargestellte Ausführungsform umfaßt weiterhin Kameraausrichtungsverfolger 30, die elektrisch zwischen jeder Kameras 14 und der virtuellen Bilddatenquelle 26 angeschlossen sind. Der Kameraausrichtungsverfolger 30 stellt der Quelle 26 für virtuelle Bilddaten Daten bezüglich der Position und der Bewegung der Kamera zur Verfügung. Diese Daten umfassen Verschwenkung, Kippen, Zoom und Fokussierung, so daß die Quelle 26 für virtuelle Bilddaten Kamerapositionsdaten berücksichtigten kann, wenn sie Daten erzeugt, welche die virtuellen Bilder repräsentieren.

Weiterhin weist die in Fig. 1 dargestellte Kamera 14 eine Videoverzögerung 34 auf, die elektrisch zwischen jede der mehreren Kameras 14 und die Bildüberlagerer 22 geschaltet ist. Durch geeignete Verzögerung der Kamera-Gesichtsfelddaten synchronisiert die Videoverzögerung 34 die Kamera- Gesichtsfelddaten mit den virtuellen Bilddaten, und stellt so ordnungsgemäß die Datenströme zur Vereinigung der Daten der beiden Bilder ein.

Die virtuellen Bilddaten, die zusammengesetzt oder vereinigt werden sollen, enthalten Daten für eine dreidimensionale Graphik, die einen Vordergrund und einen Hintergrund aufweist. Zusätzlich enthalten die virtuellen Bilddaten Daten für einen Matte-Kanal. Die Daten für die dreidimensionale Graphik und für den Matte-Kanal können aus einem der Standbildspeicher-Rahmenpuffer 18 zurückgewonnen werden, nachdem die Quelle 26 für virtuelle Bilddaten Daten in dem Rahmenpuffer gespeichert hat.

Obwohl Fig. 1 eine bevorzugte Ausführungsform eines Bildgenerators 26 zur Erzeugung dreidimensionaler Bilddaten zeigt, die in den Rahmenpuffern 18 gespeichert werden sollen, kann das System 10 für virtuelle Szenen mehr als einen Bildgenerator enthalten. Wenn ein einzelner Bildgenerator 26 verwendet wird, teilt sich der Generator Ressourcen mit mehreren Kameras 14. Wenn jedoch mehrere Bildgeneratoren verwendet werden, kann jede Kamera ihren eigenen Bildgenerator aufweisen.

Bei einer alternativen Ausführungsform kann das System 10 für virtuelle Szenen einen Bildüberlagerer enthalten, der elektrisch mit jedem der Rahmenpuffer 18 und mit jeder der Videoverzögerungen 34 von jeder der Kameras verbunden ist. Wie voranstehend erwähnt dient der Bildüberlagerer zum Überlagern der Daten, welche ein Bild des Gesichtsfeldes jeder der Kameras repräsentieren, und der Daten, welche die virtuellen Bilder von einem der Rahmenpuffer repräsentieren, der einer der mehreren Kameras zugeordnet ist. Bei der vorliegenden Ausführungsform werden Daten, die ein einzelnes zusammengesetztes Bild repräsentieren, in dem Speicher für virtuelle Szenen gespeichert. Vorzugsweise ist ein Bildüberlagerer elektrisch mit jedem der Rahmenpuffer 18 gekoppelt, so daß jeder Bildüberlagerer auf jede Kamera abgestimmt werden kann.

Fig. 2 zeigt eine weitere Ausführungsform eines Systems 100 für virtuelle Szenen. Diese Ausführungsform ist im wesentlichen ebenso wie die Ausführungsform gemäß Fig. 1 aufgebaut, mit Ausnahme der Tatsache, daß das Standbildspeicher-Rahmenpuffersystem jeder Kamera dazu verwendet wird, die dreidimensionalen Videobilder herzustellen, um die Daten zu erzeugen, welche virtuelle Bilder repräsentieren. Jede Standbildspeicher- Rahmenpufferkarte wird in einem Personalcomputer (PC) angeordnet, der zur Erzeugung eines virtuellen Bildes und zum Speichern des Bildes in der Rahmenpufferkarte verwendet werden kann. Zusätzlich kann eine externe Videoquelle 126 dazu verwendet werden, Live-Videobilder in die virtuellen Bilddaten einzufügen, die in dem Rahmenpuffer erzeugt und gespeichert wurden.

Um eine Verschwenkung und Verkippung der Kameras zu gestatten wird das tatsächliche Bild von dem Rahmenpuffersystem mit einer Auflösung erzeugt, die ein Mehrfaches der Auflösung beträgt, die zu einem bestimmten Zeitpunkt mit der Kamera erzielbar wäre. Fachleute auf diesem Gebiet definieren normalerweise die Auflösung in Bezug auf die Vertikal- und die Horizontalrichtung; vertikal betrifft die Anzahl an Abtastzeilen, und horizontal betrifft die Anzahl an Pixeln pro Abtastzeile; Pixel sind als Bildelement definiert. Eine größere Auflösung bedeutet daher im wesentlichen ein größeres Bild. Wenn die Kamera verschwenkt oder verkippt wird, geht das Rahmenpuffersystem seitenweise durch das entsprechende Bild innerhalb des größeren, vorher erzeugten Bildes. Infolge der Verwendung vorher erzeugter Bilder und der Verfügbarkeit von Prozessorzeit weisen 2D-Systeme für virtuelle Szenen normalerweise eine sehr hohe Bildqualität auf.

Mit der Einrichtung gemäß Fig. 1 kann der Benutzer Daten in einem Speicher für virtuelle Szenen erzeugen, welche ein zusammengesetztes Bild aus einer Vereinigung eines virtuellen Bildes und eines Kamera-Gesichtsfeldbildes repräsentiert, und zwar durch folgende Schritte:

• (a) Bereitstellung mehrerer Kameras, die jeweils ein Gesichtsfeld aufweisen, und denen jeweils ein Standbildspeicher-Rahmenpuffer zugeordnet ist;
• (b) Bereitstellung einer Quelle für virtuelle Bilddaten zur Erzeugung von Daten, die ein virtuelles Bild repräsentieren;
• (c) Speichern der Daten, die das virtuelle Bild repräsentieren, in jedem der Standbildspeicher- Rahmenpuffer, die jeder der Kameras zugeordnet sind;
• (d) selektives Zurückholen der Daten, welche das virtuelle Bild repräsentieren, aus einem der Standbildspeicher- Rahmenpuffer einer der mehreren Kameras; und
• (e) Vereinigung von Daten, die ein Gesichtsfeld einer der mehreren Kameras repräsentieren, mit Daten, die eines der virtuellen Bilder aus einem der Standbildspeicher- Rahmenpuffer repräsentieren, zur Erzeugung von Daten in dem Speicher für virtuelle Szenen.

Wie anhand der Beschreibung von Fig. 1 erläutert, sollten die Kameras mit einem Kameraausrichtungsverfolger und einer Videoverzögerung versehen sein. Weiterhin sollte die Quelle für virtuelle Bilddaten ein Bildgenerator zur Erzeugung eines dreidimensionalen Bildes sein, welches einen Vordergrund und einen Hintergrund aufweist. Der Bildgenerator könnte auch zur Erzeugung eines Matte-Kanals verwendet werden.

Die virtuellen Bilddaten, die für den Bildüberlagerer erzeugt werden, können auch eine Kombination virtueller Bilddaten von einem Bildgenerator und eines externen Videosignals einschließlich Live-Video sein. Die virtuellen Bilddaten wären dann dreidimensionale Datenszenen, die durch Unterstützung von Prozessoren erzeugt werden. Die voranstehenden Schritte werden üblicherweise zur Bereitstellung des Bildes einer virtuellen Szene auf der Grundlage der Daten in dem Speicher für virtuelle Szenen verwendet.

Es wird darauf hingewiesen, daß die voranstehend geschilderten Anordnungen nur Beispiele für den Einsatz der Grundlagen der vorliegenden Erfindung darstellen. Zahlreiche Abänderungen und alternative Ausbildungen lassen sich von Fachleuten auf diesem Gebiet auffinden, ohne vom Wesen und Umfang der vorliegenden Erfindung abzuweichen, die sich aus der Gesamtheit der vorliegenden Anmeldeunterlagen ergeben und von den beigefügten Patentansprüchen umfaßt sein sollen.

Claims (16)

1. Einrichtung zur Erzeugung von Daten in einem Speicher für virtuelle Szenen, welche ein zusammengesetztes Bild aus einer Kombination eines virtuellen Bildes und eines Kamera-Gesichtsfeldbildes darstellen, wobei die Einrichtung aufweist:
mehrere Kameras, die jeweils so angeordnet sind, daß sie Daten erzeugen, die ein jeweiliges Gesichtsfeld repräsentieren, und denen jeweils ein Rahmenpuffer zugeordnet ist, um Daten zu empfangen und zu speichern, welche virtuelle Bilder repräsentieren, für eine nachfolgende selektive Rückgewinnung;
eine Quelle für virtuelle Bilddaten zur Erzeugung von Daten, die virtuelle Bilder repräsentieren, und zum Liefern dieser Daten an die Rahmenpuffer, die jeder der mehreren Kameras zugeordnet sind; und
eine Vorrichtung zum Vereinigen von Daten, die das Gesichtsfeld einer ausgewählten Kamera unter den mehreren Kameras repräsentieren, mit Daten, die ein virtuelles Bild repräsentieren, welches von einem Rahmenpuffer zurückgewonnen wird, welcher der ausgewählten Kamera unter den mehreren Kameras zugeordnet ist, um Daten in dem Speicher für virtuelle Szenen zu erzeugen.

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die mehreren Kameras weiterhin einen Kameraausrichtungsverfolger aufweisen, der elektrisch zwischen jede der mehreren Kameras und die Quelle virtueller Bilddaten geschaltet ist, wobei der Kameraausrichtungsverfolger für die Quelle virtueller Bilddaten Daten bezüglich der Position und der Bewegung der Kamera zur Verfügung stellt, einschließlich Verschwenkung, Kippen, Zoom, und Fokussierung, wodurch es der Quelle der virtuellen Bilddaten ermöglicht wird, Kamerapositionsdaten zu berücksichtigen, wenn die Daten erzeugt werden, welche virtuelle Bilder repräsentieren.

3. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die mehreren Kameras weiterhin eine Videoverzögerung umfassen, die elektrisch zwischen jede der mehreren Kameras und die Vorrichtung zum Vereinigen von Daten geschaltet ist, wobei die Daten, die das Gesichtsfeld der ausgewählten Kamera unter den mehreren Kameras repräsentieren, geeignet verzögert werden, um mit den Daten vereinigt zu werden, die ein virtuelles Bild repräsentieren.

4. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die ein virtuelles Bild repräsentierenden Daten Daten für eine dreidimensionale Graphik enthalten, die einen Vordergrund und einen Hintergrund hat, sowie Daten für einen Matte-Kanal.

5. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Quelle für virtuelle Bilddaten zumindest einen Bildgenerator zur Erzeugung dreidimensionaler Bilddaten aufweist, die in den Rahmenpuffern gespeichert werden sollen, wobei der zumindest eine Bildgenerator sich die Ressourcen mit den mehreren Kameras teilt.

6. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Quelle für virtuelle Bilddaten eine externe Videokamera umfaßt, um Videobilder zur Erzeugung der Daten zu erzeugen, welche virtuelle Bilder repräsentieren.

7. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die externe Videokamera Live-Videos erzeugt.

8. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Vorrichtung zum Vereinigen zumindest einen Bildüberlagerer aufweist, der elektrisch an jeden der Rahmenpuffer und an jede der Videoverzögerungen jeder der Kameras angeschlossen ist, wobei der zumindest eine Bildüberlagerer dazu dient, die Daten zu überlagern, welche das Gesichtsfeld der ausgewählten Kamera unter den mehreren Kameras repräsentieren, und die Daten, welche das virtuelle Bild von einem der Rahmenpuffer repräsentieren, der einer der mehreren Kameras zugeordnet ist, wobei ein einzelnes zusammengesetztes Bild repräsentierende Daten in dem Speicher für virtuelle Szenen gespeichert werden.

9. Einrichtung nach Anspruch 8, dadurch gekennzeichnet, daß der zumindest eine Bildüberlagerer einen Bildüberlagerer umfaßt, der elektrisch an jeden der Rahmenpuffer angeschlossen ist, die jeder der mehreren Kameras zugeordnet sind, wobei der Bildüberlagerer auf jede Kamera abgestimmt ist.

10. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß der Speicher für virtuelle Szenen Daten aufweist, die ein zusammengesetztes Bild repräsentieren, das ein virtuelles Bild und ein Kamera-Gesichtsfeldbild umfaßt.

11. Verfahren zur Erzeugung von Daten in einem Speicher für virtuelle Szenen, die ein zusammengesetztes Bild aus einer Kombination eines virtuellen Bildes und eines Kamera-Gesichtsfeldbildes darstellen, mit folgenden Schritten:

• (a) Bereitstellung mehrerer Kameras, die jeweils ein Gesichtsfeld aufweisen, und denen jeweils ein Rahmenpuffer zugeordnet ist;
• (b) Bereitstellung einer Quelle für virtuelle Bilddaten zur Erzeugung von Daten, die ein virtuelles Bild repräsentieren;
• (c) Speichern der Daten, die das virtuelle Bild repräsentieren, in jedem der Rahmenpuffer, die jeder der mehreren Kameras zugeordnet sind;
• (d) selektives Zurückgewinnen der Daten, die das virtuelle Bild repräsentieren, aus einem der Rahmenpuffer einer der mehreren Kameras; und
• (e) Vereinigung von Daten, die ein Gesichtsfeld einer der mehreren Kameras repräsentieren, mit Daten, welches das virtuelle Bild eines der Rahmenpuffer repräsentieren, um Daten in dem Speicher für virtuelle Szenen zu erzeugen.

12. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß der Schritt (a) weiterhin die Bereitstellung eines Kameraausrichtungsverfolgers und einer Videoverzögerung umfaßt, die jeder der mehreren Kameras zugeordnet sind.

13. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß der Schritt (b) die Bereitstellung eines Bildgenerators zur Erzeugung eines dreidimensionalen Bildes umfaßt, das einen Vordergrund und eine Hintergrund aufweist.

14. Verfahren nach Anspruch 13, dadurch gekennzeichnet, daß der Schritt (b) weiterhin die Bereitstellung eines Bildgenerators zur Erzeugung eines Matte-Kanals umfaßt.

15. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß der Schritt (b) die Bereitstellung eines externen Videosignals umfaßt, einschließlich Live-Video, in von Prozessoren erzeugten dreidimensionalen Datenszenen.

16. Verfahren nach Anspruch 11, dadurch gekennzeichnet, daß der Schritt (e) die Bereitstellung des Bildes einer virtuellen Szene auf der Grundlage der Daten in dem Speicher für virtuelle Szenen umfaßt.