DE60027966T2

DE60027966T2 - Mehrfachkamera, Mehrfachspeisung und interaktive virtuelle Einblendungssysteme und Verfahren

Info

Publication number: DE60027966T2
Application number: DE60027966T
Authority: DE
Inventors: Pierre Bruno; Jean-Jacques Portola Valley Grimaud
Original assignee: LEO VISION
Current assignee: EVS INTERNATIONAL (SWISS) SARL, FRIBOURG, CH
Priority date: 1999-07-19
Filing date: 2000-07-17
Publication date: 2007-01-11
Anticipated expiration: 2020-07-18
Also published as: EP1071278B1; EP1071278A2; DE60027966D1; ES2264414T3; ATE326814T1; EP1071278A3

Description

Die vorliegende Erfindung betrifft virtuelle Einblendungssysteme zur Videoübertragung und insbesondere Systeme und Verfahren zur Bereitstellung einer virtuellen Einblendung in ein Videoübertragungssystem, das mehrere Kameras verwendet und mehrere Ausgabe-Speisungen bereitstellt, und/oder zur Bereitstellung einer virtuellen Einblendung als Antwort auf eine Interaktion durch einen Zuschauer.
Virtuelle Einblendungssysteme sind Systeme, die eine Zielregion in einer Videosequenz durch eine Ersatzbildgrafik oder ein Ersatzvideo ersetzen oder überlagern. Ein übliches virtuelles Einblendungssystem verwendet als Eingabe eine Videospeisung (im Allgemeinen eine Grafik- und/oder Spezialeffektschichten umfassende „unsaubere" Speisung [„dirty" feed]), die z.B. eine Sportveranstaltung zeigt, und ersetzt eine in der Videospeisung gezeigte Reklametafel, die für ein Produkt oder Unternehmen wirbt, durch eine virtuelle Grafik, die für ein anderes Produkt oder Unternehmen wirbt. Diese modifizierte Speisung wird dann gesendet oder den Zuschauern auf andere Weise zugeführt.
Im Allgemeinen identifizieren virtuelle Einblendungssysteme die in der Videospeisung zu ersetzende Zielregion entweder durch Bilderkennungsverfahren oder durch Analyse der Daten aus einer mit Messvorrichtungen ausgestatteten Kamera, welche die Speisung bereitstellt. Virtuelle Einblendungssysteme unterscheiden sich auch in ihrem Fluss oder ihrer Sequenzierung, insbesondere in der zeitlichen und örtlichen Platzierung der Bildverarbeitungssysteme und der virtuellen Einblendungsvorrichtung. Ein virtuelles Mehrfachkamera-„Midlink"-Einblendungssystem ist in der Anmeldung PCT/FR99/03183, nachfolgend „die PCT-Anmeldung" genannt, offenbart.
Eine umfassendere Beschreibung der Grundkomponenten und -prozesse von virtuellen Einblendungssystemen ist in der PCT-Anmeldung, den US-Patenten Nr. 5,264,933, 5,363,392, 5,436,672 und 5,543,856 und dem französischen Patent Nr. 94-05895 enthalten, auf die Bezug genommen werden kann. Ein mit jeder Kamera-Ausgabe assoziiertes Trackingmodul stellt Informationen zur Zielregion bereit.
Ein Trackingmodul ist mit der Kamera assoziiert, um Informationen zur Zielregion bereitzustellen. Sind N unterschiedliche Ausgabespeisungen mit unterschiedlichen Ersetzungen für ein unterschiedliches Publikum erforderlich, dann müssen N unterschiedliche Ersetzungsmodule bereitgestellt werden. Sind M Kameras vorhanden, aus denen in einem Regieraum zur Zuführung von N Ausgabespeisungen eine Auswahl getroffen werden kann, dann sind M. N Einblendungsmodule erforderlich, und das System ist recht komplex.
Die vorliegende Erfindung ist für ein Netzwerk-basiertes System vorgesehen, das mit einem virtuellen Mehrfachkamera-Einblendungssystem beginnt, ähnlich dem in der PCT-Anmeldung offenbarten, und zusätzliche Module zur Ausführung bestimmter Funktionen umfasst, die ein virtuelles Einblendungssystem mit Mehrfachkamera und Mehrfachspeisung ergeben, welches ein vordefiniertes „Skript" zur Steuerung von Reihenfolge, Inhalt und zeitlicher Abstimmung von Einblendungen während einer Veranstaltung aufweist. Vorteilhafterweise können diese vordefinierten Skripts während der Veranstaltung aktualisiert oder geändert werden, entweder basierend auf einer Interaktion mit dem Zuschauer oder auf anderen Faktoren, wie beispielsweise einer Eingabe der Sendeanstalt.
Die FR-2730837 offenbart ein virtuelles Einblendungssystem und Verfahren, wie in den jeweiligen Oberbegriffen der Ansprüche 1 und 7 angeführt. Die Erfindung ist in den jeweiligen Kennzeichnungsteilen der Ansprüche 1 und 7 definiert.
Weitere Merkmale sind in den weiteren Ansprüchen definiert. In einer besonderen Ausführungsform weist jede Kamera ihr eigenes Sichtfeld einer Live-Veranstaltung auf.
Das System basiert auf einer Parallelverarbeitungsarchitektur, und ein wichtiges Element des Systems ist ein Szenario-Server. Ein derartiger Server kann Skripte definieren und entsprechende Skripte an ein Grafikspeisemodul übertragen, das mit jedem der Mehrfachausgabe-Videospeisungen assoziiert ist. Der Szenario-Server steuert auch den Datenfluss zwischen den Grafikspeisemodulen und den verschiedenen anderen Modulen, die einen Teil des Systems bilden.
Jedes Trackingmodul verfolgt die Ziele entweder durch Verarbeitung des von den Kameras empfangenen Bildes (üblicherweise eine „unsaubere" Speisung, die bereits Grafiken usw. enthält) oder durch Analyse der von den Messvorrichtungen an der Kamera bereitgestellten Daten (d.h. durch Schwenken, Kippen, Zoomen, Fokussieren) oder durch eine Kombination aus diesen beiden Möglichkeiten. Dieses Verfolgen geschieht automatisch und algorithmisch, da es in Echtzeit oder nahezu Echtzeit erfolgen muss. Die Tracking-Informationen werden den Grafikspeisemodulen sowie dem Szenario-Server zugeführt. Sie können bei dem in der EP-Anmeldung Nr. 99/400 986.8 beschriebenen Ansatz mit der festen Wide-Field-Kamera (fixed wide field camera) sehr vereinfacht sein.
Das Übergangsanalysemodul stellt Informationen zur Identifizierung der Kamera oder Kameras bereit, welche die aktuelle Videospeisung liefert/liefern, d.h. die „On-Air"-Kamera(s); das Übergangsanalysesystem basiert seine Ausgabe auf verschiedene Daten, einschließlich auf die Tally-Signale, die vom Schalter (Multiplexer) in einem üblichen Übertragungswagen (Ü-Wagen) bereitgestellt werden, sowie auf mündliche Anweisungen von einem Regisseur im Ü-Wagen hinsichtlich der Kameraübergänge. Vorteilhafterweise werden diese mündlichen Anweisungen unter Anwendung von Spracherkennungstechnologie interpretiert.
Der Szenario-Server ist auf Client-Server-Art mit den Grafikspeisemodulen, den Trackingmodulen und dem Übergangsanalysemodul zur Steuerung dieser Module und zur Bereitstellung der Datenverbindungen zwischen diesen Modulen verbunden. Vorteilhafterweise ist der Szenario-Server mit den verschiedenen Modulen über ein Netzwerk wie beispielsweise einem Ethernet verbunden, das für die Dezentralisierung der verschiedenen Funktionen unter gleichzeitiger Aufrechterhaltung der zentralisierten Steuerung sorgt, um eine schnelle und effiziente Aktualisierung der verschiedenen Skripts oder Szenarien für eine übertragene Veranstaltung zu ermöglichen.
Die Grafikspeisemodule nutzen die von den Trackingmodulen bereitgestellte Zielidentifikation und Lageinformation, die vom Übergangsanalysemodul bereitgestellte Identifikation der „On-Air"-Kamera(s) und die Skripting-Informationen (einschließlich des Inhalts der Ersatzbilder oder -animationen), um die festgelegten Ersatzbilder oder -animationen zu manipulieren und um die festgelegten Ziele zu den im Skript vorgesehen Zeitpunkten zu ersetzen. Animationen umfassen üblicherweise eine Reihe von Bildern, die aufeinanderfolgend angezeigt werden.
Die Architektur und Funktionalität der vorliegenden Erfindung stellt ein hohes Maß an Flexibilität bereit und ermöglicht die Anwendung der Erfindung auf zahlreiche verschiedene Zuführungssysteme wie TV, DTV, HDTV, Kabel-, Satelliten-, Interaktives Fernsehen, Internet usw.; die Flexibilität der vorliegenden Erfindung wird erreicht, wenn sie zusammen mit den sich entwickelnden Verteilungssystemen verwendet wird, die eine verteilte Fernsehübertragung ermöglichen, das heißt eine Übertragung an ein identifizierbares Zuschauersegment, wie beispielsweise über Kabel. Die Mehrfachspeisungsfähigkeit der vorliegenden Erfindung ermöglicht es, dass die verschiedenen Ausgabe-Speisungen auf eine bestimmte Untergruppe von Zuschauern zugeschnitten werden, beispielsweise nach Ort oder nach Sprache, und dabei ein hohes Maß an Granularität aufweisen. So kann beispielsweise eine Kabelspeisung auf den Ebenen Region, Bezirk, Postleitzahl, Kopfstelle oder Vorfeldeinrichtung differenziert werden. Die Werbeanzeigen usw., die in eine bestimmte Übertragung eingeblendet werden, können somit marktgerecht angepasst werden, indem einfach das Skript für die entsprechende Speisung geändert wird.
Darüber hinaus ist das System der vorliegenden Erfindung ideal für die Verwendung zusammen mit Zuführungssystemen geeignet, die eine Interaktion mit dem Zuschauer zulassen. Derartige Zuführungssysteme umfassen die digitale Fernsehübertragung über private Netzwerke oder das Internet. Insbesondere ermöglicht die durch einen Internetzugang über Kabel zur Verfügung stehende Bandbreite derzeit eine recht gute Qualität der digitalen Videoübertragung, und die vorhandene Qualität wird laufend verbessert. Bei einem Internetzugang über Kabel wird die Interaktivität durch Zweiwegkabel-Modems oder Telefonrückleitungskabel-Modems ermöglicht. Eine Interaktivität ist auch mit anderen Zuführungssystemen, wie beispielsweise Drahtlossystemen, möglich.
Wie oben bereits angemerkt, ermöglicht die Mehrfachspeisungsfähigkeit der vorliegenden Erfindung eine Anpassung der Skripts an bestimmte Zuführungscharakteristika, wie beispielsweise Regionen oder Sprachen. Zusätzlich können die Skripts als Antwort auf eine Interaktion durch einen Zuschauer oder eine Zuschauergruppe geändert oder modifiziert werden, wodurch ein gezieltes und interaktives Marketing ermöglicht wird (z.B. One-on-One-Marketing, Permission-Marketing, Relationship-Marketing).
Zu diesem Zweck können die Trackingmodule angeordnet werden, um „Handles" zu erzeugen, welche die Lage der Zielregion und die Tatsache, dass es sich bei dieser um einen „aktiven Bereich" handelt, angeben und die auf dem interaktiven Empfänger eines Zuschauers angezeigt werden. Die Interaktivität kann dann erreicht werden durch Bereitstellung einer per Computer erkannten Auswahl eines aktiven Bereichs, beispielsweise als Antwort auf einen Mausklick auf den Bereich, was zu einer Änderung der Ersetzung führt.
Andere Merkmale und Vorteile der vorliegenden Erfindung sind aus der folgenden detaillierten Beschreibung der erfindungsgemäßen Ausführungsformen ersichtlich, die sich auf die Zeichnungen bezieht, in denen:
1 ein schematisches Blockdiagramm eines Einblendungssystems gemäß einer Ausführungsform der Erfindung ist;
2 ein schematisches Blockdiagramm eines Einblendungssystems gemäß 1 in Verbindung mit einem Kabelübertragungssystem ist;
3 eine Vorderansicht einer Bildschirmanzeige ist, welche die Verwendung von „aktiven Bereichen" gemäß einer weiteren Ausführungsform der Erfindung zeigt;
4 eine Vorderansicht einer Bildschirmanzeige ist, welche die Verwendung von „aktiven Bereichen" gemäß einer alternativen Ausführungsform der Erfindung zeigt;
5 eine weitere schematisierte Darstellung eines Einblendungssystems ist.
Ein System gemäß einer erfindungsgemäßen Ausführungsform ist in 1 gezeigt. Teile von 1 gleichen dem in 6 der PCT-Anmeldung offenbarten virtuellen „Midlink"-Einblendungssystem, das ein Mehrfachkamera-Einblendungssystem umfasst.
In 1 sind die Kameras 10a, 10b und 10c mit Messvorrichtungen ausgestattete Kameras mit entsprechenden Datenleitungen 40a, 40b und 40c. Es sind zwar drei Kameras gezeigt, das System kann jedoch so konfiguriert sein, dass es Eingaben von einer beliebigen Anzahl von Kameras nutzt. Triaxialkabel 42a, 42b und 42c, die Kamerastrom und Bildsignale führen, verbinden die jeweiligen Kameras mit dem mobilen Regieraum oder Wagen 30. Ein konventioneller Schalter 31 (üblicherweise ein Digitalschalter) ist mit konventioneller Videoausrüstung 32 verbunden, die, wie in der PCT-Anmeldung erläutert, die entsprechend hinzuzufügenden Grafiken und Spezialeffekte hinzufügt. Der Regieraum 30 umfasst außerdem eine Grafikprozessorschnittstelle GPI 36, die mit der Videoausrüstung 32 verbunden ist und die auf der Grundlage der Grafik- und Spezialeffektschichten (z.B. Zeitlupe) Ausgangssignale erzeugt, die zu dem Videobildsignal hinzugefügt wurden. Diese GPI-Signale werden über eine GPI-Leitung 46 gesendet, um in ein Übergangsanalysemodul (TAM) 50 eingegeben zu werden. Zusätzlich werden Tally-Signale für Kameras 10a, 10b und 10c von Schalter 31 über jeweilige Ausgabeleitungen 48a, 48b und 48c an TAM 50 gesendet.
Videoausrüstung 32 erzeugt in Zusammenwirkung mit Schalter 31 auf Ausgabeleitung 47 ein/e Übertragungs-(„unsaubere Speisung")Signal oder -speisung und ein aufbereitetes Signal, das die zu dem Videobildsignal hinzugefügten Grafik- und Spezialeffektschichten enthält. Diese unsaubere Speisung wird in digitaler Form an die Grafikspeisemodule (GFM) übertragen. In dieser Ausführungsform gibt es drei Grafikspeisemodule (GFM 1–GFM 3), bezeichnet mit 56₁ , 56₂ bzw. 56₃ , die jeweils ihre eigene Ausgabe-Speisung erzeugen. Es kann jedoch jede beliebige Anzahl von Grafikspeisemodulen verwendet werden, von denen jedes eine Ausgabe-Speisung erzeugt. Wenn der Regieraum oder Wagen 30 dazu ausgelegt ist, ein analoges Signal zu erzeugen, erfolgt eine Umwandlung des Signals von analog in digital.
Die Funktion des Übergangsanalysemoduls (TAM) 50 besteht darin, Informationen zur Identifizierung der aktuellen „On-Air"-Kamera oder -Kameras an die GMF und den Szenario-Server 58 zu liefern. Die Informationen werden entweder direkt oder durch den Szenario-Server an die GFM geliefert; wie in 1 gezeigt, werden diese Informationen in Verbindung mit den von den Trackingmodulen 54a–54c bereitgestellten Tracking-Daten für jede Kamera von GFM 56a–56c genutzt, um genau zu bestimmen, wie Animationseinblendungen zu manipulieren und in die Speisung einzublenden sind. Wenn zum Beispiel die Speisung eine Videosequenz enthält, bei der Kamera 10a durch einen rollenden Schnitt von links nach rechts in Kamera 10b übergeht, und wenn ein erstes Ziel im Sichtfeld von Kamera 10a liegt, muss die Einblendung, die dieses Ziel ersetzt, durch das assoziierte Grafikspeisemodul so manipuliert werden, dass sie zu dem Schnitt passt, während das erste Ziel aus dem Bild rollt.
Die Funktion des Übergangsanalysemoduls gleicht somit der Anpasssteuereinheit (Logic control unit) in 7 der PCT-Anmeldung. TAM 50 basiert seine Ausgabe auf verschiedene Daten, einschließlich auf die vom Schalter 31 bereitgestellten Tally-Signale 48a–48c, die Grafikprozessorschnittstellen-Signale 46 und, in einer bevorzugten Ausführungsform, die von einem Regisseur im Übertragungswagen (Ü-Wagen) gegebenen Anweisungen hinsichtlich der Kameraübergänge. Vorteilhafterweise sind dies mündliche Anweisungen, die unter Anwendung von Spracherkennungstechnologie über Mikrofon 52 interpretiert werden.
Vorzugsweise bietet das Übergangsanalysemodul mehr als nur eine Angabe dazu, wann ein Schnitt von einer Kamera zu einer anderen erfolgt, da, wie im oben stehenden Beispiel erläutert, Übergänge zwischen Kameras oftmals graduell über eine bestimmte Anzahl von Rahmen und mit bestimmten Übergangsarten wie rollender Schnitt, Überblenden usw. erfolgen. Wie diese Übergänge so vorherzusehen und zu erkennen sind, dass die eingeblendeten Bilder und Grafiken durch ein Grafikspeisemodul ordnungsgemäß so manipuliert oder modifiziert werden können, dass sie zum Übergang passen, wird nun erläutert.
In einer Ausführungsform wird eine Übergangstabelle entwickelt, die einen Satz von Kamerazuständen (z.B. Kamera 1 on Air, Kamera 2 on Air) und einen Standard-Übergang zwischen diesen Zuständen (z.B. rollender Schnitt von Kamera 1 zu Kamera 2, Überblenden von Kamera 2 zu Kamera 3) bereitstellt. Die Daten in der Übergangstabelle sind charakteristisch für die Art, auf die eine bestimmte Sendeanstalt eine bestimmte Veranstaltung überträgt. Beispielsweise wird eine Sendeanstalt wahrscheinlich die gleichen oder sehr ähnliche Übergänge zwischen Kamera 1 und 2 für alle Baseball-Heimspiele verwenden, die sie von einer bestimmten Mannschaft überträgt. Diese einheitlichen Übergänge tragen dazu bei, dass jedes der Spiele das gleiche „Look and Feel" aufweist, d.h. gleich „aussieht" und sich gleich „anfühlt". In der vorliegenden Erfindung erlaubt diese Einheitlichkeit die Vorhersage der wahrscheinlichen Übergänge zwischen bestimmten Kameras für eine bestimmte Veranstaltung, und somit kann eine Übergangstabelle zur Verwendung während der Übertragung entwickelt werden. Vorteilhafterweise wird Fuzzy-Logik oder ein neuronales Netz verwendet, um die Übergangstabelle mit der Zeit basierend auf der Übertragung ähnlicher Veranstaltungen zu entwickeln, da im derzeit verwendeten 25-Stift-Tally-Kabel eine große Menge an Übergangsinformationen enthalten ist. Eine übliche Übergangstabelle für ein aus drei Kameras bestehendes System ist in Tabelle 1 offenbart.
TABELLE 1
Als eine Alternative oder zusätzlich zu der Übergangstabelle wird Spracherkennungstechnologie verwendet, um die Befehle des Regisseurs im Ü-Wagen durch Mikrofon 52 zu „interpretieren". Zum Beispiel werden die Befehle „2 überblenden", „3 rollender Schnitt", „Grafik bereit" oder „Grafik" jeweils verwendet, um den Übergang zwischen Kameras in der Speisung zu definieren, und diese Informationen tragen dazu bei, die Informationen bereitzustellen, die erforderlich sind, um das einzublendende Grafikbild so zu manipulieren, dass es zum Übergang passt. Diese auf Spracherkennung beruhenden Informationen können in Echtzeit verwendet werden oder einfach dazu genutzt werden, um bei der Entwicklung der Übergangstabelle mit der Zeit zu helfen.
Zusätzlich zur Bereitstellung der Übergangsinformationen für die Grafikspeisemodule stellt das Übergangsanalysemodul auch die Übergangsinformationen für den Szenario-Server 58 bereit. Der Szenario-Server verwendet die Übergangsinformationen beim Aufbau der Skripts.
Szenario-Server 58 ist auf Client-Server-Art mit Grafikspeisemodulen 56₁ –56₂ , Trackingmodulen 54a–54c und Übergangsanalysemodul 50 zur Steuerung dieser Module und zur Bereitstellung bestimmter Datenverbindungen zwischen diesen Modulen verbunden. Vorteilhafterweise ist Szenario-Server 58 mit den verschiedenen Modulen über ein Netzwerk wie beispielsweise einem Ethernet verbunden, das für die Dezentralisierung der verschiedenen Funktionen unter gleichzeitiger Aufrechterhaltung der zentralisierten Steuerung sorgt, um so eine schnelle und effiziente Aktualisierung der verschiedenen Skripts oder Szenarien für ein Übertragungsereignis zu ermöglichen.
Eine „Konfiguration" stellt den Status aller Ziele für einen gegebenen Zeitraum für eine bestimmte Speisung dar. Ein Skript umfasst eine Gruppe von Konfigurationen, für die es die Reihenfolge und zeitliche Abstimmung definiert. Somit ist ein Skript der Satz von Anweisungen zu Reihenfolge, Inhalt und zeitlicher Abstimmung für die Ersetzung von Zielen in einer bestimmten Videosequenz. Ein Skript ist mit einer bestimmten Speisung (und somit einem bestimmten Grafikspeisemodul) assoziiert und basiert auf Informationen zu den zu ersetzenden Zielen, den Bildern und/oder Animationen, die dazu bestimmt sind, Ziele zu ersetzen, und der Dauer der Ersetzung für jede Grafik und/oder Animation. Zum Beispiel kann ein Skript festlegen, dass eine bestimmte in der Speisung eines Fußballspiels gezeigte Reklametafel (Ziel) während der ersten Halbzeit durch Werbung für Unternehmen A und während der zweiten Halbzeit durch Werbung für Unternehmen B ersetzt wird. Ein vereinfachtes Skript für eine Videosequenz einer derartigen Veranstaltung ist in Tabelle 2 gezeigt.
TABELLE 2
Eine andere in der Konfiguration und somit dem Skript enthaltene Information ist die Größe jedes Bildes oder jeder Animation (in MB) und die farbmetrischen Parameter jedes Bildes/jeder Animation. Bilder umfassen üblicherweise einen einzelnen Rahmen oder ein einzelnes Bild, und Animationen umfassen üblicherweise eine Reihe von Bildern, die aufeinanderfolgend angezeigt werden.
Während die Datenverbindung zwischen den Modulen in einer bevorzugten Ausführungsform über Szenario-Server 58 gesteuert wird, wird das Echtzeitvideo selbst über herkömmliche Mittel (Kabel, Satellit usw.) von der Videoausrüstung 32 an die Grafikmodule 56₁ –56₃ übertragen, wie als Signal 47 gezeigt. Vorzugsweise werden die einzublendenden Bilder und Grafiken von Szenario-Server 58 an die Grafikspeisemodule 56a–56c gesendet, kurz (Sekunden) bevor sie von den Grafikspeisemodulen benötigt werden. Diese zeitliche Abstimmung ermöglicht eine Modifikation oder Manipulation der Ersatzbilder oder -grafiken in nahezu Echtzeit als Antwort auf die Interaktion mit dem Zuschauer oder andere Informationen, beispielsweise ein Ereignis bei der übertragenen Veranstaltung (z.B. Platzierung einer bestimmten Anzeige, wenn die Heimmannschaft gewinnt).
Grafikspeisemodule 56 nutzen die von zumindest einem der Trackingmodule 54a–54c bereitgestellten Zielidentifikations- und -lageinformationen, die von Übergangsanalysemodul 50 bereitgestellte Identifikation der „On-Air"-Kamera(s) und die von Szenario-Server 58 bereitgestellten Skripting-Informationen (einschließlich des Inhalts der Ersatzbilder oder -animationen) zur Manipulation der festgelegten Ersatzbilder oder -animationen sowie zur Ersetzung der festgelegten Ersatzbilder oder -animationen und zur Ersetzung der festgelegten Ziele zu den im Skript vorgesehenen Zeitpunkten. Vorteilhafterweise verwendet jedes GFM auch die (von den Trackingmodulen bereitgestellten) Zoom- und Fokussierungsinformationen der aktuellen „On-Air"-Kamera, um dem Ersatzbild oder der Ersatzanimation ein bestimmtes Maß an Unschärfe zuzuordnen, um es/sie besser an die Videospeisung anzupassen. Ein GFM kann mit einer Anzahl von Trackingmodulen so assoziiert sein, dass das GFM Ziele, die von jedem der assoziierten Trackingmodule identifiziert wurden, behandelt (z.B. ersetzt). Wie in 1 gezeigt, liefern Trackingmodule 54a–54c die Zielverfolgungsinformationen an GFM 56₁ –56₃ , und jedes GFM kann Informationen von jeder Anzahl von Trackingmodulen empfangen. Wie oben bereits angemerkt, müssen Trackingmodule 54a–54c die Trackinginformationen zu den Zielen automatisch und algorithmisch bereitstellen, so dass dies in Echtzeit oder nahezu Echtzeit erfolgen kann.
Zusammenfassend lässt sich sagen, dass Szenario-Server 58 Skripts laufen lässt, welche die Ersetzung von Zielen durch Grafikspeisemodule 56₁ –56₃ steuern. Die Skripts enthalten den Inhalt der Ersatzbilder/-animationen selbst und die Reihenfolge und zeitliche Abstimmung der Ersetzungen. Vorteilhafterweise werden die Skripts über die Netzwerkverbindung an die GFM 56 übertragen.
Eine Ausführungsform der Erfindung, welche die Mehrfachspeisung vorteilhaft nutzt, ist in 2 gezeigt, bei der es sich um ein schematisches Blockdiagramm der GFM des Einblendungssytems gemäß 1 in Verbindung mit einem Kabelübertragungssystem handelt. In der in 2 gezeigten Ausführungsform wird die Speisung von GFM 1 Kabelkopfstelle 72 zugeführt. Vorzugsweise sind die GFM ortsgleich mit den Kabelkopfstellen angeordnet oder stehen mit diesen über Hochgeschwindigkeitsübertragungsleitungen in Verbindung.
Kabelkopfstelle 70 empfängt ihre Speisung von GFM 1 und verteilt sie über ihr Kabelnetzwerk an Empfänger 74. In ähnlicher Weise empfängt Kabelkopfstelle 72 die Speisungen von GFM 2 und GFM 3 und verteilt diese Speisungen an Empfänger 76 bzw. 78. Somit empfängt Kabelkopfstelle 72 zwei unterschiedliche Speisungen, und diese Speisungen werden daraufhin an die entsprechenden Teilnehmer gesendet. Wie oben bereits angemerkt, können die Teilnehmer, welche die unterschiedlichen Speisungen empfangen, basierend auf Sprache, Geografie oder sonstigen demografischen Informationen differenziert werden. In einer alternativen Ausführungsform werden Informationen zu den Speisungen von Szenario-Server 58 an Kabelkopfstelle 72 gesendet.
Bezug nehmend auf 3 und 4 definiert ein Skript in einer Ausführungsform der Erfindung bestimmte Bereiche der Speisung als Bereiche zur Ermöglichung einer Interaktion mit dem Zuschauer. Diese „aktiven Bereiche" sind vorbestimmte Stellen auf den Bildern einer Übertragung, auf die ein Zuschauer mit einer Maus, einem Zeiger usw. klicken kann, um eine Auswahl anzugeben. Aktive Bereiche sind im Allgemeinen durch einen geometrischen Bereich (z.B. dargestellt durch kartesische oder polare Koordinaten) des angezeigten Feldes, Rahmens oder Bildes definiert und bewegen sich mit dem Bild durch Verwendung der gleichen Technologie, die, wie oben offenbart, auch die Ziele positioniert. Die aktiven Bereiche sind somit nicht einfach Bereiche mit einer festen Position auf dem Bildschirm, wie Banner oder Schaltflächen auf Seiten des World Wide Web, die über das Internet übertragen werden, jedoch können die Informationen zu einer Auswahl auf die gleiche Weise vom Netzwerk empfangen und in diesem zurück übertragen werden (z.B. an die Kabelkopfstelle), wie es beim World Wide Web der Fall ist.
Während das Mehrfachkamera-, Mehrfacheinspeisungssystem einen großen Bereich an Funktionalität bereitstellt, wie unten stehend beschrieben, umfasst das erfindungsgemäße interaktive virtuelle Einblendungssystem in seiner einfachsten Form eine Kamera zur Bereitstellung einer Kamera-Ausgabe, ein Trackingmodul zum Empfang der Kamera-Ausgabe und zur Verfolgung eines vordefinierten aktiven Bereichs in der Kamera-Ausgabe, einen Server zur Zuführung der Kamera-Ausgabe an einen interaktiven Empfänger und einen Computer zur Erkennung einer Auswahl des aktiven Bereichs aus dem interaktiven Empfänger und zur Bereitstellung einer Antwort auf die Auswahl.
Eine vereinfachte Darstellung eines Systems gemäß einem weiteren Aspekt der Erfindung ist in 5 gegeben, in der die Elemente, die denjenigen von 1 entsprechen, mit den gleichen Bezugszeichen bezeichnet sind. Die Verbindung zwischen den Komponenten, einschließlich der Digitalkameras 10a, ..., 10m, der Trackingmodule 54a, ..., 54m, der GFM 56₁ –56₃ , ist ein Ethernet-Bus. Schalter 31 dient als ein Mischer und Selektor. Abrupte Übergänge oder „Schnitte" werden an 62 erkannt. Das Übergangsanalysemodul 50 steuert das GFM 1 56 basierend auf von 62 empfangenen Tally-Signalen und Daten.
Ein erfindungsgemäßes System besitzt die Fähigkeit, den Implementierer (demjenigen, der das System nutzt, um eine Übertragung den Endnutzern zuzuführen) mit bestimmten Auswahlmöglichkeiten hinsichtlich der Definition des aktiven Bereichs zu versorgen. Wenn beispielsweise, wie in 3 gezeigt, die auf Anzeige 80 angezeigte Speisung einen Hintergrund einschließt, der Reklametafel 82 an der Außenfeld-Wand bei einem übertragenen Baseball-Spiel umfasst, und eine Vordergrund, der einen vor Reklametafel 80 laufenden Spieler 90 umfasst, kann der aktive Bereich 1) der gesamte Bereich von Reklametafel 82 sein, unabhängig davon, ob sie von Spieler 88 verdeckt wird oder nicht (d.h. nur der Hintergrund), 2) der nicht durch Spieler 88 verdeckte Bereich von Reklametafel 82 (Bereich 84) (d.h. der Hintergrund abzüglich des Vordergrundes) oder 3) der von Spieler 88 verdeckte Bereich von Reklametafel 82 (Bereich 86) (d.h. nur der Hintergrund zuzüglich des Vordergrundes) sein. Somit kann eine der Optionen als der aktive Bereich definiert werden, oder jede Option kann einen unterschiedlichen aktiven Bereich definieren. Diese drei Bereiche sind insbesondere voneinander unterscheidbar bei Nutzung der Systemausführungsform, bei der die Ziele und aktiven Bereiche mit Kameras verfolgt werden, die mit Messvorrichtungen ausgestattet sind.
Diese aktiven Bereiche erzeugen ein enormes Potenzial an Interaktivität mit der Videospeisung. Wenn beispielsweise, wie in 4 gezeigt, die auf Anzeige 80 angezeigte Speisung einen Schwimmwettkampf zeigt, können die Bahnen 92a–92e als Hot Spots vorgesehen sein, und wenn der Nutzer mit einem Zeiger oder einer Maus auf eine bestimmte Bahn klickt, kann die Statistik zu dem Schwimmer angezeigt werden, wie in Kasten 92 dargestellt. Während in der bevorzugtesten Ausführungsform die Statistik zu dem Schwimmer (d.h. die angeforderten Daten) durch ein GFM zu einem bestimmten Zeitpunkt netzaufwärts eingeblendet werden, sind die Statistiken zu jedem Schwimmer in einer alternativen Ausführungsform in der Speisung enthalten, und die angeforderte Statistik wird durch den Empfänger des Nutzers aus der Speisung extrahiert und angezeigt.
Als ein alternatives Beispiel für die Verwendung von aktiven Bereichen können die Fahrzeuge in einem Rennen als aktive Bereiche vorgesehen sein, und wenn der Nutzer auf ein bestimmtes Fahrzeug klickt, können die Instrumente des Fahrzeugs angezeigt werden. Die Erfindung stellt außerdem die Anzeige vorbestimmter Informationen bereit, wenn ein Nutzer auf eine Werbeanzeige klickt, die als ein aktiver Bereich in der Speisung vorgesehen wurde, unabhängig davon, ob diese Werbeanzeige Teil der sauberen Speisung (clean feed) ist oder durch ein Grafikspeisemodul eingeblendet wurde, wie oben offenbart.
Vorteilhafterweise kann sich ein Implementierer dafür entscheiden, einen aktiven Bereich einer entfernten oder verzögerten Aktion zuzuordnen, statt einer unmittelbaren Antwort wie oben offenbart. Ein Beispiel für eine derartige Verwendung umfasst das Zählen einer All-Star-Abstimmung für einen Baseball-Spieler, wenn der Zuschauer während der Übertragung eines Spiels (oder eines ausgewählten Abschnitts der Übertragung eines Spiels) auf den Spieler klickt (88, in 3). Die Ergebnisse einer derartigen Abstimmung können dann am Ende des Spiels angezeigt werden. In ähnlicher Weise kann die Auswahl eines aktiven Bereichs das vorherige Spiel in einem Speicher speichern, um es zu einem späteren Zeitpunkt erneut abzuspielen.
Vorteilhafterweise wird die Auswahl eines aktiven Bereichs durch eine Farbänderung des Bildes des aktiven Bereichs oder durch ein Audiosignal oder eine Audiomeldung signalisiert. In ähnlicher Weise wird, wenn ein aktiver Bereich nicht erneut ausgewählt werden kann, eine versuchte erneute Auswahl durch eine entsprechende Text- oder Audiomeldung signalisiert (z.B. wenn der aktive Bereich für eine Abstimmung genutzt wird).
Ein Schlüsselfaktor dieses Teils der Erfindung ist, dass die aktiven Bereiche wie bei der Ersetzung der Ziele vom Implementierer ihren Funktionen zugeordnet werden können (z.B. an der Kabelkopfstelle) und somit maßgeschneidert werden können. Das erfindungsgemäße System stellt dem Implementierer „Handles" in Form der Koordinaten der aktiven Bereiche zur Verfügung. Die Handle-Informationen können in der Austastlücke des Videos oder bei einer digitalen Übertragung zu jedem geeigneten Zeitpunkt eingeblendet werden, so dass sie während der Anzeige ihres zugeordneten Bildes oder Rahmens genutzt werden können. Die Handles, welche die geometrische Lage der aktiven Bereiche (und Ziele, sofern der Implementierer diese ebenfalls steuern kann) definieren, müssen dem Implementierer häufig aktualisiert bereit gestellt werden (z.B. einmal pro Bild oder Rahmen), da sie sich ständig ändern, während sich die aktiven Bereiche (und Ziele) in der Anzeige bewegen.
Das System ist somit flexibel, so dass der Implementierer, falls gewünscht, wählen kann, ob und wie er jeden der aktiven Bereiche nutzt. Die jedem aktiven Bereich zugeordneten Funktionen können durch eine Sendeanstalt netzaufwärts (z.B. die Erst-Sendeanstalt) oder durch den Implementierer bestimmt werden. Wenn eine Sendeanstalt netzaufwärts die Funktionalität der aktiven Bereiche bestimmt, wird diese Funktionalität in einer Ausführungsform durch Szenario-Server 58 definiert, und diese Funktionalität ist Teil des Skripts für jedes Videosegment. Wenn der Implementierer die Funktionalität der aktiven Bereiche bestimmt, wird dies alternativ mit einem vom Implementierer gesteuerten Computer erreicht. Ein derartiger Computer ist vorteilhafterweise mit Szenario-Server 58 verbunden, um Daten zu den aktiven Bereichen zurück netzaufwärts im System bereitzustellen.
Durch die Bereitstellung der Koordinatendaten für die Ziele und der Handles für die aktiven Bereiche als Teil der oder in Verbindung mit der Videospeisung ist das erfindungsgemäße System auch besonders gut für eine verzögerte Übertragung geeignet. In einem derartigen Fall kann das Skript, das die Zielersetzung und die Nutzung des aktiven Bereichs und die Funktionalität definiert, zusätzlich zu der oben offenbarten auf Ort, Sprache und Interaktivität basierenden speziellen Anpassung auch auf die bestimmte Zeit der Übertragung zugeschnitten sein. Somit können sich die während einer Erstübertragung einer Sportveranstaltung angezeigten Werbeanzeigen von den Anzeigen während einer Wiederholungssendung der Sportveranstaltung unterscheiden (und sind wahrscheinlich teurer).
Während oben Stehendes die Einblendung von Videobildern oder Grafiken beschreibt, ist jedoch anzumerken, dass das System auch in der Lage ist, Audio in die Speisung einzublenden, indem zusammen mit den Grafikspeisemodulen Audiomodule verwendet werden. Beispielsweise wird in einer weiteren Ausführungsform jedes Mal, wenn während der Übertragung ein bestimmtes Element (Person, Werbung usw.) gezeigt wird, ein Audiosegment abgespielt. Bei einer Standard-TV-Übertragung wird das Audiosegment auf der sekundären Audiospur (SAP) bereitgestellt, die normalerweise für alternative Sprachen genutzt wird, und wird je nach Bedarf mit der normalen Programmtonspur gemischt. Vorteilhafterweise wird, wie oben beschrieben, als Antwort auf eine Interaktion durch den Zuschauer eine Audiospur bereitgestellt. Zusätzlich können durch einfaches Quittieren der Auswahl eines aktiven Bereichs auch relationale Audiosegmente bereitgestellt werden. Bei der Übertragung eines in 4 gezeigten Schwimmwettkampfes könnte der Nutzer, wenn er mit einer Maus auf eine Bahn klickt, eine Audiodarstellung des Biorhythmus des Schwimmers, z.B. den Herzschlag, hören.
Es ist anzumerken, dass die Mehrfachkamerafähigkeit der vorliegenden Erfindung mit einem Trackingmodul für jede Kamera bestimmte zusätzliche Vorteile bereitstellt. Erstens wird die Kontinuität erhöht, da die Ersatzbilder oder -animationen bei einer Anzahl von Kamerawinkeln verwendet werden. Darüber hinaus können zahlreiche Informationen zu dem Ereignis (oder den Zielen) nur durch Verwendung mehrerer Kameras extrahiert werden. So ist das automatische Erkennen bestimmter geometrischer oder farblicher Merkmale nur durch Triangulation oder andere Verfahren möglich, bei denen zwei Kamerapositionen oder -winkel erforderlich sind (z.B. die Geschwindigkeit des Führenden in einem Rennen, die Position der Abseitslinie bei einem Feldspiel usw.). Weiterhin stehen, wenn ein Ziel in einer Sicht verdeckt ist, die fehlenden Daten durch die Sicht einer weiteren Kamera zur Verfügung. Zusätzlich können die Attribute der Ziele für jede Kamera unterschiedlich definiert sein, wodurch mehr Flexibilität bei der Verwaltung der Speisungen erreicht wird (z.B. kann dasselbe Ziel einmal undurchsichtig und einmal transparent angezeigt werden, um in unterschiedliche Szenarien einer gegebenen Speisung aufgenommen werden zu können).
Weiterhin wird, während die oben stehende Beschreibung betreffend die Ersetzung der Ziele im Allgemeinen für die Ersetzung lokalisierter/örtlich begrenzter Ziele bestimmt ist, eine Ersetzung größerer Ziele ebenfalls durch die Erfindung ins Auge gefasst. Da die durch HDTV ermöglichte Klarheit und Auflösung die Fehler in Hintergrundsets usw. in viel höherem Maße zeigt, als vorher möglich, und aufgrund der großen Bandbreite, die zur Übertragung von Vollfeldern/-rahmen in HDTV erforderlich ist, umfasst die vorliegende Erfindung die Bereitstellung von „virtuellen Sets". Ein virtuelles Set ist ein computererzeugtes Hintergrundset, das einfach und schnell als eine Grafik übertragen werden kann. In der vorliegenden Erfindung wird ein derartiges virtuelles Set anschließend mit einer Videospeisung (wobei der Hintergrund entfernt wurde) bei der End-Sendeanstalt kombiniert. Wie in 5 gezeigt, wird ein einen „Nachrichtenraum" umfassendes virtuelles Set mit einer die Nachrichtensprecher umfassenden Videospeisung kombiniert, um eine vollständige Nachrichtensendung bereitzustellen. Dieses System verringert die erforderliche Bandbreite, verbessert das Erscheinungsbild des Endproduktes und ermöglicht sogar eine individuelle Anpassung des Hintergrunds. Beispielsweise kann ein individuell angepasster Nachrichtenraum in Verbindung mit der Nachrichtenspeisung von 5 verwendet werden, um der Übertragung ein Erscheinungsbild zu verleihen, dass stärker örtlich orientiert ist.

Claims

Ein virtuelles Einblendungssystem zur Ersetzung von zumindest einem Ziel in einer Kamera-Ausgabe durch ein Bild, wobei das System umfasst: – eine Mehrzahl von Kameras (10), die jeweils eine Kamera-Ausgabe bereitstellen; – einen Schalter (31) zum Empfang der Kamera-Ausgaben und zur Bereitstellung einer kombinierten Videoausgabe und von mit der kombinierten Videoausgabe assoziierten Tally-Signalen, wobei die Tally-Signale angeben, welche Kamera oder Kameras die kombinierte Videoausgabe zu einem beliebigen Zeitpunkt bereitstellen; – eine Mehrzahl von Trackingmodulen (54), die jeweils die Kamera-Ausgabe von zumindest einer der Kameras empfangen und die Lage des Ziels in der Kamera-Ausgabe verfolgen; und – einen Szenario-Server (58) zur Definition von Skripts für jede einer Mehrzahl von Ausgaben, jeweils umfassend Informationen zu Reihenfolge, Inhalt und zeitlicher Abstimmung von Bildern, die an Stelle des zumindest einen Ziels in einer entsprechenden der Mehrzahl von Speisungen einzublenden sind; – eine Mehrzahl von Grafikspeisemodulen (56), dadurch gekennzeichnet, dass: – das System weiterhin ein Übergangsanalysemodul (50) zum Empfang der Tally-Signale von dem Schalter (31) und zur Identifizierung der Kameras und Übergänge zwischen Kameras (10) in der kombinierten Videoausgabe umfasst, basierend entweder auf einer Übergangstabelle, umfassend die Art der von dem Schalter verwendeten Übergänge beim Übergang von einer Kamera zu einer anderen, oder auf Sprachsignalen von einem Regisseur; – und dadurch, dass die Mehrzahl von Grafikspeisemodulen (56) eine Ausgabe-Speisung bereitstellen durch Einblendung von Bildern in die kombinierte Videoausgabe, basierend auf Trackingdaten hinsichtlich zumindest eines Ziels, bereitgestellt durch die Mehrzahl von Trackingmodulen (54), die Kamera-Identifizierung und Übergangsinformationen, bereitgestellt durch das Übergangsanalysemodul (50), sowie Skriptinformationen, bereitgestellt durch den Szenario-Server (58).
Ein virtuelles Einblendungssystem nach Anspruch 1, wobei der Szenario-Server, die Mehrzahl von Trackingmodulen, die Mehrzahl von Grafikmodulen und das Übergangsanalysemodul in einem Computernetzwerk miteinander verbunden sind und die Daten- und Videoübertragung zwischen den Modulen über das Computernetzwerk erfolgt.
Ein virtuelles Einblendungssystem nach Anspruch 1, wobei der Szenario-Server den Datenfluss zwischen der Mehrzahl von Trackingmodulen, der Mehrzahl von Grafikmodulen und dem Übergangsanalysemodul steuert.
Ein virtuelles Einblendungssystem nach einem der Ansprüche 1–3, wobei jedes der Mehrzahl von Trackingmodulen die Lage des zumindest einen Ziels in einer Kamera-Ausgabe durch Verarbeitung von Bildern in der Kamera-Ausgabe verfolgt.
Ein virtuelles Einblendungssystem nach einem der Ansprüche 1–3, wobei jede der Mehrzahl von Kameras eine Kamera-Ausgabe bereitstellt, die Videobilder und Messdaten umfasst, und jedes der Mehrzahl von Trackingmodulen Messdaten von zumindest einer Kamera empfängt und die Lage des zumindest einen Ziels in einer Kamera-Ausgabe durch Verarbeitung der Messdaten verfolgt.
Ein Verfahren zur Bereitstellung eines virtuellen Einblendungssystems mit Mehrfachspeisung zur Ersetzung von zumindest einem Ziel in der Ausgabe jeder einer Mehrzahl von Kameras, wobei das Verfahren umfasst: – Bereitstellen einer kombinierten Videoausgabe durch Schalten zwischen den Kamera-Ausgaben und Bereitstellen von Tally-Signalen, die angeben, welche Kamera-Ausgabe in der kombinierten Videoausgabe zu einem gegebenen Zeitpunkt enthalten ist; – Verfolgen der Lage von zumindest einem Ziel in der Ausgabe einer jeden einer Mehrzahl von Kameras und Bereitstellen einer Ausgabe von Trackingdaten; – Definition von Skripts für jede einer Mehrzahl von Speisungen, die Informationen zu Reihenfolge, Inhalt und zeitlicher Abstimmung von Bildern umfassen, die an Stelle des zumindest einen Ziels in jeder einer Mehrzahl von Ausgaben einzublenden sind; gekennzeichnet durch: – Analysieren der Tally-Signale und Bereitstellen von Übergangsinformationen bezüglich der Identifizierung der Kameras und Übergänge zwischen Kameras in der kombinierten Videoausgabe, wobei die Übergangsinformation entweder auf einer Übergangstabelle mit Daten bezüglich der Art der Übergänge zwischen der Mehrzahl von Kameras in der kombinierten Videoausgabe basiert oder auf Sprachsignalen von einem Regisseur; – Bereitstellen der Ausgabe-Speisungen durch Einblendung von Bildern in die kombinierte Videoausgabe, basierend auf den Trackingdaten, den Übergangsinformationen und den Skripts.
Ein Verfahren nach Anspruch 6, wobei die Bilder in die kombinierte Videoausgabe durch eine Mehrzahl von Grafikmodulen eingeblendet werden, von denen jedes eine Speisung bereitstellt.
Ein Verfahren nach Anspruch 7, wobei ein Szenario-Server bereitgestellt wird zur Definition der Skripts.
Ein Verfahren nach Anspruch 7, weiterhin umfassend das Verfolgen der Lage des zumindest einen Ziels in der Videoausgabe jeder der Kameras, entweder durch Verarbeitung der Videoausgaben oder durch Verarbeitung von Messdaten der Kameras.
Das System nach Anspruch 1, wobei: – das Trackingmodul angeordnet ist zum Empfang der Kamera-Ausgabe und zum Verfolgen eines vordefinierten aktiven Bereichs in der Kamera-Ausgabe sowie zur Bereitstellung von Koordinaten, die die Lage des aktiven Bereichs in der Kamera-Ausgabe angeben; – der Server angeordnet ist zur Zuführung der Kamera-Ausgabe an einen interaktiven Empfänger; und wobei das System weiterhin umfasst: – einen Computer zum Erkennen einer Auswahl des aktiven Bereichs auf dem interaktiven Empfänger und zur Bereitstellung einer Antwort auf die Auswahl.
Ein interaktives Einblendungssystem nach Anspruch 10, wobei der Computer ein Grafikspeisemodul umfasst und wobei die mit der Antwort zusammenhängenden Daten dem Grafikspeisemodul durch den Szenario-Server zugeführt werden.
Ein interaktives Einblendungssystem nach Anspruch 10 oder 11, wobei der Server die Koordinaten dem interaktiven Empfänger zuführt und der interaktive Empfänger den Computer zur Erkennung einer Auswahl des aktiven Bereichs und zur Bereitstellung einer Antwort auf die Auswahl umfasst.
Ein interaktives Einblendungssystem nach Anspruch 10, 11 oder 12, wobei die Antwort auf die Auswahl die Anzeige eines bestimmten Bildes auf dem interaktiven Empfänger umfasst.