DE69914426T2

DE69914426T2 - Logoeinfügung in ein Videosignal

Info

Publication number: DE69914426T2
Application number: DE69914426T
Authority: DE
Inventors: Dinei Afonso Ferreira Florencio; Ragnar Hlynur Jonsson
Original assignee: Sarnoff Corp
Current assignee: Sarnoff Corp
Priority date: 1998-07-28
Filing date: 1999-07-27
Publication date: 2004-07-01
Anticipated expiration: 2019-07-28
Also published as: EP0984633A2; US6226041B1; EP0984633A3; JP2000078471A; EP0984633B1; DE69914426D1

Description

Hintergrund der Erfindung
Die vorliegende Erfindung betrifft digitales Video und insbesondere das Einfügen von Logos in einem komprimierten digitalen Video-Bitstrom.
Beschreibung der zugehörigen Technik
Beim Senden normaler analoger (z. B. NTSC oder PAL) Fernsehprogramme ist es für den lokalen Sender üblich, sein Stationslogo in das eingespeiste Programm z. B. in einer Ecke des Videobildes einzufügen, um die Station zu kennzeichnen. Dies gilt vor allem für Kabelfernsehprogramme. Die Benutzer können dadurch rasch feststellen, was sie gerade sehen, wenn sie "in den Kanälen surfen", vor allem heutzutage, wo die Kabelbetreiber die Kanalzuweisungen in ihrem Kabelspektrum neu zuordnen. Eine ähnliche Technik ist seit kurzem für Fernsehprogramm-Einstufungen zum Einsatz gekommen, so dass Eltern sofort die Einstufung des eingeschalteten Programms erkennen können. Das Einfügen von Logos und anderen Bildsymbolen in einen Eingangsstrom ist für die heutigen Videomärkte von großer Bedeutung.
In künftigen digitalen Fernsehsystemen werden die Fernsehprogramme von einem zentralen Netz zu einem lokalen Sender als komprimierte digitale Video-Bitströme übertragen, die beispielsweise einem MPEG-Videokomprimierungsstandard entsprechen. Wie im Falle nicht komprimierter analoger Fernsehprogramme ist es wünschenswert, den lokalen Sendern zu ermöglichen, Logos oder andere Bildsymbole in komprimierte digitale Video-Ströme einzufügen, bevor sie die Fernsehprogramme an ihre Kunden senden.
Die europäische Patentanmeldung Nr. 0 805 600 stellt ein Verfahren zur Überlagerung einer Meldung, bei der es sich um ein Symbol oder Piktogramm handeln kann, auf einen Video-Strom in der komprimierten Domäne bereit. Bei diesem Verfahren werden jedoch zwei komprimierte Bilder kombiniert, wodurch es erforderlich wird, die Meldung zuerst zu komprimieren und eine zusätzliche Codierung in den Bitstrom einzufügen.
Zusammenfassung der Erfindung
Die vorliegende Erfindung, die durch die Ansprüche 1, 10 und 11 definiert ist, ist auf ein Konzept zum Einfügen von Logos und anderen Bildsymbolen in komprimierte digitale Video- Ströme gerichtet. Die Erfindung vermeidet die vollständige Decodierung und erneute Codierung des Bitstroms, indem bestimmte Blöcke oder Makroblöcke durch neue Bildsymbole ersetzt werden. Normalerweise würde dies eine nicht akzeptable Verzerrung des Videosignals aufgrund der Bewegungskorrektur verursachen. Die vorliegende Erfindung beseitigt den Laufzeitfehler, indem das neue Material nur in B-Bilder eingefügt wird.
Eine Ausführungsform der vorliegenden Erfindung ist auf das Einfügen von Bildsymbolen in einen komprimierten digitalen Video-Bitstrom gerichtet, wobei das Bildsymbol nur in Einmal-Bilder des komprimierten digitalen Video-Bitstroms eingefügt wird, um einen komprimierten Bitstrom mit eingefügtem Bildsymbol zu erzeugen. Ein Einmal-Bild ist ein Bild, das niemals als Referenz zur Codierung eines anderen Rahmens im komprimierten digitalen Video-Bitstrom verwendet wird.
Kurzbeschreibung der Zeichnungen
Andere Aspekte, Merkmale und Vorteile der vorliegenden Erfindung ergeben sich aus der nachstehenden detaillierten Beschreibung, den angefügten Ansprüchen und den beiliegenden Zeichnungen; es zeigen:
1 ein mögliches Konzept zum Einfügen von Logos oder anderen Bildsymbolen in komprimierte digitale Video-Bitströme; und
2 ein Flussdiagramm der Verarbeitung beim Einfügen von Logos oder anderen Bildsymbolen in komprimierte digitale Video-Bitströme gemäß einer Ausführungsform der vorliegenden Erfindung.
Detaillierte Beschreibung
1 zeigt ein mögliches Konzept zum Einfügen von Logos oder anderen Bildsymbolen in komprimierte digitale Video-Bitströme. Gemäß 1 komprimiert ein Video-Codierer 102, der z. B. in einem zentralen Netz angeordnet ist, ein Videosignal (analog oder digital), um einen komprimierten digitalen Video-Bitstrom zu erzeugen, der dann an einen speziellen Video-Prozessor 104 bei einem lokalen Sender übertragen wird. Der Videoprozessor 104 weist einen Video-Decodierer 106, einen Video-Logo-Einfüger 108 und einen Video-Codierer 110 auf, die in ihrer Gesamtheit ein Logo oder ein anderes Bildsymbol in den vom zentralen Netz empfangenen komprimierten digitalen Video-Bitstrom einfügen.
Genauer gesagt decodiert der Video-Decodierer 106 den komprimierten digitalen Video-Bitstrom, um einen decodierten Video-Strom zu erzeugen. Auf einer bestimmten Ebene kann vom Video-Decodierer 106 gesagt werden, dass er die vom Video-Codierer 102 im zentralen Netz implementierte Komprimierungsverarbeitung umkehrt.
Der Video-Logo-Einfüger 108 fügt ein Logo oder ein anderes gewünschtes Bildsymbol in den decodierten Video-Strom ein, um einen Video-Strom mit einem eingefügten Logo zu erzeugen. Je nach der Implementierung arbeitet der Video-Logo-Einfüger 108 entweder in der analogen oder der digitalen Domäne. Im Falle der analogen Domäne kann der Video-Logo-Einfüger 108 identisch mit den vorhanden Bauteilen sein, die derzeit zum Einfügen von Logos in Fernsehprogramme verwendet werden. Im Falle der digitalen Domäne kann der Video-Logo-Einfüger 108 in der Bildpunkt-Domäne arbeiten, um die Bildpunkte des Logos den Bildpunkten des decodierten Videosignals zu überlagern oder in diese einzublenden, um ein digitales Video mit einem eingefügten Logo zu erzeugen.
In jedem Fall komprimiert der Video-Codierer 110 das Video mit dem eingefügten Logo erneut, um erneut einen komprimierten digitalen Video-Bitstrom entsprechend dem Video mit dem eingefügten Logo zu erzeugen. Dieser Bitstrom mit eingefügtem Logo wird dann vom lokalen Sender an seine Kunden gesendet.
Bei Video-Kompressionsalgorithmen wie MPEG wird eine Video-Sequenz mit verschiedenen Typen von Videobildern codiert. Ein Originalbild (auch als Intra- oder I-Frame bekannt) ist ein Bild aus Videodaten, das unter Verwendung nur von Intraframe-Codierungstechniken ohne Referenz auf irgendwelche anderen Bilder codiert wird. Ein prädiziertes oder P-Bild ist ein Bild aus Videodaten, das mit Zwischenbildcodierungstechniken wie Bewegungsschätzung, Bewegungskorrektur und Zwischenbilddifferenz codiert werden kann. Außerdem kann ein P-Bild selbst eine Referenz für die Codierung eines anderen Bildes sein. Wie die P-Bilder ist ein Einmal- oder B-Bild ein Bild aus Videodaten, das mit Intraframe-Codierungstechniken mit Referenz auf mindestens eine anderes Bild codiert werden kann. Im Gegensatz zu P-Bildern wird jedoch ein B-Bild niemals als Referenz für die Codierung eines anderen Bildes verwendet. Als solches kann ein B-Bild aus einer Videosequenz entfallen, ohne die Wieder gabe anderer Bilder nachteilig zu beeinflussen; dies ist der Grund für die Bezeichnung "Einmal-Bild".
Video-Kompressionsalgorithmen wie MPEG codieren Video-Bilder auf Basis von Bildpunktzonen, die als Blöcke oder Makroblocke bezeichnet werden. Beispielsweise werden Transformationen wie die DCT-Transformation typischerweise auf (8 × 8)-Blöcke aus Bildpunktdaten (d. h. entweder auf die Bildpunkte selbst oder auf bewegungskorrigierte Zwischenbild-Bildpunktdifferenzen) angewendet, während Bewegungsschätzung und Bewegungskorrektur typischerweise auf (16 × 16)-Makroblöcke aus Bildpunkten angewendet werden. Bei der bewegungskorrigierten Zwischenbilddifferenzbildung wird für einen Bewegungsvektor ungleich null ein Makroblock in einem Bild mit Referenz auf eine (16 × 16)-Zone eines anderen Bildes codiert, der eine Lage in diesem Bild hat, die verschieden ist von der Lage des Makroblocks im ersten Bild.
Ein Vorteil des Logoeinfügungskonzepts von 1 ist, dass Änderungen jedes Video-Bildes aufgrund der Einfügung des Logos berücksichtigt werden, wenn das Video mit eingefügtem Logo vom Video-Codierer 110 komprimiert wird. So werden z. B. Änderungen des Logo-Bereichs sowohl im Originalbild als auch im prädizierten Bild berücksichtigt, wenn die Bewegungsschätzung und die bewegungskorrigierte Differenzbildung während der Codierung sowohl der prädizierten als auch der Einmal-Bilder erfolgen.
Bei diesem Konzept zum Einfügen von Logos in komprimierte digitale Video-Bitströme gibt es jedoch einige Nachteile. In erster Linie ist für das Konzept teure Ausrüstung zum vollständigen Decodieren und erneuten Codieren des Video-Stroms erforderlich. Außerdem sind Kompressionsalgorithmen wie MPEG verlustbehaftete Algorithmen, die sich auf Quantisierungs- und andere Schritte stützen, die die Qualität des decodierten Videos nachteilig beeinflussen können. Demzufolge vermindern die zusätzlichen Schritte der Decodierung und erneuten Codierung die Qualität des endgültig decodierten Videobildes beim Kunden nur noch weiter.
Die vorliegende Erfindung ist auf ein alternatives Konzept zum Einfügen von Logos und anderen Bildsymbolen in komprimierte digitale Video-Bitströme wie die einem MPEG-Video-Komperssionsstandard entsprechenden gerichtet. Gemäß diesem Konzept wird ein Logo nur in Einmal-Bilder im komprimierten Bitstrom eingefügt. Da keine anderen Bilder auf Basis der Einmal-Bilder codiert werden, beeinflussen die Änderungen dieser Bilder aufgrund des Ein fügens des Logos die Wiederhabe anderer Bilder im komprimierten Bitstrom nicht. Bei bevorzugten Ausführungsformen brauchen außerdem nur die codierten Daten, die den betroffenen Makroblöcken im Einmal-Bild entsprechen, verarbeitet zu werden. Als Ergebnis stellt die vorliegende Erfindung ein Konzept zum Einfügen eines Logos in einen komprimierten digitalen Video-Bitstrom bereit, bei dem nicht der gesamte komprimierte digitale Video-Bitstrom beim lokalen Sender decodiert zu werden braucht.
2 zeigt ein Flussdiagramm der Verarbeitung für das Einfügung von Logos oder anderen Bildsymbolen in komprimierte digitale Video-Bitströme gemäß einer Ausführungsform der vorliegenden Erfindung. Nach der Wahl des Logos und des gewünschten Ortes, wo es auf dem Videobild eingefügt werden soll (Schritt 202 in 2), werden die Blöcke und Makroblöcke im Videobild, die vom Logo betroffen sind, aufgrund der Größe und des gewünschten Ortes des Logos bestimmt (Schritt 204). Die codierten Daten nur der Einmal-Bilder im komprimierten digitalen Video-Bitstrom, die den bestimmten Blöcken und Makroblöcken entsprechen, werden dann aus dem Bitstrom extrahiert (Schritt 206) und durch entsprechende codierte Daten mit eingefügtem Logo ersetzt (Schritt 208), wobei die codierten Daten mit eingefügtem Logo den Blöcken der das Logo repräsentierenden intracodierten Bildpunkte entsprechen.
Je nach der betreffenden Implementierung gibt es verschiedene Möglichkeiten, die codierten Daten mit dem eingefügten Logo zu erzeugen. Bei manchen Implementierungen z. B. sind die codierten Daten mit eingefügtem Logo vollkommen unabhängig von den entsprechenden codierten Daten im ursprünglichen komprimierten Bitstrom. Bei diesen Implementierungen ersetzt das Logo effektiv die entsprechenden Makroblöcke in den Einmal-Bildern des ursprünglichen Video-Bildes. Bei anderen Implementierungen wird das Logo mit den ursprünglichen Videodaten gemischt, um das Logo auf eine elegantere Weise in das Videobild einzufügen. Dieses Mischen kann auf Bildpunktebene oder auf der Transformationskoeffizientenebene erfolgen. Im Fall der Bildpunktebene müssen die entsprechenden codierten Daten aus den Einmal-Bildern wieder vollständig zu Bildpunkten decodiert werden, die dann (z. B. durch gewichtete Mittelung) mit Bildpunkten entsprechend dem Logo gemischt werden können, um gemischte Bildpunkte zu erzeugen, die dann erneut komprimiert werden, um die codierten Daten mit dem eingefügten Logo zu erzeugen. Dieser Prozess kann die Anwendung einer inversen (z. B. DCT)-Transformation erfordern, um die Bildpunkte aus den ursprünglichen codierten Daten zu regenerieren, sowie die Anwendung der Vorwärtstransformation, um die codierten Daten mit dem eingefügten Logo aus den gemischten Daten zu erzeugen.
Ist es wünschenswert, die durch die Anwendung der inversen und der Vorwärtstransformation erforderliche Verarbeitung zu vermeiden, kann das Mischen direkt auf den Transformationskoeffizienten angewendet werden (ohne dass die inverse und Vorwärtstransformation angewendet werden müssen). In jedem Fall werden die resultierenden codierten Daten mit eingefügtem Logo anstelle der ursprünglich codierten in Schritt 206 extrahierten Daten in Schritt 208 wieder in den komprimierten Bitstrom eingefügt.
Falls erforderlich werden auch andere Einstellungen am komprimierten Bitstrom vorgenommen (Schritt 210). So kann beispielsweise der Ersatz der ursprünglichen codierten Daten durch die codierten Daten mit eingefügtem Logo bestimmte Eigenschaften des Bitstroms wie die Byteausrichtung oder die Bitrate beeinflussen. Weiterhin kann es in manchen Fällen notwendig werden, einige zusätzliche Blöcke der ursprünglichen codierten Daten zu entfernen oder zu vereinfachen, um das Einfügen der intracodierten Daten mit eingefügtem Logo auszugleichen, da bei intracodierten Blöcken die Tendenz besteht, mehr Bits codieren zu müssen als zwischencodierte Blöcke.
Fallen gemäß der vorliegenden Erfindung die Logogrenzen mit den Makroblockgrenzen zusammen und ist das Logo undurchsichtig, hängt das eingefügte Signal nicht vom Eingangssignal ab und deshalb braucht das Eingangssignal nicht decodiert zu werden. Da in diesem Fall das Logo intracodiert ist, können die codierten Daten für das Logo vorberechnet (d. h. vorcodiert) werden. Insofern ist unter Echtzeitbedingungen eine sehr begrenzte Verarbeitung erforderlich. Immer wenn die obigen Bedingungen nicht erfüllt werden, kann eine gewisse partielle Decodierung des Eingangs-Bitstroms erforderlich sein, die aber auf den Teil des Bildes beschränkt ist, der durch das Logo betroffen ist.
Da gemäß der vorliegenden Erfindung das Logo nur in Einmal-Bilder eingefügt wird, ist das Logo nicht in jedem Bild vorhanden. Dies resultiert in einem gewissen Flimmereffekt zwischen Einmal-Bildern mit Logos einerseits und Originalbilden und prädizierten Bildern ohne Logos andererseits. Dieser Flimmereffekt ist bei höheren Bildraten oder bei einer relativ hohen Anzahl Einmal-Bildern weniger deutlich festzustellen. Außerdem bieten die Einfachheit und die geringen Kosten der vorliegenden Erfindung Vorteile gegenüber anderen Lösungen, die den Flimmereffekt aufwiegen. Die vorliegende Erfindung kann besondere Anwendungen während des Einfügens von Warnmeldungen auf lokaler Ebene (z. B. Unwetterwarnungen oder dgl.) haben. Eine weitere Anwendung kann die Signalisierung eine unberechtigten Zugriffs sein, bei der die Qualität des decodierten Signals nicht wichtig ist und bei der eine durch Flimmern bewirkte Belästigung erwünscht sein kann. Eine weitere Anwendung kann die künstlerische Verwendung eines beweglichen Logos sein, bei der das Flimmern durch die Bewegung des Bildes verborgen oder gedämpft werden kann.
Die vorliegende Erfindung kann unter Verwendung eines Logo-Einfüge-Prozessors implementiert werden, dessen Blockdiagramm ähnlich dem von Prozessor 104 in 1 ist, jedoch können gemäß der vorliegenden Erfindung der Video-Decodierer und der Video-Codierer stark vereinfacht werden, da sie nicht den gesamten komprimierten Bitstrom vollständig decodieren und erneut codieren müssen.
Obwohl die vorliegende Erfindung in Zusammenhang mit Video-Komprimierungskonzepten beschrieben worden ist, die einem MPEG-Video-Komprimierungsstandard entsprechen, liegt es für den Fachmann auf der Hand, dass die vorliegende Erfindung auch in Zusammenhang mit anderen geeigneten Video-Komprimierungskonzepten implementiert werden kann.
Die vorliegende Erfindung kann in Form von Verfahren und Vorrichtungen zur Verwirklichung dieser Verfahren ausgeführt werden. Die vorliegende Erfindung kann auch in Form eine Programmcodes auf greifbaren Medien wie Disketten, CD-ROM's, Festplatten oder anderen maschinenlesbaren Medien ausgeführt werden, so dass dann, wenn der Programmcode in eine Maschine, z. B. einen Rechner, geladen und von dieser ausgeführt wird, die Maschine eine Vorrichtung zur Verwirklichung der Erfindung wird. Die vorliegende Erfindung kann auch z. B. in Form eine Programmcodes ausgeführt werden, der in einem Speichermedium gespeichert sein kann, in eine Maschine geladen und/oder von dieser ausgeführt oder über ein Übertragungsmedium wie elektrische Verdrahtung oder Verkabelung, Lichtwellenleiter oder über elektromagnetische Strahlung übertragen werden kann, so dass dann, wenn der Programmcode in eine Maschine, z. B. einen Rechner, geladen und von dieser ausgeführt wird, die Maschine eine Vorrichtung zur Verwirklichung der Erfindung wird. Bei Implementierung auf einem Universalprozessor vereinigen sich die Programmcodesegmente mit dem Prozessor, um ein einzigartiges Gerät bereitzustellen, das analog zu spezifischen Logikschaltungen arbeitet.
Es versteht sich weiter, dass verschiedene Änderungen der Einzelheiten, Materialien und Anordnungen der Teile, die zur Erläuterung der Art dieser Erfindung beschrieben und dargestellt worden sind, vom Fachmann vorgenommen werden können, ohne vom Prinzip und Gültigkeitsbereich der Erfindung gemäß den anschließenden Ansprüchen abzuweichen.

Claims

Verfahren zum Einfügen eines Bildsymbols in einen komprimierten digitalen Video-Bitstrom, bei dem das Bildsymbol nur in Einmal-Bilder im komprimierten Bitstrom eingefügt wird, um einen komprimierten Video-Bitstrom mit eingefügtem Bildsymbol (206, 208) zu erzeugen, wobei ein Einmal-Bild ein Bild ist, das niemals als Referenz zur Codierung eines anderen Bildes im komprimierten digitalen Video-Bitstrom verwendet wird.
Erfindung nach Anspruch 1 mit den Schritten: (a) Extrahieren (206) codierter Daten aus einem Einmal-Bild im komprimierten digitalen Video-Bitstrom, wobei die codierten Daten einer gewünschten Lage für das Bildsymbol entsprechen; und (b) Ersetzen (208) der extrahierten codierten Daten im komprimierten digitalen Video-Bitstrom mit den durch das Bildsymbol eingefügten codierten Daten entsprechend dem Bildsymbol, um den komprimierten Bitstrom mit dem eingefügten Bildsymbol zu erzeugen.
Erfindung nach Anspruch 2, bei der Schritt (b) ferner die Schritte aufweist: (1) zumindest teilweises Decodieren (106) der extrahierten codierten Daten, um zumindest teilweise decodierte Daten zu erzeugen; (2) Mischen (108) der zumindest teilweise decodierten Daten mit den Bildsymboldaten, um durch das Bildsymbol eingefügte Daten zu erzeugen; und (3) Codieren (110) der durch das Bildsymbol eingefügten Daten mit, um die durch das eingefügte Bildsymbol codierten Daten zu erzeugen.
Erfindung nach Anspruch 3, bei der das Mischen auf Bildpunkten erfolgt.
Erfindung nach Anspruch 3, bei der das Mischen auf Transformationskoeffizienten erfolgt.
Erfindung nach Anspruch 3, bei der: die durch das Bildsymbol eingefügten Daten intern codierte Daten sind; das Bildsymbol einem Logo entspricht; und der komprimierte digitale Video-Bitstrom von einem lokalen Rundfunksender von einem zentralen Netz empfangen und der komprimierte Bitstrom mit dem eingefügten Bildsymbol durch den lokalen Rundfunksender an seine Kunden gesendet wird.
Erfindung nach Anspruch 2, bei der die durch das Bildsymbol eingefügten codierten Daten intern codierte Daten sind.
Erfindung nach Anspruch 1, bei der das Bildsymbol einem Logo entspricht.
Erfindung nach Anspruch 1, bei der der komprimierte digitale Video-Bitstrom von einem lokalen Rundfunksender von einem zentralen Netz empfangen und der komprimierte Bitstrom mit dem eingefügten Bildsymbol durch den lokalen Rundfunksender an seine Kunden gesendet wird.
Vorrichtung zum Einfügen eines Bildsymbols in einen komprimierten digitalen Video-Bitstrom mit: (a) Mittel, die zum Extrahieren (206) codierter Daten nur aus Einmal-Bilder im komprimierten digitalen Video-Bitstrom konfiguriert sind, wobei die codierten Daten einer gewünschten Lage für das Bildsymbol entsprechen und ein Einmal-Bild ein Bild ist, das niemals als Referenz zum Codieren eines anderen Bildes im komprimierten digitalen Video-Bitstrom verwendet wird; und (b) Mittel, die zum Ersetzen (208) der extrahierten codierten Daten im komprimierten digitalen Video-Bitstrom mit den durch das Bildsymbol eingefügten codierten Daten entsprechend dem Bildsymbol konfiguriert sind, um einen komprimierten Bitstrom mit dem eingefügten Bildsymbol zu erzeugen.
Computer lesbares Medium, auf dem eine Vielzahl Anweisungen gespeichert ist, wobei die Vielzahl Anweisungen Anweisungen enthalten, die bei ihrer Ausführung durch einen Prozessor den Prozessor veranlassen, ein Verfahren zum Einfügen eines Bildsymbols in einen komprimierten digitalen Video-Bitstrom zu implementieren, wobei das Verfahren die Schritte aufweist: (a) Extrahieren (206) codierter Daten nur aus Einmal-Bildern im komprimierten digitalen Video-Bitstrom, wobei die codierten Daten einer gewünschten Lage für das Bildsymbol entsprechen, und wobei ein Einmal-Bild ein Bild ist, das niemals als Referenz zum Codieren eines anderen Rahmens im komprimierten digitalen Video-Bitstrom verwendet wird; und (b) Ersetzen (208) der extrahierten codierten Daten im komprimierten digitalen Video-Bitstrom mit den durch das Bildsymbol eingefügten codierten Daten entsprechend dem Bildsymbol, um den komprimierten Bitstrom mit dem eingefügten Bildsymbol zu erzeugen.