DE69606971T2

DE69606971T2 - Verfahren zum empfang von komprimierten videosignalen

Info

Publication number: DE69606971T2
Application number: DE69606971T
Authority: DE
Inventors: Frank Bosveld; Jan De Visser; Marinus Huizer; Marcus Karel
Original assignee: Koninklijke Philips Electronics NV; Philips Norden AB
Current assignee: Koninklijke Philips NV; Philips Norden AB
Priority date: 1995-07-21
Filing date: 1996-07-16
Publication date: 2000-10-05
Anticipated expiration: 2016-07-17
Also published as: WO1997004584A3; DE69606971D1; KR970706695A; ES2146006T3; WO1997004584A2; WO1997004585A3; CN1191653A; JP3887019B2; US5873022A; EP0787406B1; MY116662A; EP0787406A2; CN1147149C; AU704427B2; JPH11500289A; MY116661A; AU708139B2; KR100455496B1; BR9606534A; AU6238996A

Description

Verfahren zum Empfangen komprimierter Videosignale

BEREICH DER ERFINDUNG

Die Erfindung bezieht sich auf ein Verfahren zum Empfangen komprimierter Fernsehsignale. Die Erfindung bezieht sich ebenfalls auf eine Anordnung zum Durchführen des genannten Verfahrens, insbesondere auf eine Anordnung wie eine digitale "Set Top Box" zum Empfangen MPEG-komprimierter Audio- und Videosignale von einem Video-auf-Antrag-Server.

HINTERGRUND DER ERFINDUNG

Der sog. "Transportstrom" und der "Programmstrom", wie diese in der MPEG-2 Norm definiert sind, schaffen einen genormten Mechanismus für die Übertragung und Speicherung MPEG-komprimierter Audio- und Video-Information. Die beiden Ströme enthalten Zeitmarken zum Synchronisieren der Decodierung und der Präsentation der transportierten Audio- und Video-Information, während gewährleistet wird, dass Datenpuffer in den Decodern während linearer Wiedergabe nicht über- oder unterlaufen. Außerdem werden diese Zeitmarken benutzt zur einwandfreien Lieferung der Ströme selbst. Der MPEG-Transportstrom wird auf die Kommunikation oder Speicherung eines oder mehrerer Programme digitaler Daten in Umgebungen, in denen wesentliche Fehler auftreten können, zugeschnitten. Solche Umgebungen sind beispielsweise terrestrische und Satellitenübertragungskanäle, Kabelkanäle und andere Telekommunikationsnetzwerke. Der MPEG-Programmstrom wird auf Kommunikation oder Speicherung eines Programms digitaler Daten in Umgebungen zugeschnitten, in denen Fehler sehr unerwünscht sind, und in denen Sotware-Verarbeitung der Systemcodierung eine Haupterwägung ist. Solche Umgebungen sind beispielsweise PCs mit optischen und magnetische Speichermedien.
In den jüngsten Jahren hat man Applikationen sehr viel Aufmerksamkeit gewidmet, welche die lineare Wiedergabe und Übertragung von Programm- und Transportströmen erfordern. Das Übertragen von beispielsweise MPEG-2codierten

Verfahren zum Empfangen komprimierter Videosignale

BEREICH DER ERFINDUNG

HINTERGRUND DER ERFINDUNG

Der sog. "Transportstrom" und der "Programmstrom", wie diese in der MPEG-2 Norm definiert sind, schaffen einen genormten Mechanismus für die Übertragung und Speicherung MPEG-komprimierter Audio- und Video-Information. Die beiden Ströme enthalten Zeitmarken zum Synchronisieren der Decodierung und der Präsentation der transportierten Audio- und Video-Information, während gewährleistet wird, dass Datenpuffer in den Decodern während linearer Wiedergabe nicht über- oder unterlaufen. Außerdem werden diese Zeitmarken benutzt zur einwandfreien Lieferung der Ströme selbst. Der MPEG-Transportstrom wird auf die Kommunikation oder Speicherung eines oder mehrerer Programme digitaler Daten in Umgebungen, in denen wesentliche Fehler auftreten können, zugeschnitten. Solche Umgebungen sind beispielsweise terrestrische und Satellitenübertragungskanäle, Kabelkanäle und andere Telekommunikationsnetzwerke. Der MPEG-Programmstrom wird auf Kommunikation oder Speicherung eines Programms digitaler Daten in Umgebungen zugeschnitten, in denen Fehler sehr unerwünscht sind, und in denen Sotware-Verarbeitung der Systemcodierung eine Haupterwägung ist. Solche Umgebungen sind beispielsweise PCs mit optischen und magnetische Speichermedien.
In den jüngsten Jahren hat man Applikationen sehr viel Aufmerksamkeit gewidmet, welche die lineare Wiedergabe und Übertragung von Programm- und Transportströmen erfordern. Das Übertragen von beispielsweise MPEG-2codierten Programmen erfordert die Verteilung von Transportströmen endlicher Länge. Die nicht lineare Wiedergabe von MFEG-Transportströmen und Programmströmen von Video-Servern hat nicht dieselbe Aufmerksamkeit erhalten. Nicht lineare Wiedergabe erfordert die Unterbrechung und die Fortsetzung des Stromes und ist notwendig für im Grunde alle Arten von Trick-Moden. Trick-Moden erfordern eine genaue Steuerung des Stromes. Für örtliche Systeme auf Plattenbasis sind Lösungen bekannt zum Unterstützen von Trick-Moden, wie Pause, Zeitlupe und Zeitraffung. Die bekannten Lösungen können aber nicht in Netzwerkumgebungen angewandt werden, weil Netzwerke in zwei Aspekten von örtlichen Systemen abweichen.
Der erste Aspekt ist die Verzögerung Decoder-Netzwerk-Server- Netzwerk-Decoder. Diese Verzögerung, die weiterhin als Netzwerklatenz bezeichnet wird, ist nicht konstant und kann eine Größe von bis zu einer Sekunde haben. Eine Folge der Netzwerklatenz ist, dass nachdem der Endbenutzer eine Pause beantragt (resultierend in einer Verzögerung des Decodierungs- und Wiedergabeprozesses und in der Übertragung eines Pausebefehls zu dem Server), das Netzwerk die Lieferung von Bits zu den Decoder einige Zeit fortsetzt. Die nachfolgende Fortsetzung des Stromes wird ebenfalls erschwert durch die Netzwerklatenz. Es gibt nämlich wegen der Netzwerklatenz eine wesentliche Verzögerung zwischen der Übertragung des "Fortsetzungs"-Befehls zu dem Server und dem Eintreffen der beantragten Bits bei dem Decoder. Die nach dem Pausebefehl gelieferten Bits und die vorübergehende Bitslücke nach dem Fortsetzungsbefehl sollen von dem Decoder derart erledigt werden, dass der Decoder seinen Decodierungs- und Wiedergabeprozess einwandfrei fortsetzen kann.
Der zweite Aspekt ist das etwaige Vorhandensein von MPEG-2- Neumultiplexern in dem Netzwerk. Das Vorhandensein von Neumultiplexern macht die Unterstützung für Trick-Moden kompliziert, weil Neumultiplexer es erlauben, dass die Pakete verschiedene PIDs in einem neu zu ordnenden Transportstrom haben. Ein PID ist ein Paket-Identifizierer, wie in der MPEG-2-Norm definiert. In der Praxis bedeutet dies, dass die Pakete nicht in derselben Reihenfolge in den Decoder eintreten wie sie von dem Server gesendet worden sind. Es sei bemerkt, dass das Vorhandensein von Neumultiplexern die Trick-Mode-Unterstützung für Transportströme mit nur ei nem PID, beispielsweise Video, nicht kompliziert macht, weil Neumultiplexer innerhaob eines PIDs die Pakete nicht neu ordnen dürfen.

AUFGABE UND ZUSAMMENFASSUNG DER ERFINDUNG

Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, eine Trick- Mode-Unterstützung für MPEG-2-Transportströme und Programmströme in Netzwerkumgebungen zu schaffen.
Dazu schafft die Erfindung ein Verfahren zum Empfangen eines komprimierten Fernsehsignals von einem Sender, gekennzeichnet durch die Tatsache, dass dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: das Speichern des empfangenen Signals in einem Latenzpuffer vor der Decodierung und Wiedergabe des genannten Signals; das Unterbrechen der Wiedergabe des Signals bei einem Pause- Befehl; das Zusenden eines Antrags zu dem Sender zum Unterbrechen der Übertragung des Signals, wenn eine vorbestimmte erste Belegung des Latenzpuffers erreicht ist nach dem genannten Pause-Befehl; das Fortsetzen der Wiedergabe des Signals bei einem Fortsetzungsbefehl; und das Zusenden eines Antrags zu dem Sender zum Fortsetzen der Übertragung des Signals, wenn eine vorbestimmte zweite Belegung des Latenzpuffers erreicht ist nach dem genannten Fortsetzungsbefehl.
Dadurch wird erreicht, dass der Decoder alle Bits absorbiert, die von dem Netzwerk geliefert werden, nachdem der Pause-Befehl gegeben worden ist. Für eine erfolgreiche Fortsetzung des Stromes erfordert der Decoder, dass der Server den Strom an derselben Stelle fortsetzt, an der er den Strom angehalten hat. Dies ist notwendig um die MPEG-2-Daten konsistent zu halten. Die Pufferkapazität soll groß genug sein alle dem Decoder gelieferten Bits nach dem Pause-Befehl zu absorbieren. Außerdem soll nach einem Fortsetzungsbefehl der Puffer groß genug sein um genügend Bits für den Decodierungsprozess zu liefern bis Bits von dem Server eintreffen. Dies bedeutet, dass der Puffer groß genug sein soll um die doppelte "Worst-Case"- Netzwerklatenz unterbringen zu können.
Mit dieser Annäherung ist die Übertragung der Pause- und Fortsetzungsbefehle abhängig von der Füllung des Latenzpuffers. Der Latenzpuffer wird durch den Decodierungsprozess mit einer Bitrate 0 < R < Rmax Bits/s geleert. Wenn der Decodierungsprozess aktiv ist, ist die Füllung des Puffers in der Zeit konstant. Wenn der Decodierungsprozess beendet wird, nimmt die Pufferfüllung mit einer rate von R Bits/s zu. Wenn die Pufferfüllung die halbvoll-Wassermarke passiert, wird dem Server ein Pause-Befehl zugesandt. Der Pause-Befehl kann ein "Sofort-Pause"-Befehl sein oder einen Zeitcode spezifizieren, dessen Wert "nun plus dem Worst-Case-Netzwerklatenz" entspricht. Wegen der Netzwerklatenz wird der Puffer gefüllt, bis der Server das Senden von Bits beendet. Die Füllung des Puffers ist dann in der Zeit Konstant. Wenn der Decodierungsprozess fortgesetzt wird, nimmt der Pufferfüllungsgrad ab. Wenn dieser die Wassermarke unterschreitet wird dem Server ein Fortsetzungsbefehl zugesandt. Der Füllungsgrad des Puffers nimmt weiter ab, bis die ersten Bits von dem Netzwerk geliefert werden.
Die Erfindung konzentriert sich auf zwei Trick-Moden, und zwar: "Pause/Fortsetzung" und "Zeitlupe". Die erforderliche Funktionalität für "Pause und Fortsetzung" ist, dass der Benutzer die Wiedergabe an jeder beliebigen Stelle unterbrechen und nachher reibungslos fortsetzen kann. Vorzugsweise tritt die Unterbrechung sofort auf, d. h. bei einem Bild/Teilbild, das zu dem betreffenden Zeitpunkt wiedergegeben wird und Fortsetzung soll bei dem nächsten Bild ohne Vermissung oder Wiederholung von Bildern stattfinden. "Pause und Fortsetzung" erfordert die Übertragung von "Pause" und "Fortsetzungs"-Befehlen von dem Decoder zu dem Server zum Anhalten und Fortsetzen des Stromes. Die erforderliche Funktionalität für "Zeitlupe" ist, dass der Benutzer dem Strom mit einer Geschwindigkeit zuschauen kann, die geringer ist als die normale Wiedergabegeschwindigkeit. Der Decoeer soll imstande sein, zwischen der Zeitlupenmode und der Normalwiedergabemode umzuschalten. Die Umschaltung soll unmittelbar auftreten, ohne Vermissung oder Verdopplung von Bildern. "Zeitlupe"- und "Fortsetzungs"-Nachrichten von dem Decoder zu dem Server zum Starten und Stoppen des Stromes.
Ausführungsbeispiele der Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
Fig. 1 ein System mit einem Video-auf-Antrag-Server und ein Empfänger nach der Erfindung,
Fig. 2 ein Beispiel eines von dem in Fig. 1 dargestellten Video-auf- Antrag-Server übertragenen Fernsehsignals,
Fig. 3 ein Flussdiagramm der von dem Server und dem Empfänger durchgeführten Arbeitsschritte,
Fig. 4 ein Zeitdiagramm zur Erläuterung der Wirkungsweise des Empfängers, und
Fig. 5 eine schematische Darstellung des Füllungsgrades eines Latenzpuffers nach Fig. 1.

BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN

Fig. 1 zeigt ein System mit einem Video-auf-Antrag (VOD)-Server 1 und einem "Set Top Box" (STB) 2, die über ein Netzwerk 3 verbunden sind. Der VOD-Server umfasst ein Speichermedium 11 und einen VOD-Kontroller 12. Der STB umfasst einen MPEG-Decoder 21, einen STB-Controller 22 und eine (Fern)Steuereinheit 23, und ist mit einer Wiedergabeanordnung 4 verbunden. Zwischen dem Set Top Box-Eingang und dem MPEG-Decoeer 21 ist ein Latenzpuffer 24 verbunden. Der Füllungsgrad F des Puffers wird dem STB-Controller 22 zugeführt. Benutzerbefehle von der Fernbedienungseinheit 23 werden ebenfalls dem STB-Controller 22 zugeführt und insofern sie vom Server unternommene Aktionen erfordern, über das netzwerk 3 als Steuersignal CTRL zu dem VOD-Controller 12 übertragen. Von dem Server 1 wird ein selektiertes Fernsehprogramm zu STB 2 in Form eines MPEG-Transportstroms TS übertragen.
Die Fernsehprogramme werden auf dem Speichermedium 11 gespeichert, das meistens aus einer Gliederung von Festplatten besteht. Vom Gesichtspunkt des STB verhält sich der Server als Fern-Videorecorder. Die gespeicherten Fernsehprogramme können zu verschiedenen Geschwindigkeiten, mit Pausen und wieder fortgesetzt wiedergegeben werden/Im Allgemeinen sind die Stellen, an denen das Programm unterbrochen und wieder fortgesetzt werden kann, beschränkt, und zwar abhängig davon, wie das Signal physikalisch gespeichert ist. So sollen beispielsweise die Stellen mit einem Plattensektor oder mit Plattenzylinderbegrenzungen übereinstimmen. Weil das Signal komprimiert ist, d. h. der Betrag an Plattenraum variiert von Bild zu Bild, Fortsetzungsstellen sind unregelmäßig über die Wiedergabezeit verteilt.
Im Allgemeinen umfassen Fernsehprogramme ein Videosignal, mehrere Audiosignale und zusätzliche Daten für, u. a. Untertitel in mehreren Sprachen. Der Einfachheit halber wird vorausgesetzt, dass das Fernsehprogramm, das von dem Server zu dem STB übertragen wird, nur ein Audiosignal A und nur ein Videosignal V umfasst. Auf entsprechende Art und Weise umfasst der Transportstrom Audiopakete und Videopakete.
Fig. 2 zeigt ein Beispiel des Transportstroms TS, der von dem Server zu dem STB übertragen wird. Der Transportstrom umfasst Audiopakete A&sub1;, A&sub2;, A&sub3;, usw. und Videopakete V&sub1;, V&sub2;, V&sub3; usw. Jedes Paket umfasst einen Kopf und eine Nutzinformation. Der Kopf umfasst einen Paketidentifizierer (PID), der identifiziert, ob das Paket Audiodaten oder Videodaten trägt. Es sei bemerkt, dass der Transportstrom TS mehrere Fernsehprogramme aufweisen kann. Eine Programmkartentabelle wird übertragen um anzugeben, welche PIDs das betreffende Programm bilden. In dem vorliegenden Beispiel transportiert der Transportstrom TS nur das selektierte Fernsehprogramm.
Die Wirkungsweise des Servers und des STB wird nun kollektiv anhand der Fig. 3 näher erläutert, die ein Flussdiagramm der von dem STB durchgeführten Arbeitsschritte (linke Seite der Figur) und der von dem Server durchgeführten Arbeitsschritte (rechte Seite der Figur) zeigt. In einem Schritt 31, bei t = t&sub1;, empfängt STB einen Pause-Befehl und verzögert die Wiedergabe des Signals, d. h. die Video- Wiedergabe wird "Festbild"-Wiedergabe und die Audiowiedergabe wird beendet. Inzwischen liefert das Netzwerk Bits und der Füllungsgrad F des Latenzpuffers nimmt zu.
In einem Schritt 32 überprüft der STB-Controller, ob der Pufferfüllungsgrad einen vorbestimmten Wert annimmt, beispielsweise F = 1/2B, wobei B die Pufferkapazität ist. Sollte das der Fall sein, schickt der Controller den Pausebefehl bei t = t&sub2; dem Server zu. Der Pausebefehl wird von dem Server in einem Schritt 33 bei t = t&sub3; erhalten mit einer Verzögerung τ&sub3; wegen der Latenz des Netzwerkes. In Reaktion auf den Pausebefehl unterbricht der Server unmittelbar die Übertragung des Signals. Der Schritt 34 bezeichnet die Unterbrechung des Signalempfangs bei dem Empfänger bei t = t&sub4;, wegen der Latenz τ&sub2; des Netzwerkes.
In einem Schritt 35 setzt der STB bei t = t&sub5; die Wiedergabe des Signals fort, und zwar in Reaktion auf einen Fortsetzungsbefehl von dem Benutzer. Dadurch nimmt der Latenzpufferfüllungsgrad F ab.
In einem Schritt 36 überprüft der STB-Controller ob der Pufferfüllungsgrad den vorbestimmten Wert F = 1/2B annimmt. In dem Fall schickt der Controller den Fortsezungsbefehl bei t = t&sub6; dem Server zu. Der Fortsetzungsbefehl wird von dem Server in einem Schritt 37 bei t = t&sub7; mit einer Verzögerung τ&sub3; empfangen. In Reaktion auf den Fortsetzungsbefehl setzt der Server unmittelbar die Übertragung des Signals anfangend an der Stelle, wo es unterbrochen wurde, fort. Der Schritt 38 bezeichnet den Empfang des fortgesetzten Signals beim Empfänger bei t = t&sub8; mit einer Verzögerung τ&sub4;. Es sei bemerkt, dass die Verzögerungen τ&sub1;-τ&sub4; nicht unbedingt gleich sind. Sie brauchen auch nicht in der Zeit konstant zu sein.
Fig. 4 zeigt ein Zeitdiagramm von Signalen an mehreren Stellen in dem System. Insbesondere bezeichnet TS1 den Transportstrom, wie dieser von dem Server übertragen wird, TS2 bezeichnet den Transportstrom, wie dieser von STB empfangen wird und DSP bezeichnet das wiedergegebene Signal. Das Bezugszeichen 40 bezeichnet die Verzögerung zwischen dem Empfang des Bitstroms und der Wiedergabe desselben, der durch den Latenzpuffer eingeführt ist. Die Pufferkapazität wird als 12 Pakete vorausgesetzt. In der vorliegenden stationären Situation wird vorausgesetzt, dass es 4 Pakete in dem Puffer gibt.
Bei t = t&sub1; wird die Wiedergabe unterbrochen, wodurch der Pufferfüllungsgrad vergrößert wird. Bei t = t&sub2;, wenn 2 Pakete mehr in den Puffer eintreten, ent spricht der Pufferfüllungsgrad der halben Kapazität und der Pausebefehl wird dem Server zugeführt. Bei t = t&sub3; empfängt der Server den Pausebefehl und unterbricht die Signalübertragung, was bei dem Empfänger bei t = t&sub4; deutlich wird. Der Pufferfüllungsgrad bleibt nun konstant.
Bei t = t&sub5; empfängt STB den Fortsetzungsbefehl und setzt die Wiedergabe fort, was verursacht, dass der Pufferfüllungsgrad abnimmt. Das Bezugszeichen 41 bezeichnet die Pakete, die nun decodiert und wiedergegeben werden. Bei t = t&sub6; entspricht, wenn 5 Pakete aus dem Puffer ausgelesen worden sind, der Pufferfüllungsgrad wieder der halben Kapazität und der Fortsetzungsbefehl wird dem Server zugeführt. Bei t = t&sub7; empfängt der Server den Fortsetzungsbefehl und setzt die Signalübertragung fort, was beim Empfänger bei t = t&sub8; deutlich wird. Das Bezugszeichen 42 bezeichnet die Verzögerung zwischen dem Empfang des Bitstroms und der Wiedergabe nach Fortsetzung der Wiedergabe. Nun entspricht die Verzögerung 1 Packet.
Der Vollständigkeit halber zeigt Fig. 5 den Latenzpufferfüllungsgrad für das oben erläuterte Beispiel. Eine weitere Erläuterung dieser Fig. 5 erübrigt sich.
Zusammenfassend lässt sich sagen, dass die Erfindung sich auf den Empfang MPEG-codierter Fernsehsignale von einem Video-auf-Antrag-Server (1) über ein Netzwerk (3) bezieht. Nicht lineare Wiedergabefunktionen, wie "Pause" und "Fortsetzung" erfordern eine äußerst genaue Steuerung des Bitstroms, wobei die typischen Netzwerkaspekte, wie Netzwerklatenz, berücksichtigt werden. Der Empfänger (2) umfasst einen Latenzpuffer (24) zur Speicherung des gelieferten Signals, während die Wiedergabe unterbrochen wird. Der Pause- und Fortsetzungsbefehl vom Benutzer werden dem Server zugeführt, bis der Latenzpuffer einen vorbestimmten Füllungsgrad erreicht. Dadurch kann der Empfänger nach einer Pause die Signalwiedergabe reibungslos fortsetzen.

Claims

1. Verfahren zum Empfangen eines komprimierten Fernsehsignals von einem Sender, gekennzeichnet durch die Tatsache, dass dieses Verfahren die nachfolgenden Verfahrensschritte umfasst:

- das Speichern des empfangenen Signals in einem Latenzpuffer vor der Decodierung und Wiedergabe des genannten Signals;

- das Unterbrechen der Wiedergabe des Signals bei einem Pause-Befehl;

- das Zusenden eines Antrags zu dem Sender zum Unterbrechen der Übertragung des Signals, wenn eine vorbestimmte erste Belegung des Latenzpuffers erreicht ist nach dem genannten Pause-Befehl;

- das Fortsetzen der Wiedergabe des Signals bei einem Fortsetzungsbefehl; und

- das Zusenden eines Antrags zu dem Sender zum Fortsetzen der Übertragung des Signals, wenn eine vorbestimmte zweite Belegung des Latenzpuffers erreicht ist nach dem genannten Fortsetzungsbefehl.

2. Verfahren nach Anspruch 1, wobei die genannte erste und die genannte zweite Belegung im Wesentlichen der halben Kapazität des genannten Latenzpuffers entspricht.

3. Empfänger zum Empfangen eines komprimierten Fernsehsignals von einem Sender, dadurch gekennzeichnet, dass er die nachfolgenden Elemente aufweist: einen Latenzpuffer zur Speicherung des empfangenen Signals vor der Decodierung und der Wiedergabe des genannten Signals, und Steuerelemente, die für die nachfolgenden Zwecke vorgesehen sind:

- das Unterbrechen der Wiedergabe des Signals bei einem Pause-Befehl;

- das Senden eines Antrags zu dem Sender zum Unterbrechen der Übertragung des Signals, wenn eine vorbestimmte erste Belegung des Latenzpuffers nach dem genannten Pause-Befehl erreicht ist;

- das Fortsetzten der Wiedergabe des Signals bei einem Fortsetzungsbefehl; und

- das Senden eines Antrags zu dem Sender zum Fortsetzen der Übertragung des Signals, wenn eine vorbestimmte zweite Belegung des Latenzpuffers nach dem genannten Fortsetzungsbefehl erreicht ist.

4. Empfänger nach Anspruch 3, wobei die genannte erste und die genannte zweite Belegung im Wesentlichen der halben Kapazität des genannten Latenzpuffers entspricht.