DE69614500T2

DE69614500T2 - Speicherverminderung für das Grundprofil und die Hauptebene eines MPEG-2-Dekoders

Info

Publication number: DE69614500T2
Application number: DE69614500T
Authority: DE
Inventors: Danilo Pau
Original assignee: STMicroelectronics SRL
Current assignee: STMicroelectronics SRL
Priority date: 1996-02-27
Filing date: 1996-02-27
Publication date: 2001-11-22
Anticipated expiration: 2016-02-28
Also published as: US5923375A; DE69614500D1; EP0793389A1; EP0793389B1; JPH09247688A

Description

Die vorliegende Erfindung bezieht sich auf einen integrierten Videodecodierer, der auf der Verwendung des MPEG-Komprimierungsalgorithmus, insbesondere entsprechend einer zweiten und fortgeschritteneren Version des MPEG- Standards, die MPEG-2 genannt wird, basiert und einen reduzierten Bedarf an Videospeicher besitzt.
Der MPEG-1-Standard wurde als Antwort auf den Industriebedarf am Implementieren einer effizienten Weise des Speicherns und des Wiedergewinnens von Videoinformationen auf digitalen Datenträgern, wie z. B. CD-ROMs, entwickelt. Selbstverständlich ist der MPEG-1-Standard außerdem ein leistungsfähiges Werkzeug zum effizienten Speichern von Daten auf ähnlichen Trägern, wie z. B. DATs, Winchester-Platten, optischen Platten und ISDN- und LAN-Netzen. Eine effizientere Version des Standards, die MPEG-2 genannt wird, ist zur Unterstützung des Bitraten-Bedarfs im Gebiet der Anwendungen digitaler Videoübertragungen entwickelt worden. Der Standard ist für digitale Fernsehsysteme allgemein akzeptiert worden, um Bilder in Fernsehauflösung, die vollständig verschachtelt sind, auf eine Bitrate von etwa 20 Mbit/s zu komprimieren.
Es wird erwartet, daß eine spezielle Version des MPEG-2-Standards in den HDTV-Systemen einer zukünftigen Generation verwendet wird.
Der MPEG-Standard vereinigt und verwendet wichtige Algorithmen und Kriterien, die durch vorhergehende internationale Standards definiert sind, wie z. B. den Algorithmus H.261 zur Bestimmung von CCITT-Bewegungsvektoren und die ISO-10918-Standard des ISO-JPEG-Ausschusses zum Codieren von Standbildern. Sowohl eine Definition des MPEG-Standards (1 und 2) als auch eine umfassende Beschreibung der verschiedenen Techniken der Implementierung und der entsprechenden Codierungs- und Decodierungssysteme der Daten, die zu komprimierten Videobildern gemäß den MPEG-Standards gehören, sind in einer Fülle von Artikeln und Veröffentlichungen über das Thema beschrieben, unter denen die folgenden erwähnt werden können:
- Internationaler Entwurf ISO/IEC DIS 13818-2 "Information technology - Generic coding of moving pictures and associated audio information";
"MPEG coding and transport system" von Leonardo Chiariglione, Digital Television Broadcasting - Proceedings.
- "The MPEG video compression algorithm" von Didier J. Le Gall, Signal Processing Image Communication, Elsevier Science Publishers B. V., Bd. 4, Nr. 2, April 1992.
- Sammlung Nr. 1995/012, Electronics Division, Institution of Electrical Engineers - London, Kolloquium über: "MPEG-2 - what it is and what it isn'2".
- "An Overview of the MPEG Compression Algorithm", technische Notiz, freigegeben von SGS-THOMSON MICROELECTRONICS (An 529/0294).
- Datenblatt "STi3500A", Datenblatt der SGS-THOMSON MICROELEC- TRONICS.
- "STi3520A - Advanced Information for an MPEG Audio / MPEG-2 Video Integrated Decoder" (Juni 1995).
- EP-A-673171
Entsprechend einer typischen Architektur eines MPEG-2-Decodierers, wie z. B. derjenigen, die in der Fig. 3 der Veröffentlichung Nr. STi3520A bezüglich eines von SGS-THOMSON MICROELECTRONICS vermarkteten integrierten MPEG-Audio/MPEG-2-Video-Decodierers gezeigt ist, die hierin als Fig. 1 wiedergegeben ist, gibt es wohldefinierte Anforderungen an den Videospeicher, d. h. an die Kapazität eines externen DRAM-Speichers, die für eine PAL- und eine NTSC-Anwendung, die 16-Mbit-PAL-Videosignale unterstützen kann, wie folgt geschätzt werden kann.
In Anbetracht dessen, daß sowohl ein MPEG-2-Video-Decodierer als auch ein MPEG-Audio-Decodierer durch eine gemeinsame Schnittstelle auf einen einzigen externen 16-Mbit-DRAM-Speicher zugreifen, kann der Audio-Decodierer nur Zugriff auf 131.072 Bit erfordern, wobei er die verbleibenden 16.646.144 Bit zum Erfüllen der Anforderungen des MPEG-2-Video-Decodierers verfügbar läßt. Der Videospeicher kann entsprechend einem üblichen Schema wie folgt konfiguriert sein.
- Ein "Bitpuffer", das ist ein Puffer für komprimierte Daten, den der MPEG-2-Standard in Anbetracht auf einen tatsächlich implementierten nichtidealen Prozeß der Dekomprimierung auf 1,75 Mbit plus einen zusätzlichen Betrag, z. B. 834.722 Bit, fixiert.
- Ein erster "I-Vollbild-Puffer" für das dekomprimierte Intrabild oder kurz das I-Bild in einem 4 : 2 : 0-Format.
- Ein zweiter "P-Vollbild-Puffer" für das dekomprimierte Prädiktionsbild oder kurz das P-Bild in einem 4 : 2 : 0-Format.
- Ein dritter "B-Vollbild-Puffer" für das dekomprimierte bidirektionale Prädiktionsbild oder kurz das B-Bild in einem 4 : 2 : 0-Format, das schließlich so optimiert ist, daß es nur eine reduzierte Menge an Speicher erfordert, d. h. von 0,7407 oder 0,6111 eines Vollbildes im Fall eines PAL- bzw. NTSC-Systems.
Entsprechend der bekannten MPEG-2-Standardtechnik und ungeachtet, ob ein I-, P- oder B-Bild behandelt wird, beansprucht jeder "Vollbild-Puffer" abhängig vom Typ des Videostandards im 4 : 2 : 0-Format eine Menge an Speicher, die durch die folgende Tabelle gegeben ist.
Deshalb ist im Fall des PAL-Systems, das den schwersten Fall darstellt, wobei es als ein Bezugsbeispiel dienen kann, die tatsächliche Gesamtmenge an erforderlichem Speicher gegeben durch:
1. 835.008 + 835.584 + 4.976.640 + 4.976.640 + (4.976.640 · 0,7407) = 16.310.070 Bit
Diese Berechnung berücksichtigt eine 0,7407-Optimierung des Vollbild-Puffers des B-Bildes.
Eine weitere Optimierung kann im Ausführen der Dekomprimierung des B- Bildes durch das interne Ausführen einer äquivalenten Funktion in der integrierten Decodierervorrichtung durch einen funktional auf der Eingangsseite der Anzeigeeinheit angeordneten dedizierten Schaltungsblock, der gewöhnlich als Makroblock-in-Rasterabtast-Umsetzer bezeichnet wird, bestehen, ohne zu einem Speicherschritt im externen RAM zureifen. Dies ist durch die Verwendung eines internen Puffers für das B-Bild implementiert, der aus integrierten Hochgeschwindigkeitsspeichern gebildet ist, wie z. B. synchrone SDRAMs, die bei 100 MHz und darüber hinaus arbeiten.
In Anbetracht dieser weiteren Optimierung wird die Anforderung an Video- RAM weiter auf:
1.835.008 + 835.584 + 4.976.640 + 4.976.640 = 12.623.872 Bit,
verringert, weil der interne B-Puffer das Abtasten jedes 8 · 8-Blocks (8 · 8- Bildelement-Blocks), der im MPEG-2-komprimierten Datenstrom definiert ist, in ein Zeilenabtasten des Halbbild- oder Vollbild-Bildes umzusetzen, das vom Anzeigeprozeß des Bildes auf einem Fernsehschirm benötigt wird.
Die europäische Patentanmeldung Nr. 95830504.7, am 4. Dezember 1995 im Namen des gleichen Anmelders eingereicht, beschreibt ein Verfahren und eine entsprechende MPEG-2-Decodierer-Architektur, gemäß dLenen durch einen Rekompressionsschritt der I- und P-Bilder nach der MPEG-2-Dekomprimierung gemäß einem adaptiven differentiellen Impulscode-Modulationsschema (ADPCM-Schema) die Speicheranforderung beachtlich auf weniger als 8 Mbit bei einer relativ kleinen Verschlechterung der Bildqualität verringert ist.
Mit dem gleichen Ziel der Verringerung der Speicheranforderung in bezug auf diejenige bekannter Systeme ist nun ein Decodierungsverfahren und eine entsprechende Architektur gefunden worden, die eine beachtliche Verringerung der Speicheranforderung erreichen, während sie die Qualität der Bilder bewahren. Abweichend vom in der obenerwähnten früheren Patentanmeldung beschriebenen System bewahrt folglich das System der vorliegenden Erfindung die Umsetzungsqualität praktisch unverändert obgleich mit einer verringerten oder optimierten Speicheranforderung.
Im wesentlichen macht sich das Verfahren der vorliegenden Erfindung den Makroblock von einer Dekomprimierung von Makroblöcken eines B-Bildes, die komprimiert und im externen RAM-Speicher gespeichert sind, im schlechtesten Fall unter Verwendung der zwei Vorwärts- und Rückwärtsprädiktoren, zunutze.
Der Vorwärtsprädiktor gehört zu einem Bild, das in dekomprimierter Form im externen Speicher gespeichert ist.
Gemäß einem wesentlichen Aspekt der Erfindung ist im Gegensatz der Rückwärtsprädiktor nicht unmittelbar im externen RAM-Speicher wie in bekannten Systemen zugänglich (in einer dekomprimierten Form verfügbar), vielmehr sind es die P-Makroblöcke, die den Bereich des Bildes definieren, der komprimiert und im externen RAM-Speicher gespeichert ist, wo sich ein derartiger Rückwärtsprädiktor befinden würde, auf die zugegriffen wird.
Andererseits sind diese P-Makroblöcke in einer komprimierten Form gespeichert, wobei deshalb das Verfahren der Erfindung unter Verwendung der entsprechenden Vorwärtsprädiktoren (für die Bewegungskompensation), die im schlimmsten Fall von denjenigen verschieden sind, die für das Dekomprimieren des obenerwähnten Makroblocks des B-Bildes verwendet worden, für ihre Dekomprimierung sorgt, und die sowieso immer verwendet werden, um die Bewegungskompensationsroutine gemäß dem MPEG-Standard zu vervollständigen.
Gemäß einem weiteren Aspekt der Erfindung wird dies durch eine typische Architektur des "Kerns" des Videodecodierers möglich gemacht, der dadurch gekennzeichnet ist, daß zwei Hilfsdekomprimierungs- und -decodierungspiep lines außer der Dekomprimierungs- und Decodierungs-Hauptpipeline, die für ein grundlegendes Decodiererschema geeignet ist, vorhanden sind, und daß die zwei Hilfspipelines mit einer Taktfrequenz arbeiten, die das Doppelte derjenigen der MPEG-2-Daten der Hauptpipeline des Decodierens und der Dekomprimierung ist.
Ein Verfahren und ein Decodierer gemäß der Erfindung sind in den Ansprüchen 1 bzw. 2 dargelegt.
Die verschiedenen Aspekte und entsprechenden Vorteile der Erfindung werden noch deutlicher durch die folgende Beschreibung einer wichtigen Ausführungsform und durch Bezugnahme auf die beigefügte Zeichnung, worin:
Fig. 1 ein Blockschaltplan ist, der den "Kern" eines Videodecodierers zeigt, der gemäß der vorliegenden Erfindung verwirklicht ist;
Fig. 2 die interne Architektur des FORWARD PREDICTOR BUFFER-Blocks des "Kerns" des Decodierers nach Fig. 1 zeigt;
Fig. 3 die Architektur des BACKWARD PREDICTOR BUFFER-Blocks des "Kerns" des Decodierers nach Fig. 1 zeigt;
Fig. 4 eine erklärende Darstellung des koordinierten Arbeitens der drei Pipelineblöcke MAIN, AUX1 und AUX2 des Decodierer-"Kerns" nach Fig. 1 ist;
die Fig. 5 bis 12 ebenso viele Fälle der Rekonstruktion eines Makroblocks eines B-Bildes durch den Decodierer veranschaulichen.
Die in Fig. 1 veranschaulichte Ausführungsform zeigt einen MPEG-2-Videodecodierer, der in PAL- oder NTSC-Anwendungen verwendbar ist und der 16- Mbit-PAL-Videosignale unterstützen kann.
Der Blockschaltplan ist in einer Weise vereinfacht, daß der "Kern" oder der "Videokern" des Chips hervorgehoben ist, der die integrierte Schaltung des MPEG-2-Videodecodierers enthält. Wie gezeigt ist, zieht das System die Verwendung eines externen DRAM-Speichers in Betracht, d. h., der in einem getrennten Chip enthalten ist, auf den der "Videokern" des Decodierers durch einen Speicherbus zugreift, der außerdem durch einen "Audiokern" des MPEG-Decodierers (wie in der Figur gezeigt ist) mitbenutzt werden kann, um auf einen entsprechenden Audiopuffer zuzugreifen, der außerdem in derselben externen DRAM-Vorrichtung organisiert sein kann.
Selbstverständlich wird der Video-"Kern" anders als mit dem Speicherbus außerdem mit einem (in der Figur nicht gezeigten) Steuerbus eine Schnittstelle bilden, durch den ein Systemsteuerungs-Mikroprozessor durch eine dedizierte Schnittstelle eingreift, die ebenfalls nicht in der Figur gezeigt ist, aber deren Funktion und Architektur sich ein Fachmann unmittelbar vorstellen kann, eventuell durch Bezugnahme auf die Fülle der Literatur über dieses Thema, wie z. B. auf die in der Einleitung zitierten Veröffentlichungen.
In Fig. 1 enthält der "Kern" des Videodecodierers einen First-In/First-Out- Block CD FIFO für die Erfassung und das Schreiben der komprimierten Daten bezüglich der I-, P- und B-Bilder in die jeweiligen Puffer des externen Videospeichers (DRAM).
Eine Startcode-Detektorschaltung SCD erfaßt den anfänglichen Code eines Bildes im Video-Bitstrom, wobei sie ein Startsignal für eine richtige Synchronisierung des Decodierungssystems durch den Mikroprozessor durch den entsprechenden Steuerbus bereitstellt.
Der Hauptblock des Decodierens und der Dekomprimierung ist als ganzes durch den Block MAIN PIPELINE (IVLC, RLD, iQ, IDCT) dargestellt, der mit einer Taktfrequenz f arbeitet.
Der Block FORWARD PREDICTOR BUFFER stellt einen Puffer dar, in den der dekomprimierte Vorwärtsprädiktorwert geschrieben wird, der sich auf den aktuellen Makroblock des B-Bildes im Fall der Dekomprimierung bezieht, der aus dem entsprechenden Puffer (4.976.640 bit) des externen RAMs gelesen wurde.
Gemäß einem wichtigen Aspekt der Erfindung wird der Rückwärtsprädiktor im jeweiligen Puffer (1.835.008 bit) des externen RAMs komprimiert beibehalten, wobei der spezifische Wert des Rückwärtsprädiktors, der sich auf den Makroblock des B-Bildes in der Phase der Dekomprimierung bezieht, extrahiert und in einem dedizierten BACKWARD PREDICTOR BUFFER des "Kerns" gespeichert wird, wobei für einen derartigen Zweck ein dediziertes Netz verwendet wird. Dieses dedizierte Netz oder Hilfsnetz umfaßt außer den FORWARD PREDICTOR BUFFER- und den BACKWARD PREDICTOR BUFFER-Block eine erste und eine zweite Decodierungs- und Dekomprimierungspipeline AUX1 PIPELINE (IVLC, RLD, iQ, IDTC) bzw. AUX2 PIPE- LINE (IVLC, RLD, iQ, IDTC), die beide die gleiche Architektur der ersten Pipeline oder MAIN-Pipeline besitzen, wobei sie zu dieser parallel aber mit einer doppelten Taktfrequenz 2f und mit zwei Addierern S1 und S2 arbeiten.
Wie im folgenden umfassender veranschaulicht ist, wird in der Praxis mittels dieses zusätzlichen Netzes oder Hilfsnetzes auf die komprimierten Makroblöcke des P-Bildes zugegriffen und werden in der Praxis mittels dieses zusätzlichen Netzes oder Hilfsnetzes die komprimierten Makroblöcke des P-Bildes dekomprimiert, indem die jeweiligen Vorwärtsprädiktoren verwendet werden, die in einer dekomprimierten Form aus ihrem jeweiligen Puffer des externen Video-RAM-Speichers verfügbar sind. Die dekomprimierten P-Makroblöcke heben sich aus dem Videobereich hervor, der zu dem Bild gehört, das in einer komprimierten Form in dem RAM-Bereich gespeichert ist, der in der Darstellung nach Fig. 1 als Rückwärtsprädiktor bezeichnet ist, in dem der Rückwärtsprädiktorwert gespeichert ist, der sich auf den Makroblock des B- Bildes bezieht, das dekomprimiert wird, wobei auf diese Weise erlaubt wird, den richtigen Rückwärtsprädiktorwert des B-Makroblocks zu extrahieren, der dekomprimiert wird, und ihn im dedizierten internen BACKWARD PREDICTOR BUFFER zu speichern.
Der dritte Addierer S3 dient dazu, die Bewegungskompensationsvektoren zu erzeugen, die es erlauben, ausgewählt durch den Multiplexer MUX, die Bewegungskompensationsprozedur für den Makroblock des B-Bildes zu vervollständigen, der durch den vierten Addierer S4 dekomprimiert wird.
Die dekomprimierten und bewegungskompensierten Makroblöcke des B-Bildes werden danach zu dem Block der Makroblock-in-Rasterabtast-Umsetzung gesendet, der die Umsetzung von der Makroblockabtastung in die Rasterabtastung der Bilddaten ausführt, bevor er sie zu einer Nachverarbeitungseinheit sendet, die normalerweise einem PAL/NTSC-Codierer für das Anzeigen des Bildes auf einem Fernsehschirm vorangeht.
Die ganze Speicheranforderung, die sich bei Vernachlässigung der relativ kleinen Kapazitätsanforderungen einer nachfolgenden Bildschirmanzeigefunktion (OSD-Funktion) auf 9,05 Mbit (= 9.481.378 bit) beläuft, ist in Fig. 1 angezeigt. Dies stellt die Einsparung von etwa 6,8 Mbit in bezug auf die optimierte Basisanforderung von 16.310.070 bit eines Standard-MPEG-2-Decodierers dar.
In der Tat definiert der MPEG-2-Standard die maximale Abmessung eines komprimierten Vollbildes auf 1.835.008 bit (1,75 Mbit).
Das Speichern des P-Bildes und des B-Bildes in einer komprimierten Form erfordert eine Menge an Speicher, die gleich 1.835.008 · 2 = = 3.670.016 bit ist.
Gemäß der Architektur der vorliegenden Erfindung kann ein externer Speicher (DRAM-Speicher) in der folgenden Weise organisiert sein, wie in der Darstellung nach Fig. 1 angezeigt ist.
- Ein Vollbild-Puffer für den Vorwärtsprädiktor, der ursprünglich ein I- Bild ist, das aber durch dekomprimierte und bereits angezeigte nachfolgende P-Bilder allmählich aktualisiert wird, dessen Größe, wie sie durch den MPEG-2-Standard festgesetzt ist, 4.976.640 bit für das PAL-System (kritischste (größte) Größe) und 4.147.200 bit für das NTSC-System beträgt.
- Ein Puffer für das P-Bild, d. h. für den Rückwärtsprädiktor, der für den schlimmsten, durch den MPEG-2-Standard vorgesehenen Fall 1.835.008 bit enthalten kann.
- Ein Puffer für das B-Bild, der für den schlimmsten, durch den MPEG-2- Standard vorgesehenen Fall 1.835.008 bit enthält.
- Ein zusätzlicher Puffer (40 ms & jitterkomprimierter Puffer), um die Nichtidealität des Prozesses der im Chip implementierten Dekomprimierung auszugleichen, der eine Kapazität von 834.772 bit besitzen kann.
Gemäß dem Verfahren der Erfindung, das durch die Verwendung eines Decodierers mit einer Architektur wie derjenigen, die in Fig. 1 gezeigt ist, implementiert ist, findet die Speicherung der Daten und Dekomprimierung der in den Video-RAM-Speicher geschriebenen komprimierten Daten in der folgenden Weise statt. Ein erster Schritt besteht im Speichern des Bitstroms, der von einem Datenübertragungs-Demultiplexer kommt, in den jeweiligen Puffern, die im externen DRAM konfiguriert sind, mittels eines CD FIFO-Blocks.
Ein zweiter Schritt erfaßt mit der Hilfe eines (in der Figur nicht gezeigten) Mikroprozessors des Systems den Startcode (SCD) eines Bildes im Bitstrom, um hervorzuheben, welche im Bitstrom enthaltenen Parameter verwendet werden können, um die "Kern"-Register des Decodierers anzuweisen.
Sobald ein I-Bild erfaßt wird, wird dieses dekomprimiert und in dem Bereich des externen RAMs gespeichert, der im Schema nach Fig. 1 als Vorwärtsprädiktor bezeichnet ist, es wird jedoch noch nicht zur Nachverarbeitungsschaltungsanordnung (für seine Umsetzung aus einem 4 : 2 : 0-Format in ein 4 : 2 : 2- Format und seine anschließende Anzeige auf dem Fernsehschirm) gesendet.
Zum gleichen Zeitpunkt wird ein komprimiertes P-Bild im Rückwärtsprädiktor-Puffer des externen RAMs gespeichert, ohne der Dekomprimierung unterworfen zu werden.
Schließlich kommt ein neues komprimiertes B-Bild im Bitstrom an, wobei es im jeweiligen Puffer (B-Bild) des externen RAMs gespeichert wird.
An diesem Punkt ist es möglich, das komprimierte I-Bild anzuzeigen, wobei die Zeit, die von dieser Operation benötigt wird, im Fall eines PAL-Formats 40 ms beträgt.
Sobald das Anzeigen des I-Bildes zu Ende ist, wird das B-Bild durch die MAIN-Pipeline dekomprimiert, während die Hilfspipelines AUX1 und AUX2 für das Dekomprimieren und das Definieren des Rückwärtsprädiktors verwendet werden. Zum gleichen Zeitpunkt führt der Makroblock-in-Rasterabtast- Umsetzer die Umsetzung in ein Rasterformat aus, bevor das folgende Anzeigen stattfindet.
Schließlich wird das vorher in einer komprimierten Form im entsprechenden Puffer des externen DRAMs gespeicherte P-Bild dekomprimiert, wobei es gleichzeitig angezeigt und im gleichen Puffer des externen RAMs gespeichert wird, der folglich der neue (aktualisierte) Vorwärtsprädiktor wird.
Durch Bezugnahme auf das Funktionsschema des "Kerns" des Decodierers der Erfindung führt die Hauptdecodierungs- und -dekomprimierungspipeline (MAIN), die mit der Taktfrequenz f arbeitet, die Dekomprimierung der I-Bilder, der B-Bilder und der P-Bilder aus. Die zwei Hilfsdecodierungs- und -dekomprimierungspipelines (AUX1 und AUX2), die mit der doppelten Frequenz 2f arbeiten, werden für das Dekomprimieren der Rückwärtsprädiktorwerte verwendet, um eine richtige Rekonstruktionen der B-Bilder zu erlauben.
Fig. 2 zeigt die interne Architektur des Schaltungsblocks FORWARD PREDICTOR BUFFER. Wie bemerkt werden kann, umfaßt die Schaltung ein Registerpaar (16 · 16 · 2), das die Vorwärtsprädiktoren, den höheren und den niedrigeren, der Rückwärts-Makroblöcke (in der Phase der Dekomprimierung durch die Hilfs-AUX1 und -AUX2) speichert, die den Videobereich definieren, in dem der Rückwärtsprädiktor des B-Makroblocks vorhanden ist, der durch die MAIN-Pipeline dekomprimiert wird.
Es wird z. B. angenommen, daß eine Folge aus Makroblöcken aus dem B- Bild-Puffer des externen RAMs gelesen wird, und daß der i-te Makroblock der Dekomprimierung in der MAIN-Pipeline unterworfen wird.
Aus diesem Makroblock werden im I-VLC-Block der MAIN-Pipeline (im schlimmsten Fall) zwei Bewegungsvektoren entsprechend dem MPEG-2- Standard abgeleitet, die auf den Vorwärtsprädiktor bzw. auf den Rückwärtsprädiktor zeigen. Derartige Prädiktoren beziehen sich überdies auf Informationen, die sich im externen RAM befinden und die in den Decodierer- "Kern" geladen werden müssen.
Der Vorwärtsprädiktor ist bereits dekomprimiert, wobei er durch den homonymen RAM-Puffer gelesen und in das 16 · 16-Bildelement-Register gesetzt wird, der im oberen Abschnitt nach Fig. 2 gezeigt ist.
Umgekehrt ist der Rückwärtsprädiktor in der Phase der Dekomprimierung durch die MAIN-Pipeline nicht zugänglich, weil er in einer Videozone eingeschlossen ist, die jedoch durch vier Makroblöcke identifiziert wird, die um den Rückwärtsbewegungsvektor angeordnet sind, der dem B-Makroblock zugeordnet ist.
Die 4 Makroblöcke werden aus dem RAM-Bereich gelesen, der gemäß dem Schema nach Fig. 1 als "Rückwärtsprädiktor" bezeichnet wird.
Zwei von ihnen werden zu der AUX1-Pipeline und die verbleibenden zwei zur AUX2-Pipeline gesendet. Aus diesem Grund muß jede Hilfspipeline mit der doppelten Geschwindigkeit (2f) derjenigen der MAIN-Pipeline arbeiten, die umgekehrt mit der normalen Geschwindigkeit (f) (dem Takt des Systems) arbeitet.
Im erklärenden Schema nach Fig. 4, wenn einer dieser Makroblöcke in AUX1 eintritt, extrahiert der Block I-VLC z. B. den Vorwärtsvektor für die relative Bewegungskompensation. Ein derartiger Vektor erlaubt dem RAM-Controller, den jeweiligen (höheren oder niedrigeren) Vorwärtsprädiktor zu lesen und ihn in den 16 · 16 · 2-Bildelement-Registern des unteren Abschnitts des Stromlaufplans des FORWARD PREDICTOR BUFFERs nach Fig. 2 zu speichern, die jeweils S1 und S2 speisen.
Dieser Prozesses ist für jeden der 4 Makroblöcke der gleiche, die in AUX1 und AUX2 eingespeist werden.
Die Addierer S1 und S2 vervollständigen die Bewegungskompensation der von den Pipelines AUX1 und AUX2 ausgegebenen dekomprimierten Makroblöcke, die anschließend im in Fig. 3 gezeigten BACKWARD PREDICTOR BUFFER gespeichert werden.
Wie in Fig. 3 veranschaulicht ist, umfaßt die Architektur des BACKWARD PREDICTOR BUFFERs des "Kerns" des Decodierers ein Paar aus 16 · 16 · 2-Bildelement-Registern für die höheren bzw. niedrigeren Makroblöcke des P-Bildes, die den Rückwärtsprädiktorwert des B-Makroblocks definieren, der Dekomprimierung in der MAIN-Pipeline unterworfen wird, und einen Demultiplexer DEMUX, der den Rückwärtsprädiktor auswählt, der zum Bewegungskompensationsaddierer 53 während des Dekomprimierungsprozesses der Makroblöcke eines B-Bildes zu senden ist.
Der hohe Grad der Parallelität der Architektur des Decodierer-"Kerns" der Erfindung, die durch das Vorhandensein von drei im Prinzip identischen Decodierungs- und Dekomprimierungspipelines (MAIN, AUX1 und AUX2) gekennzeichnet ist, ihre interne Struktur und die Art, in der diese Pipelines zusammenarbeiten, ist in dem Schema nach Fig. 4 hervorgehoben.
Ein Eingangsdecodierer VLD mit variabler Länge ist normalerweise in jeder Pipeline enthalten oder geht ihr voran, ihm folgt ein "Lauflängendecodierer", ein Quantisierungsblock IQUANT und ein Prozessor für die Berechnung der inversen diskreten Kosinustransformation IDCT.
Für die bessere Veranschaulichung des Algorithmus, auf dem das Verfahren der Erfindung basiert, ist im folgenden das Arbeiten des Systems der Erfindung für verschiedene signifikante Fälle analysiert, die während des normalen Betriebs eines MPEG-2-Decodierers auftreten können, wobei sie offensichtlich die kritischsten Situationen enthalten.

FALL 1 - B-VOLLBILD (VOLLBILDVORHERSAGE)

- P-VOLLBILD

In Fig. 5 ist ein erster Fall der Anordnung der Prädiktoren veranschaulicht.
Fig. 5 zeigt den 16 · 16-Bildelement-B-Makroblock, der zu Dekomprimieren ist, und entsprechenden Prädiktoren I und P. Die Bewegungsschätzung für den B-Makroblock ist vom sogenannten "Vollbild"-Typ.
Der P-Prädiktor ist nicht unmittelbar zugänglich, während das die vier 16 · 16-Bildelement-Makroblöcke sind, die den Bereich definieren, innerhalb dessen der Prädiktor eingeschlossen ist. Jedem der vier Makroblöcke, die vom P-Typ sind, ist ein Prädiktor (16 · 16 Bildelemente) zugeordnet, der zum Vorwärtsprädiktor gehört, der für seine Dekomprimierung notwendig ist. In diesem Fall wird jeder dieser Makroblöcke in bezug auf den Vorwärtsprädiktor entsprechend der sogenannten "Vollbild"-Betriebsart geschätzt. Sobald die Dekomprimierung der vier P-Makroblöcke vervollständigt ist, kann der Prädiktor des Vollbildtyps für den B-Makroblock extrahiert werden.
Fig. 6 zeigt den Fall, in dem den P-Makroblöcken des Vollbildtyps eine Bewegungsschätzung des sogenannten "Halbbild"-Typs zugeordnet ist.

FALL 2 - B-VOLLBILD (HALBBILDVORHERSAGE)

- 2 P-HALBBILDER

Dies ist, verursacht durch die große Menge der erforderlichen Daten, einer der kritischsten Fälle, wie in Fig. 7 gezeigt ist.
Die Figur zeigt einen B-Makroblock, der zu einem Vollbild gehörend zu rekonstruieren ist, das aus zwei Teilen des sogenannten "Halbbild"-Typs zusammengesetzt ist; wobei jedes von diesen auf einen 16 · 8-Prädiktor in einem der zwei P-Halbbilder zeigt.
Die zwei P-Halbbilder sind zwei komprimierte Bilder, die voneinander unabhängig sind. Jeder Prädiktor (16 · 8) ist nicht direkt zugänglich, weil er in einem durch die vier P-Makroblöcke definierten Bereich (16 · 16) eingeschlossen sein könnte. Eine Vorhersage des 16 · 8-Typs könnte für jeden der vier Makroblöcke definiert sein, weil sie zu einem Halbbild gehören.
Um jeden von ihnen zu dekomprimieren, ist es deshalb notwendig, auf die zwei 16 · 8-Blöcke zuzugreifen, die zum Vorwärtsprädiktor gehören. Dies gilt außerdem für jeden der vier P-Makroblöcke. All dies muß für beide 16 · 8- Halbbild-Abschnitte des B-Makroblocks wiederholt werden, der dekomprimiert werden muß.
Fig. 8 zeigt einen Fall, der zu dem vorangehenden ähnlich ist, aber in dem jedem P-Makroblock eine Bewegungsschätzung des Halbbildtyps zugeordnet ist.
Statt dessen befinden sich in der in Fig. 9 gezeigten Situation die B-Prädiktoren im gleichen Bild eines Vollbildtyps. Deshalb kann der Prädiktor der P- Makroblöcke vom Vollbildtyp sein (oder ansonsten vom Halbbildtyp, wie in Fig. 10 angezeigt ist).

FALL 3 - B-HALBBILD (HALBBILDVORHERSAGE)

- P-HALBBILD

In dem in Fig. 11 gezeigten Fall, ist der B-Makroblock vom (16 · 16)-Halbbildtyp: Deshalb gelten die gleichen, für den Fall 1 ausgeführten Betrachtungen auch für diesen Fall. Außerdem kann die Schätzung der P-Makroblöcke in diesem Fall sogar vom 16 · 8-Typ sein

FALL 4 - B-HALBBILD (16 · 8)-VORHERSAGE

- P-HALBBILD

Der in Fig. 12 gezeigte Fall stellt einen weiteren kritischen Fall wie diejenigen des Falls 2 dar. Der Unterschied zum Fall 2 besteht in der Tatsache, daß der B- Makroblock vom Halbbildtyp ist (16 · 16 Bildelemente), wobei deshalb die Vorhersage vom 16 · 8-Typ sein könnte. Der Makroblock kann in zwei Teile aus 16 · 8 unterteilt werden, d. h. in einen tieferen und einen höheren. Jeder Teil des 16 · 8-B-Makroblocks identifziert die Prädiktoren, wie für den Fall 2 beschrieben ist (Fig. 7).

Claims

1. Verfahren zum Verringern der Videospeicheranforderung eines MPEG-2-Decodierers, der eine Dekomprimierungsstufe für die jeweiligen I-, P- und B-Bilder des MPEG-Kompressionsalgorithmus umfaßt, wobei die auf diese Bilder bezogenen Daten in jeweiligen Puffern gespeichert werden, die in dem Videospeicher organisiert sind, und bei dem die Dekomprimierung eines B-Bildes unter Verwendung von Bewegungskompensationsprädiktoren in Vorwärts- bzw. Rückwärtsrichtung erfolgt, dadurch gekennzeichnet, daß es umfaßt:

Dekomprimieren von Makroblöcken des B-Bildes unter Beibehaltung der in dem Speicher gespeicherten relativen Rückwärtsprädiktorwerte in einer komprimierten Form und Dekomprimieren von Makroblöcken eines komprimierten P-Bildes unter Verwendung der jeweiligen Vorwärtsprädiktorwerte;

Definieren des Bereichs des gespeicherten, komprimierten Rückwärtsprädiktors, der den Rückwärtsprädiktorwert des Makroblocks des der Dekompression unterworfenen B-Bildes enthält, durch die dekomprimierten Makroblöcke des P-Bildes;

Extrahieren des entsprechenden Rückwärtsprädiktorwertes für einen Makroblock des der Dekompression unterworfenen B-Bildes aus dem Bereich und Vervollständigen der Bewegungskompensationsroutine gemäß der MPEG-Norm.

2. MPEG-2-Videodecodierer, der eine Schnittstelle mit einem Steuerbus und einem Datenbus für eine Videobildverarbeitung bilden kann, die in entsprechende Speicherpuffer geschrieben und aus den entsprechenden Speicherpuffern gelesen werden soll, welche in einem externen Video-RAM organisiert sind, wobei der Decodierer einen "Kern" umfaßt, der einen "First-In- /First-Out"-Puffer (CD-FIFO) zur Erfassung und zum Schreiben komprimierter Daten in einen ersten Puffer für den Video-Bitstrom, der in dem externen RAM organisiert ist, eine Bildstartcode-Detektorschaltung (SCD-Schaltung), eine Hauptdecodierungs- und -dekomprimierungspipeline (MAIN), die mit einer Taktfrequenz f arbeitet, und einen Puffer (FORWARD PREDICTOR BUFFER) zum Speichern eines dekomprimierten Vorwärtsprädiktors enthält, wobei der Decodierer ferner dadurch gekennzeichnet ist, daß er umfaßt:

eine zweite und eine dritte Hilfsdecodierungs- und -dekomprimierungspipeline (AUX1 und AUX2), die parallel zu der ersten Pipeline (MAIN) und mit einer doppelten Taktfrequenz (2f) arbeiten;

einen ersten und einen zweiten Addierer (51 und 52), die decodierte und dekomprimierte Daten, die aus dem Puffer für den dekomprimierten Vorwärtsprädiktor gelesen werden, und dekomprimierte Daten, die von der zweiten (AUX1) bzw. von der dritten (AUX2) Decodierungs- und Dekomprimierungspipeline ausgegeben werden, addiert und dekomprimierte Daten ausgibt, die einen Rückwärtsprädiktorwert für einen einer Dekomprimierung unterworfenen B-Bild-Makroblock definieren;

einen Puffer (BACKWARD PREDICTOR BUFFER), der den Rückwärtsprädiktorwert speichern kann, der auf den der Dekomprimierung unterworfenen B-Bild-Makroblock bezogen ist;

einem dritten Addierer (53), der Bewegungsvektoren definiert und die Vorwärtsprädiktordaten und die Rückwärtsprädiktordaten, die aus den jeweiligen Puffern des "Kerns" gelesen werden, addieren kann;

einen Multiplexer (MUX), der die Bewegungsvektoren auswählt, einen vierten Addierer (54) zur Bewegungskompensation, der decodierte und dekomprimierte Daten jedes B-Bild-Makroblocks, der von der ersten Pipeline (MAIN) zur Decodierung und Dekomprimierung, die mit der Taktfrequenz (f) arbeitet, ausgegeben wird, zu dem entsprechenden Bewegungsvektor, der durch den Multiplexer (MUX) gewählt wird, addieren kann;

Mittel, die die decodierten, dekomprimierten und bewegungskompensierten Daten in einem Vorwärtsprädiktorpuffer des externen RAM speichern können, Mittel zur Makroblockabtast-in-Rasterabtast-Umsetzung sowie Nachverarbeitungsmittel, die die umgesetzten Daten an einen Videocodierer (PAL/NTSC ENCODER) zur Anzeige von Bildern auf einem Fernsehschirm senden können.