[go: up one dir, main page]

DE60119931T2 - Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten - Google Patents

Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten Download PDF

Info

Publication number
DE60119931T2
DE60119931T2 DE60119931T DE60119931T DE60119931T2 DE 60119931 T2 DE60119931 T2 DE 60119931T2 DE 60119931 T DE60119931 T DE 60119931T DE 60119931 T DE60119931 T DE 60119931T DE 60119931 T2 DE60119931 T2 DE 60119931T2
Authority
DE
Germany
Prior art keywords
motion vectors
group
motion vector
motion
vectors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60119931T
Other languages
English (en)
Other versions
DE60119931D1 (de
Inventor
Soroush Stocton Close Ghanbari
Miroslaw Bober
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric R&D Centre Europe BV Great Britain
Mitsubishi Electric Corp
Mitsubishi Electric Information Technology Corp
Original Assignee
Mitsubishi Electric Information Technology Centre Europe BV Great Britain
Mitsubishi Electric Corp
Mitsubishi Electric Information Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Technology Centre Europe BV Great Britain, Mitsubishi Electric Corp, Mitsubishi Electric Information Technology Corp filed Critical Mitsubishi Electric Information Technology Centre Europe BV Great Britain
Application granted granted Critical
Publication of DE60119931D1 publication Critical patent/DE60119931D1/de
Publication of DE60119931T2 publication Critical patent/DE60119931T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Verarbeiten von Bilddaten. Die Erfindung betrifft insbesondere ein Verfahren zum Verarbeiten von Bilddaten, um Fehler zu kompensieren, die zum Beispiel als eine Folge der Übertragung auftreten. Die Erfindung befasst sich insbesondere mit Fehlern in Bewegungsvektoren.
  • Bilddaten, insbesondere komprimierte Videobitdatenströme, sind sehr fehlerempfindlich. Zum Beispiel kann ein einzelner Bitfehler in einem kodierten Videobitdatenstrom zu einer ernsten Verschlechterung in der dargestellten Bildqualität führen. Fehlerkorrekturschemata sind bekannt und weit verbreitet, aber sie sind nicht immer erfolgreich. Wenn Fehler, zum Beispiel Bitfehler, die während der Übertragung auftreten, nicht vollständig durch ein Fehlerkorrekturschema korrigiert werden können, ist bekannt, dass Fehlererfassung und -verschleierung verwendet werden, um die Verschlechterung des Bildes, die durch den Fehler verursacht ist, zu verbergen.
  • Bekannte Arten von Fehlerverschleierungsalgorithmen fallen allgemein in zwei Klassen: räumliches Verschleiern und zeitliches Verschleiern. Beim räumlichen Verschleiern werden fehlende Daten unter Verwenden der benachbarten räumlichen Information rekonstruiert, während sie beim zeitlichen Verschleiern durch Verwenden von Daten in vorhergehenden Einzelbildkadern rekonstruiert werden.
  • Ein bekanntes Verfahren zum Durchführen zeitlicher Verschleierung durch Ausnützen der zeitlichen Korrelation in Videosignalen besteht darin, einen beschädigten Makroblock (MB) durch den räumlich entsprechenden MB im vorhergehenden Einzelbildkader zu ersetzen, wie in der US-Patentschrift 5,910,827 offenbart. Dieses Verfahren wird als der Kopieralgorithmus bezeichnet. Obwohl dieses Verfahren einfach umzusetzen ist, kann es schlechte Verschleierung in Bereichen erzeugen, wo Bewegung vorhanden ist. Eine deutliche Verbesserung kann durch Ersetzen eines beschädigten MBs mit einem bewegungskompensierten Block aus dem vorhergehenden Einzelbildkader erzielt werden. 1 veranschaulicht diese Technik. Jedoch ist, um dies erfolgreich durchzuführen, ein Bewegungsvektor erforderlich und der Bewegungsvektor kann nicht verfügbar sein, wenn die Makroblockdaten beschädigt sind.
  • 2 zeigt einen zentralen MB mit seinen 8 benachbarten Blöcken. Wenn ein Bewegungsvektor verloren geht, so kann er aus den Bewegungsvektoren der benachbarten MBs abgeschätzt werden. Das ergibt sich, da normalerweise die Bewegungsvektoren der MBs, die einem zentralen MB benachbart sind, wie in 2 gezeigt, in einem gewissen Ausmaß mit dem zentralen MB korrelieren, da benachbarte MBs sich in einem Bild oft auf ähnliche Weise bewegen. 3 stellt Bewegungsvektoren für benachbarte MBs dar, die in eine ähnliche Richtung weisen. US-Patentschrift 5,724,369 und US-Patentschrift 5,737,022 betreffen Verfahren, wo beschädigte Bewegungsvektoren durch einen Bewegungsvektor aus einem benachbarten Block ersetzt werden. Es ist bekannt, eine Schätzung des Bewegungsvektors für den zentralen MB vom Durchschnitt (d.i. Mittel oder Median) der Bewegungsvektoren der benachbarten Blöcke abzuleiten, wie in US-Patentschrift 5,912,707 offenbart. Wenn ein gegebener MB beschädigt ist, ist es wahrscheinlich, dass die horizontal anschließenden MBs ebenfalls beschädigt sind, wie in 4 dargestellt. Folglich können jene Bewegungsvektoren in der Durchschnittsberechnung weggelassen werden.
  • Allgemein gesprochen, wird der Median dem Mittel vorgezogen, aber er erfordert eine bedeutsame Menge an Verarbeitungsleistung. Solch ein computertechnisch teurer Lösungsweg kann insbesondere für bestimmte Anwendungen, wie Mobiltelefone, unerwünscht sein.
  • Wie oben erwähnt, bewegen sich benachbarte MBs in einem Bild oft auf ähnliche Weise, insbesondere wenn sie zum selben Objekt gehören. Es ist daher als eine allgemeine Regel vernünftig, einen beschädigten Bewegungsvektor mit Bezugnahme auf Bewegungsvektoren für benachbarte MBs abzuschätzen. Jedoch können manchmal die benachbarten Blöcke nicht die gleiche Bewegung aufweisen, vielleicht weil unterschiedliche Blöcke sich auf unterschiedliche Objekte beziehen, die sich in unterschiedliche Richtungen bewegen. Mit anderen Worten gesagt, Bewegungsvektoren sind oft nicht an oder um Objektgrenzen im Bild gleichförmig oder in Korrelation. Folglich kann eine Abschätzung der Bewegungsvektoren, welche den Durchschnitt benachbarter Bewegungsvektoren bilden, wie oben beschrieben, ein falsches Ergebnis ergeben, mit einer entsprechenden Verringerung in der Qualität des dargestellten Bildes. Zum Beispiel unter der Annahme, dass die oberste Reihe der MBs sich auf ein Objekt bezieht, welches sich in eine erste Richtung bewegt, und die unterste Reihe von MBs sich auf ein Objekt bezieht, welches sich in die entgegengesetzte Richtung bewegt, dann ist der Durchschnittswert null, wohingegen sich der zentrale MB tatsächlich auf das Objekt bezieht, das sich in die erste Richtung bewegt.
  • EP-A-0 645 933 betrifft Verfahren zum Abschätzen eines Bewegungsvektors für einen Fehlerblock, wobei der mittlere Wert der benachbarten Bewegungsvektoren verwendet wird. In einer Alternative (Spalten 9 und 10) werden die umgebenden Bewegungsvektoren in "aktivere Bewegungsdaten" und "weniger aktive Bewegungsdaten" in Abhängigkeit von der Größenordnung der Bewegungsvektoren und dem Vergleich mit einem Schwellenwert getrennt. Aus diesen wird der Durchschnitt gebildet. Wenn es mehr Vektoren mit großer Bewegung als solche mit kleiner Bewegung gibt, dann wird der große Bewegungsdurchschnitt verwendet oder umgekehrt.
  • Aspekte der Erfindung sind in den begleitenden Ansprüchen dargelegt.
  • In allgemeinen Begriffen gesagt, analysiert die Erfindung die Verteilung der Bewegungsvektoren für Blöcke, welche zeitlich und/oder räumlich einem gegebenen Block benachbart sind, um den wahrscheinlichsten Bewegungsvektor für einen gegebenen Block zu bestimmen. Dies umschließt das Gruppieren der Bewegungsvektoren entsprechend der Ähnlichkeit. Jede Gruppe entspricht einem unterschiedlichen Bewegungstyp, zum Beispiel unterschiedliche Bewegungsrichtungen oder unterschiedliche Größen von Bewegung, und kann sich zum Beispiel auf unterschiedliche Objekte im Bild beziehen. Die Erfindung umfasst Auswählen der größten Gruppe, da gemäß der Wahrscheinlichkeit die gegebenen Blöcke mit größerer Wahrscheinlichkeit eine Bewegung ähnlich der größten Gruppe, denn ähnlich der kleinsten Gruppe aufweisen. Die Bewegungsvektoren für andere Gruppen werden nicht beachtet, da angenommen wird, dass sie sich auf unterschiedliche Typen von Bewegung beziehen und folglich nicht relevant für die Bewegung der ausgewählten Gruppe sind. Über die Bewegungsvektoren in der ausgewählten Gruppe wird der Durchschnitt gebildet, um eine Abschätzung für den Bewegungsvektor für den gegebenen Block abzuleiten.
  • Als ein Ergebnis der Erfindung ergibt sich, dass eine genauere Anzeige eines beschädigten Bewegungsvektors abgeleitet werden kann, und daher ein besser dargestelltes Bild. Das Ausmaß der Verarbeitung, die erforderlich ist, kann relativ gering sein, insbesondere für bestimmte Ausführungsformen.
  • Die Ausführungsformen der Erfindung werden mit Bezugnahme auf die begleitenden Zeichnungen beschrieben, wobei:
  • 1 eine Darstellung von Makroblöcken in benachbarten Einzelbildkadern ist;
  • 2 eine Darstellung von Blöcken ist, die räumlich einem zentralen Block benachbart sind;
  • 3 ein Bewegungsvektorgraph ist, welcher Bewegungsvektoren zeigt;
  • 4 eine Darstellung benachbarter Blöcke ist;
  • 5 ein schematisches Blockdiagramm eines Mobiltelefons ist;
  • 6 ein Flussdiagramm ist;
  • 7 ein Bewegungsvektorgraph ist, welcher Gruppierungen in der Form von Quadranten zeigt;
  • 8 ein Bewegungsvektorgraph ist, welcher ein anderes Beispiel von Bewegungsvektoren zeigt;
  • 9 eine Darstellung von zeitlich und räumlich benachbarten Blöcken ist;
  • 10 ein Bewegungsvektorgraph ist, welcher ein anderes Beispiel von Gruppierungen zeigt;
  • 11 ein Bewegungsvektorgraph ist, welcher ein anderes Beispiel von Bewegungsvektoren zeigt;
  • 12 ein Bewegungsvektorgraph entsprechend 11 ist;
  • 13 ein anderes Beispiel von Gruppierungen darstellt;
  • 14 ein Suchbaumdiagramm ist;
  • 15 ein Diagramm ist, welches ein anderes Beispiel von Gruppierungen zeigt;
  • 16 ein Diagramm ist, welches ein anderes Beispiel von Gruppierungen zeigt.
  • Ausführungsformen der Erfindung werden nun im Zusammenhang eines Mobilvideofons beschrieben, in welchem Bilddaten, die durch eine Videokamera in einem ersten Mobiltelefon eingefangen werden, auf ein zweites Mobiltelefon übertragen und dargestellt werden.
  • 5 stellt schematisch die zur Sache gehörigen Teile eines Mobilvideofons 1 dar. Das Telefon 1 umfasst einen kombinierten Sender-Empfänger 2 zum Übertragen und Empfangen von Daten, einen Dekodierer 4 zum Dekodieren empfangener Daten und eine Anzeige 6 zum Darstellen empfangener Bilder. Das Telefon umfasst auch eine Kamera 8 zum Aufnehmen von Bildsequenzen des Benützers und einen Kodierer 10 zum Kodieren der aufgenommenen Bildsequenzen.
  • Der Dekodierer 4 umfasst einen Datendekodierer 12 zum Dekodieren empfangener Daten gemäß der geeigneten Kodiertechnik, einen Fehlererkenner 14 zum Erfassen von Fehlern in den dekodierten Daten, einen Bewegungsvektorabschätzer 16 zum Abschätzen beschädigter Bewegungsvektoren und einen Fehlerverschleierer 18 zum Verschleiern von Fehlern gemäß der Ausgabe des Bewegungsvektorabschätzers.
  • Ein Verfahren zum Dekodieren empfangener Bilddaten zur Darstellung auf der Anzeige 6 gemäß einer Ausführungsform der Erfindung wird unten beschrieben.
  • Bilddaten, die von der Kamera 8 des ersten Mobiltelefons geliefert werden, werden für die Übertragung unter Verwendung einer geeigneten bekannten Technik, die Einzelbildkader, Makroblöcke und Bewegungskompensation einsetzt, wie zum Beispiel eine MPEG-4 Technik, kodiert. Die kodierten Daten werden dann übertragen.
  • Die Bilddaten werden vom zweiten Mobiltelefon empfangen und durch den Datendekodierer 12 dekodiert. Wie gemäß dem Stand der Technik, werden Fehler, die in den übertragenen Daten auftreten, durch den Fehlererkenner 14 erfasst und unter Verwendung eines Fehlerkorrekturschemas, wo möglich, korrigiert. Wo es nicht möglich ist, Fehler in Bewegungsvektoren zu korrigieren, wird ein Abschätzungsverfahren im Bewegungsvektorabschätzer 16 angewendet, wie im Folgenden mit Bezugnahme auf das Flussdiagramm in 6 beschrieben.
  • Angenommen, ein Fehler tritt in Daten auf, welche einen Makroblock MB(x, y) beschreiben, so kann dies zu einem Fehler im Bewegungsvektor innerhalb dieses Makroblocks führen. Die Bewegungsvektoren (MVs) für 6 benachbarte MBs (siehe 4) werden abgefragt (Schritt 100). In 4 werden MBs, die horizontal benachbart zu MB(x, y) sind, auf Grund der Annnahme ausgeschlossen, dass sie ebenfalls beschädigt sind. Wenn die horizontal benachbarten Bewegungsvektoren jedoch nicht beschädigt sind, können sie in die Abschätzung mitaufgenommen werden.
  • Als Nächstes werden die benachbarten Bewegungsvektoren in Gruppen getrennt (Schritt 110). Insbesondere werden die Bewegungsvektoren in Gruppen gemäß den Vorzeichen der x- und y-Komponenten in dieser Ausführungsform getrennt. 7 stellt vier Gruppen dar, welche den vier Quadranten in der x-y Ebene entsprechen, wobei die Hauptachsen die x-Achse und die y-Achse sind. Die Gruppen können, wie folgt, beschrieben werden: Durch Definieren eines Bewegungsvektors durch MVx in horizontaler Richtung und MVy in vertikaler Richtung:
    MV = (MVx, MVy)
  • Diese zwei Verschiebungen, horizontal und vertikal, können positive und negative Richtungen aufweisen; folglich können wir vier Gruppen von Bewegungsvektoren haben:
    Gruppe 1: MVx ≥ 0, MVy ≥ 0
    Gruppe 2: MVx< 0, MVy ≥ 0
    Gruppe 3: MVx< 0, MVy < 0
    Gruppe 4: MVx ≥ 0, MVy < 0
  • Dann wird die Gruppe, welche die größte Anzahl an Bewegungsvektoren aufweist, ausgewählt (Schritt 120).
  • Dann wird ein Durchschnitt der Bewegungsvektoren in der ausgewählten Gruppe berechnet, wobei die anderen Bewegungsvektoren weggelassen werden (Schritt 130). Der Durchschnitt kann der Median oder das Mittel der ausgewählten Gruppe sein. In dieser Ausführungsform wird das Mittel berechnet, da es weniger Rechenleistung als der Median erfordert. Das Mittel wird unter Verwendung der folgenden Formel berechnet:
    Figure 00080001
    wobei M aus N Bewegungsvektoren zu einer Gruppe gehören, welche die größte Anzahl an Bewegungsvektoren enthält.
  • 8 zeigt ein Beispiel von 6 Bewegungsvektoren, welche sich aus Blöcken ergeben, die einem Block mit einem beschädigten Bewegungsvektor benachbart sind. Mit Bezugnahme zurück auf 7 für die Bewegungsvektoren in 8 weist Gruppe 1 (erster Quadran) keinen Bewegungsvektor, Gruppe 2 (zweiter Quadrant) zwei Bewegungsvektoren, Gruppe 3 (dritter Quadrant) vier Bewegungsvektoren und Gruppe 4 (vierter Quadrant) keinen Bewegungsvektor auf. Gruppe 3 besitzt die größte Anzahl an Bewegungsvektoren und wird folglich als die repräsentative Gruppe ausgewählt, die am repräsentativsten für die Bewegung in den Blöcken ist, die dem zentralen Block MB(x, y) benachbart sind. Die Abschätzung des Bewegungsvektors für den zentralen Block MB(x, y) wird als das Mittel der Bewegungsvektoren in Gruppe 3 unter Verwendung der Gleichung (1) oben berechnet.
  • Der beschädigte MB wird dann mit dem MB im vorangehenden Einzelbildkader ersetzt, der dem berechneten Bewegungsvektor entspricht. Das vollständige Bild unter Einschluss des Ersatz-MBs wird schließlich auf der Anzeige 6 dargestellt.
  • Eine zweite Ausführungsform der Erfindung wird nun beschrieben.
  • Die zweite Ausführungsform ist ähnlich der ersten Ausführungsform. Jedoch werden in der zweiten Ausführungsform die Bewegungsvektoren von einem vorherigen Einzelbildkader ebenfalls in der Bewegungsvektorenabschätzung verwendet. Dies ist zum Beispiel insbesondere nützlich, wenn keine Gruppe die größte Anzahl an Bewegungsvektoren aufweist. Dies kann eintreten, wenn es zwei oder mehrere Gruppen von Bewegungsvektoren für einen einzelnen Einzelbildkader gibt, welche die größte Anzahl von Bewegungsvektoren aufweisen.
  • 9 zeigt einen aktuellen Einzelbildkader mit einem zentralen MB und benachbarten Blöcken, die von 1 bis 6 durchnummeriert sind. In dieser Ausführungsform sind die Blöcke 7 bis 15 vom vorhergehenden Einzelbildkader in der Bewegungsabschätzung miteinbezogen. Hier ist Block 7 der Block, welcher räumlich dem zentralen Block MB im vorhergehenden Einzelbildkader entspricht, und die Blöcke 8 bis 15 sind die Blöcke, welche Block 7 im vorhergehenden Einzelbildkader umgeben. Die Bewegungsvektoren aus dem vorhergehenden Einzelbildkader können verwendet werden, weil angenommen wird, dass sie in gewissem Ausmaß mit jenen des aktuellen Einzelbildkaders korrelieren. In dieser Ausführungsform sind alle Bewegungsvektoren für die Blöcke 1 bis 6 und die Blöcke 7 bis 15 des vorhergehenden Einzelbildkaders gruppiert und die Gruppe, welche die größte Anzahl an Bewegungsvektoren enthält, wird ausgewählt.
  • In den oben beschriebenen Ausführungsformen werden die Bewegungsvektoren in Quadranten entsprechend den Vorzeichen der x- und y-Komponenten geteilt. Nullbewegungsvektoren sind ziemlich normal und daher wird in einer dritten Ausführungsform, welche eine Verbesserung der vorhergehenden Ausführungsformen darstellt, eine zusätzliche. Gruppe für Nullbewegungsvektoren bereitgestellt, was zu fünf Gruppen führt. Ein Beispiel möglicher Gruppierungen ist im Folgenden dargelegt.
    Gruppe 0: MVx = 0, MVy = 0
    Gruppe 1: MVx ≥ 0, MVy > 0
    Gruppe 2: MVx < 0, MVy ≥ 0
    Gruppe 3: MVx ≤ 0, MVy < 0
    Gruppe 4: MVx > 0, MVy ≤ 0
  • 10 stellt die obigen fünf Gruppen dar.
  • Andere Gruppierungen können durch Anpassen der Gleichheiten und Ungleichheiten verwendet werden.
  • Nehmen wir an, dass die Bewegungsvektoren um entweder die x-Achse oder die y-Achse zentriert sind, wie in 10 gezeigt. Gemäß der ersten Ausführungsform würden nur die Bewegungsvektoren im ersten Quadranten in die Durchschnittsbildung einbezogen. Jedoch ist dies leicht irreführend, da die Bewegungsvektoren sowohl im ersten als auch im vierten Quadranten sich auf den ähnlichen Typ von Bewegung beziehen. Die vierte Ausführungsform betrifft einen anderen Typ an Gruppierung, welche dieses Problem überwindet, wie in 12 gezeigt. Hier sind die Grenzen der Gruppen in der Bewegungsvektor-x-y-Ebene die Linien y = x und y = –x. Diese Gruppen können, wie folgt, beschrieben werden:
    Gruppe 1: ☐MVx☐ > ☐MVy☐, MVx ≥ 0
    Gruppe 2: ☐MVx☐ ≤ ☐MVy☐, MVy > 0
    Gruppe 3: ☐MVx☐ > ☐MVy☐, MVx < 0
    Gruppe 4: ☐MVx☐ ≤ ☐MVy☐, MVy ≤ 0
  • In ähnlicher Weise wie oben können Nullbewegungsvektoren zu einer zusätzlichen Gruppe gemacht werden.
  • In einer fünften Ausführungsform werden die Gruppierungen der dritten Ausführungsform und der vierten Ausführungsform kombiniert. Dies erzeugt einen allgemeinen Algorithmus, wie unten vorgelegt. Die Gruppierungen sind in 13 dargestellt.
    Gruppe 0: MVx = 0, MVy = 0
    Gruppe 1: MVx ≥ 0, MVy≥ 0
    Gruppe 2: MVx < 0, MVy ≥ 0
    Gruppe 3: MVx < 0, MVy < 0
    Gruppe 4: MVx ≥ 0, MVy < 0
    Gruppe 5: ☐MVy☐ < ☐MVx☐, MVx ≥ 0
    Gruppe 6: ☐MVy☐ ≥ ☐MVx☐, MVy ≥ 0
    Gruppe 7: ☐MVy☐ < ☐MVx☐, MVx < 0
    Gruppe 8: ☐MVy☐ ≥ ☐MVx☐, MVy < 0
  • 14 zeigt ein Suchbaumdiagramm zum Anordnen der Bewegungsvektoren in Gruppen gemäß der fünften Ausführungsform.
  • In den obigen Ausführungsformen sind die Bewegungsvektoren gemäß der Größe (das ist der absolute Wert des Bewegungsvektors) gruppiert. 15 stellt Gruppen von Bewegungsvektoren gemäß Größe, gemäß geringer Bewegung, mittlerer Bewegung und starker Bewegung dar. Die Bewegungsvektoren sind durch Berechnen des absoluten Werts und durch dessen Vergleichen mit Schwellenwerten, welche die Grenzen der Gruppen definieren, gruppiert. Die Gruppe mit der größten Anzahl von Elementen wird ausgewählt und es wird angenommen, dass der beschädigte Bewegungsvektor eine ähnliche Größe aufweist. Genauer gesagt, wird über die Elemente der ausgewählten Gruppe der Durchschnitt (z.B. das Mittel oder der Median) gebildet, um eine geschätzte Größe zu erzielen. Die Richtung des Bewegungsvektors wird getrennt geschätzt und dann abgepasst, um die geschätzte Größe aufzuweisen.
  • Eine siebente Ausführungsform kombiniert die fünfte und die sechste Ausführungsform, um die Bewegungsvektoren sowohl entsprechend ihrer Größe als auch ihrer Richtung zu gruppieren. 16 stellt die Kombination dar. Wie gezeigt, gibt es siebzehn mögliche Gruppen in Abhängigkeit von der Richtung des Bewegungsvektors und seiner Größe. Hier gibt es nur zwei mögliche Größen der Bewegungsvektoren, obwohl jede Anzahl an Größen möglich ist.
  • Die Beschreibung der zweiten bis zur siebten Ausführungsform zeigt, wie eine Gruppe von Bewegungsvektoren ausgewählt wird. Die anderen Schritte des Verfahrens entsprechen der ersten Ausführungsform.
  • In den Ausführungsformen, die oben beschrieben sind, werden die Gruppen durch feststehende Grenzen wie die x-Achse und die y-Achse in der x und y Ebene definiert. Alternativ könnte eine Grenze von einer vorbestimmten Form und Größe bewegt werden, bis sie die größte Anzahl von Bewegungsvektoren umgrenzt. Zum Beispiel, zurückkehrend zu 7, könnte eine Fläche in Quadrantenform aufeinanderfolgend um eine feststehende Anzahl von Graden, z.B. 45°, gedreht werden, wobei jedes Mal die Anzahl der Bewegungsvektoren innerhalb der Grenzen der Fläche gezählt wird, bis sie auf die ursprüngliche Position zurückkehrt, oder sie wird nur mit einer bestimmten Anzahl von Drehungen gedreht. Die größte Gruppe der Bewegungsvektoren für eine Position der Fläche in Quadrantenform wird verwendet, um den Bewegungsvektor abzuschätzen. Ähnliches gilt für die Größe, wo an Stelle von feststehenden Schwellenwerten die Breite der Gruppierung feststehen kann, wobei die Schwellenwerte bewegbar sind, um die Gruppe zu erfassen, welche die größte Anzahl von Bewegungsvektoren enthält.
  • Die Bewegungsvektoren können entsprechend anderer Grenzen gruppiert werden, zum Beispiel, indem kleinere oder größere Flächen beschrieben werden. Zum Beispiel könnte jede Grenze die Hälfte eines Quadranten oder zwei Quadranten definieren. Jedoch haben Erfahrung und Prüfungen gezeigt, dass Quadranten gute Lösungen ohne zu große Komplexität bereitstellen. In ähnlicher Weise erzeugt die Kombination von feststehenden Quadranten wie in der fünften Ausführungsform gute Ergebnisse mit geringerer Komplexität als mit Drehen eines Quadranten erzielt werden kann. Ein Quadrant ist ein guter Kompromiss, da er groß genug ist, um Bewegungsvektoren zu enthalten, von denen angenommen wird, dass sie sich auf denselben Bewegungstyp beziehen, aber klein genug ist, um Bewegungsvektoren auszuschließen, welche sich auf andere Bewegungstypen beziehen. Zum Beispiel könnten zwei Quadranten eine erste Gruppe von Vektoren, die auf 45° hinzeigen, und eine zweite Gruppe umfassen, die auf 135° hinzeigen, welche sich klarerweise auf unterschiedliche Bewegungstypen beziehen.
  • Die spezifischen Ausführungsformen stellen einfache Analysen mit geringer Verarbeitungstiefe für das Ausschließen von Bewegung bereit, welche sich auf ein unterschiedliches Objekt oder auf einen zufälligen Bewegungsvektor bezieht, wobei beides die Genauigkeit der Abschätzung verringert.

Claims (23)

  1. Verfahren zum näherungsweisen Berechnen eines Bewegungsvektors für einen Bildblock, wobei das Verfahren das Abrufen von Bewegungsvektoren für benachbarte Böcke umfasst, gekennzeichnet durch Identifizieren eines vorherrschenden Werts der Richtung des Bewegungsvektors für die benachbarten Blöcke, Auswählen jener Bewegungsvektoren für die benachbarten Blöcke, welche eine Richtung aufweisen, die gleich oder ähnlich dem vorherrschenden Wert ist, um eine Gruppe auszubilden, und Ableiten einer Annäherung für den Bewegungsvektor für den Bildblock von der ausgewählten Gruppe der Bewegungsvektoren.
  2. Verfahren nach Anspruch 1, wobei die Ähnlichkeit eines Bewegungsvektors zu einem vorherrschenden Wert unter Verwendung einer Abstandsfunktion gemessen wird und die Bewegungsvektoren durch Vergleichen des Werts der Abstandsfunktion mit einem vorbestimmten Schwellenwert ausgewählt werden.
  3. Verfahren zum näherungsweisen Berechnen eines Bewegungsvektors für einen Bildblock, wobei das Verfahren gekennzeichnet ist durch Teilen der Bewegungsvektoren für benachbarte Blöcke in Gruppen gemäß der Richtung der Bewegungsvektoren, durch Identifizieren und Auswählen der Gruppe, welche die größte Anzahl an Elementen aufweist, und Ableiten einer Annäherung für den Bewegungsvektor für den Bildblock von der ausgewählten Gruppe der Bewegungsvektoren.
  4. Verfahren nach einem der Ansprüche 1 bis 3, 5 oder 6, wobei die Bewegungsvektoren eine Gruppe auf der Grundlage einer Kombination von Richtung und Größe bilden.
  5. Verfahren nach einem der vorangehenden Ansprüche, wobei die ausgewählte Gruppe Bewegungsvektoren Bemittelt sind, um eine Näherung des Bildblocks abzuleiten.
  6. Verfahren nach Anspruch 5, wobei der Durchschnitt der Mittelwert der ausgewählten Gruppe von Bewegungsvektoren ist.
  7. Verfahren nach Anspruch 5, wobei der Durchschnitt der Mittelwert der ausgewählten Gruppe von Bewegungsvektoren ist.
  8. Verfahren nach einem der vorangehenden Ansprüche, wobei die benachbarten Blöcke wenigstens einen Block aus demselben Einzelbild umfassen.
  9. Verfahren nach einem der vorangehenden Ansprüche, wobei die benachbarten Blöcke wenigstens einen Block aus einem unterschiedlichen Einzelbild umfassen.
  10. Verfahren nach einem der vorangehenden Ansprüche, wobei die Bewegungsvektoren durch Vergleichen der Größe des Bewegungsvektors mit wenigstens einem vorbestimmten Wert gruppiert sind.
  11. Verfahren nach einem der vorangehenden Ansprüche, wobei die Bewegungsvektoren durch Vergleichen der Richtungen der Bewegungsvektoren mit wenigstens einer vorbestimmten Richtung gruppiert sind.
  12. Verfahren nach einem der vorangehenden Ansprüche, wobei die Bewegungsvektoren durch Vergleichen ihrer Größe und Richtung mit einer Kombination von wenigstens einem vorbestimmten Wert und einer vorbestimmten Richtung gruppiert sind.
  13. Verfahren nach einem der vorangehenden Ansprüche, wobei die Bewegungsvektoren in Quadranten in einem Bewegungsvektorgraph gruppiert sind.
  14. Verfahren nach Anspruch 11, wobei die Grenzen des Quadranten den Hauptachsen entsprechen.
  15. Verfahren nach Anspruch 12 oder Anspruch 13, wobei die Grenzen der Quadranten unterschiedlich zu den Hauptachsen sind.
  16. Verfahren nach Anspruch 15, wobei die Grenzen des Quadranten in ungefähr 45° zu den Hauptachsen liegen.
  17. Verfahren nach einem der vorangehenden Ansprüche, wobei eine Gruppe einem Nullbewegungsvektor entspricht.
  18. Computerprogramm zum Ausführen aller Schritte eines Verfahrens nach einem der vorangehenden Ansprüche.
  19. Datenspeichermedium, welches ein Computerprogramm nach dem Anspruch 18 speichert.
  20. Vorrichtung, umfassend Mittel zum Durchführen aller Schritte eines Verfahrens gemäß einem der Ansprüche 1 bis 17.
  21. Vorrichtung nach Anspruch 20, umfassend ein Datendecodiermittel (12), Fehlererkennungsmittel (14), ein Bewegungsvektorschätzfunktionsmittel (16) und Fehlerverschleierungsmittel (18).
  22. Empfänger für ein Kommunikationssystem, umfassend eine Vorrichtung nach Anspruch 20 oder Anspruch 21.
  23. Empfänger nach Anspruch 22, welcher ein Mobiltelefon ist.
DE60119931T 2001-10-05 2001-10-05 Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten Expired - Lifetime DE60119931T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
EP01308524A EP1301044B1 (de) 2001-10-05 2001-10-05 Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten

Publications (2)

Publication Number Publication Date
DE60119931D1 DE60119931D1 (de) 2006-06-29
DE60119931T2 true DE60119931T2 (de) 2007-04-26

Family

ID=8182334

Family Applications (2)

Application Number Title Priority Date Filing Date
DE60135036T Expired - Lifetime DE60135036D1 (de) 2001-10-05 2001-10-05 Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten
DE60119931T Expired - Lifetime DE60119931T2 (de) 2001-10-05 2001-10-05 Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten

Family Applications Before (1)

Application Number Title Priority Date Filing Date
DE60135036T Expired - Lifetime DE60135036D1 (de) 2001-10-05 2001-10-05 Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten

Country Status (4)

Country Link
US (2) US20030081681A1 (de)
EP (2) EP1301044B1 (de)
JP (2) JP2003199113A (de)
DE (2) DE60135036D1 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005046072A1 (en) * 2003-10-09 2005-05-19 Thomson Licensing Direct mode derivation process for error concealment
CN100409689C (zh) * 2004-08-05 2008-08-06 中兴通讯股份有限公司 用于提高视频质量的错误掩蔽方法
US20060133495A1 (en) * 2004-12-22 2006-06-22 Yan Ye Temporal error concealment for video communications
US7925955B2 (en) 2005-03-10 2011-04-12 Qualcomm Incorporated Transmit driver in communication system
AU2006223287C1 (en) 2005-03-10 2010-10-21 Qualcomm Incorporated A decoder architecture for optimized error management in streaming multimedia
US8693540B2 (en) 2005-03-10 2014-04-08 Qualcomm Incorporated Method and apparatus of temporal error concealment for P-frame
WO2007026302A2 (en) * 2005-09-01 2007-03-08 Koninklijke Philips Electronics N.V. Method and device for coding and decoding of video error resilience
JP5003991B2 (ja) * 2005-10-26 2012-08-22 カシオ計算機株式会社 動きベクトル検出装置及びそのプログラム
KR100775104B1 (ko) * 2006-02-27 2007-11-08 삼성전자주식회사 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법
FR2915342A1 (fr) * 2007-04-20 2008-10-24 Canon Kk Procede et dispositif de codage video
FR2944937B1 (fr) * 2009-04-24 2011-10-21 Canon Kk Procede et dispositif de restauration d'une sequence video
WO2011062082A1 (ja) * 2009-11-17 2011-05-26 シャープ株式会社 動画像符号化装置および動画像復号装置
KR101939628B1 (ko) 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
US10812791B2 (en) * 2016-09-16 2020-10-20 Qualcomm Incorporated Offset vector identification of temporal motion vector predictor

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
US5442400A (en) * 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
JP3428697B2 (ja) * 1993-09-07 2003-07-22 キヤノン株式会社 画像復号化方法
EP0645933B1 (de) * 1993-09-28 2002-08-28 Canon Kabushiki Kaisha Bildwiedergabegerät
US5719630A (en) * 1993-12-10 1998-02-17 Nec Corporation Apparatus for compressive coding in moving picture coding device
EP0722252B1 (de) * 1995-01-16 2004-12-29 Daewoo Electronics Corporation Vorrichtung zur Bewegungsschätzung mit Grenzübereinstimmung
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
KR0181069B1 (ko) * 1995-11-08 1999-05-01 배순훈 움직임 추정장치
KR100197368B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
US5910827A (en) * 1997-02-26 1999-06-08 Kwan; Katherine W. Video signal decoding arrangement and method for improved error concealment
US6462791B1 (en) * 1997-06-30 2002-10-08 Intel Corporation Constrained motion estimation and compensation for packet loss resiliency in standard based codec
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
JP3888597B2 (ja) * 1998-06-24 2007-03-07 日本ビクター株式会社 動き補償符号化装置、及び動き補償符号化復号化方法
JP4272771B2 (ja) * 1998-10-09 2009-06-03 キヤノン株式会社 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
US6438168B2 (en) * 2000-06-27 2002-08-20 Bamboo Media Casting, Inc. Bandwidth scaling of a compressed video stream
US6865227B2 (en) * 2001-07-10 2005-03-08 Sony Corporation Error concealment of video data using motion vector data recovery

Also Published As

Publication number Publication date
EP1659802B1 (de) 2008-07-23
EP1301044A1 (de) 2003-04-09
US20060262855A1 (en) 2006-11-23
EP1659802A1 (de) 2006-05-24
JP2009105950A (ja) 2009-05-14
JP2003199113A (ja) 2003-07-11
EP1301044B1 (de) 2006-05-24
DE60135036D1 (de) 2008-09-04
US20030081681A1 (en) 2003-05-01
DE60119931D1 (de) 2006-06-29

Similar Documents

Publication Publication Date Title
DE69609482T2 (de) Verfahren zur Interpolation von Vollbilden
DE69413148T2 (de) Verfahren zur Bestimmung von Bewegungsvektoren in kleinen Bildsegmenten in Fernsehbildern
DE60119931T2 (de) Verfahren und Vorrichtung zur Kompensation von fehlerhaften Bewegungsvektoren in Bilddaten
DE69418244T2 (de) Videorauschreduktionsystem unter Verwendung einer Mehrbild-Bewegungsabschätzung, Unterdrückung von Abweichungen und Bahnkorrektur
DE69524235T2 (de) Verfahren und vorrichtung zur global-zu-lokal-block-bewegungsschätzung
DE69801209T2 (de) Hierarchischer rekursiver Bewegungsschätzer für Bewegtbildkodierer
DE69523441T2 (de) Verfahren zur Segmentierung und Schätzung des Bewegungsfeldes eines sich bewegenden Objektes
EP0368139B1 (de) Verfahren zur Codierung von Restfehlerbildern
DE69016074T2 (de) Verfahren und Einrichtung zur temporalen Interpolation von Bildern mit korrigierter Bewegungskompensation.
DE69631819T2 (de) Fehlerverdeckung in einem Block-basierten Bildkodierer
DE69812882T2 (de) Verfahren zur bewegungskompensierten Mehrhalbbildverbesserung von Videostandbildern
DE69736852T2 (de) Codierung- und Decodierungssystem für bewegte Bilder mit beliebig geformten Objekten
DE19618984B4 (de) Verfahren zur Bewegungsbewertung in Bilddaten sowie Vorrichtung zur Durchführung dieses Verfahrens
EP0259562A1 (de) Verfahren zur bewegungskompensierten Bild-zu-Bild-Prädiktionscodierung
DE4311972A1 (de) Verfahren zur Detektion von Änderungen in Bewegtbildern
DE69630199T2 (de) Verfahren und gerät zur selektiven kompression von video-codec
DE69423166T2 (de) Verfahren und Vorrichtung zur Bewegungsauswertung mit Blockübereinstimmung
DE69626475T2 (de) Verfahren zur Korrektur von Bewegungsschätzung in Bildern mit periodischen Strukturen
EP0414113A2 (de) Verfahren zur Bewegungskompensation in einem Bewegtbildcoder oder -decoder
DE69802255T2 (de) Verfahren und Gerät zur Einführung von Referenzstörungen in Videosignalen
DE60031559T2 (de) Verfahren und gerät zur lernfähigen klassenauswahl nach mehreren klassifikationen
DE69525898T2 (de) Bewegtbildkodierungs- und -dekodierungsvorrichtung
EP0414017B1 (de) Verfahren zur objektorientierten Bewegungskompensation von Bildinformation für die verbesserte Wiedergabe codierter Bewegtbildsequenzen
EP0897247A2 (de) Verfahren zur Berechnung von Bewegungsvektoren
EP1101196B1 (de) Verfahren und anordnung zur bewegungsschätzung in einem digitalisierten bild mit bildpunkten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)