-
Die vorliegende Erfindung betrifft eine verbesserte bewegungskompensierte
Filterung oder Interpolation von durch Zeilensprung entstandenen Teilbild- bzw.
Halbbildsignalen, nachstehend als Zeilensprungsignale bezeichnet, und insbesondere von
Videosequenzen, z. B. Fernsehbilder, mit Anwendung auf allen Gebieten, wo Zeilensprung-
Videosequenzen unter Verwendung von Bewegungsvektoren verarbeitet werden, nämlich auf
folgenden Gebieten, jedoch nicht ausschließlich auf diesen:
-
i. Videokompression
-
ii. Video-Film-Umkopierung
-
iii. bewegungskompensierte Farbdecodierung
-
iv. Videobewegungsschätzung
-
v. Fernsehnormumwandlung
-
vi. Zeitlupenwiedergabe
-
Bei dieser Anwendung bedeutet der Begriff Videosequenz eine Bildsequenz, die in
einem Zeilensprungverfahren abgetastet ist. Ein Bild kann eine mehrdimensionale
Darstellung einer bestimmten Eigenschaften einer Szene sein - diese Eigenschaft kann,
muß aber nicht die Helligkeit sein; somit ist ein bewegtes Bild eine zeitliche und
räumliche Darstellung einer Eigenschaft einer Szene, und eine Bildsequenz ist ein
bewegtes Bild, das zu spezifischen Zeitpunkten abgetastet wird. Der Zeitpunkt, an dem
ein Punkt in dem bewegten Bild abgetastet wird, kann von der räumlichen Lage dieses
Punktes abhängen. Ein Pixel ist ein Abtastwert eines Bildes mit einem Wert, der einer
bestimmten Eigenschaft der Szene entspricht, die das Bild dargestellt, und der einer
spezifischen Bildkoordinate entspricht. Die Bildkoordinate, eine Beschreibung der Lage
eines Punktes in einem Bild, muß nicht einem Punkt entsprechen, an dem ein abgetastetes
Bild abgetastet worden ist. Daher werden Bildkoordinaten, Eingangs- und
Ausgangskoordinaten, nicht unbedingt quantisiert. Eine Abtaststelle ist die
Bildkoordinate eines Pixels in einem abgetasteten Bild.
-
Herkömmliche bewegungskompensierte Filterung oder Interpolation ist ausführlich
in den Bezugsquellen 2, 3, 4, 5, 10, 12, 13, 14, 16, 17, 18 und 20 beschrieben, die im
Anhang 1 aufgeführt sind. Dieses Verfahren wird nachstehend als MCF bzw.
bewegungskompensierte Filterung oder herkömmliche MCF bezeichnet, wobei man davon
ausgeht, daß sowohl der Interpolations- als auch der Filtervorgang darin einbegriffen
ist.
-
Die Hardwareimplementierung eines herkömmlichen bewegungskompensierten
Filters/Interpolators ist in den Bezugsquellen 3, 4, 18 und 20 beschrieben. Eine
einfache Implementierung ist eine Reihenschaltung von Filter/Interpolationszellen oder
-abgriffen, wie in der Bezugsquelle 3 beschrieben und in Fig. 1 dargestellt.
-
Fig. 1 zeigt eine herkömmliche MCF-Filterzelle mit einem Vektorprozessor 1, der
die Bewegungsvektoren für jede Ausgangsabtaststelle in einem Ausgangsbild in die
Eingangskoordinaten eines Eingangsbildes umwandelt, das im Filter- oder
Interpolationsvorgang verwendet wird.
-
Der Vektorprozessor empfängt die Ausgangsabtaststelle, die von Zählern erzeugt
wird, wie in den Bezugsquellen beschrieben, und den zugehörigen Bewegungsvektor von
einer Bewegungsschätzfunktionshardware, die in den Bezugsquellen beschrieben ist, und
durchsucht aufeinanderfolgende Halbbilder, um die richtige Eingangskoordinate zu finden.
die der betreffenden Ausgangsabtaststelle entspricht.
-
Die Bewegungsschätzfunktion ist eine Vorrichtung zum Schätzen der
Bewegungsvektoren entsprechend einem bewegten Bild. Die geschätzten Bewegungsvektoren
können entweder mit dem Eingangs- oder dem Ausgangsabtastraster für ein
Bildverarbeitungssystem abgetastet werden. Für MCF sind das Eingangs- und das
Ausgangsabtastraster normalerweise identisch. Für eine bewegungskompensierte
Interpolation sollten die geschätzten Bewegungsvektoren mit dem Ausgangsabtastraster
abgetastet werden.
-
Die Eingangskoordinate hängt von der Ausgangsabtaststelle, dem Bewegungsvektor
und der Lage des Filterabgriffs innerhalb der Filteröffnung ab. Eine veränderliche
Verzögerung 2 versorgt einen Multiplizierer 3 mit dem aus einem Eingangsbild eines
Bildverarbeitungssystems stammenden, richtigen Eingangspixelwert für die gegenwärtige
Ausgangsabtaststelle, die von dem ganzzahligen Teil der gegenwärtigen Eingangskoordinate
bestimmt wird. Der Multiplizierer 3 multipliziert den Wert des Pixels mit einem vorher
berechneten Koeffizienten, der in einer Nachschlagtabelle 4 gehalten wird, die in einem
ROM gespeichert ist. Der Koeffizient wird bestimmt von der erforderlichen
Filtercharakteristik und dem Teilpixel oder gebrochenen Teil der Eingangskoordinate, die
vom Vektorprozessor 1 zugeführt wird, wie in Fig. 1 gezeigt.
-
Der Begriff Filteröffnung bedeutet in diesem Dokument die Impulsantwort des
Filters. Die Öffnung unterscheidet sich vom Filterunterstützungsbereich, der die Anzahl
und die räumlich-zeitliche Verteilung der Filterabgriffe beschreibt. Ein typischer
bewegungskompensierter Transversalfilter/Interpolator, z. B. der für
Fernsehnormumwandlung verwendete, könnte eine Öffnung haben, die vier Halbbilder
überspannt, vier Halbbildzeilen in jedem Halbbild und zwei Pixel auf jeder
Halbbildzeile. Der Halbbildzeilenabstand entspricht dem Doppelten des
Bildzeilenabstands, was dem Abstand zwischen vertikal aufeinanderfolgenden Zeilen in
einem vertikal abgetasteten Bild entspricht. Vertikal aufeinanderfolgende Bildzeilen
müssen nicht zum gleichen Zeitpunkt abgetastet werden. Bei einer Zeilensprung-
Videosequenz sind vertikal aufeinanderfolgende Bildzeilen in zeitlich benachbarten
Halbbildern. Ein solches Filter würde daher 32 miteinander in Reihe geschaltete
Interpolations/Filterzellen erfordern. In einer möglichen Implementierung könnte die
veränderliche Verzögerung 2 unter Verwendung eines Dual-Port- bzw. Zweifachanschluß-RAMs
(Direktzugriffsspeicher) implementiert werden. Wenn man den Dual-Port-RAM vier
vollständige Halbbilder speichern läßt, ist jeder Punkt in der Filteröffnung von der
veränderlichen Verzögerung 2 zugänglich. Eine Verzögerung wird durch Bereitstellung von
Lese- und Schreibdistanzadressen implementiert, wie in Bezugsquelle 3. Seite 179
beschrieben. Die für ein gegebenes Ausgangspixel implementierte spezifische Verzögerung
hängt vom ganzzahligen Teil der entsprechenden Eingangskoordinate für dieses Pixel ab.
Die verwendeten Multipliziererkoeffizienten werden als Nachschlagtabelle in einem ROM
(Festwertspeicher) gespeichert. Der zu verwendende spezifische Koeffizient wird aus der
Gesamtfilteröffnung anhand des gebrochenen Teil der entsprechenden Eingangskoordinate
gewählt. In diesem Beispiel würde jede Koeffizientennachschlagtabelle ein
Zweiunddreißigstel
der Gesamtfilter/Interpolationsöffnung enthalten. In anderen
Implementierungen könnten die Koeffizientennachschlagtabellen den
Gesamtöffnungskoeffizientensatz enthalten (Bezugsquelle 3). Aus praktischen Gründen
könnte die Koeffizientennachschlagtabelle mit dem Multiplizierer in einer
Nachschlagtabelle kombiniert werden, die in einem ROM implementiert ist, wie in der
Bezugsquelle 4 dargestellt.
-
Die Größe der Filter/Interpolationskoeffizientennachschlagtabelle 4 wird bei
einem herkömmlichen bewegungskompensierten Filter durch die Größe der Filteröffnung und
die Präzision von Bewegungsvektoren bestimmt, die dem Filter zugeführt werden. Man denke
beispielsweise an den oben beschriebenen Normumwandlungsinterpolator, unter Annahme
einer Vektorpräzision von 1/16 Bildzeilenabstand oder Horizontalpixelabstand pro
Halbbild. Die Größe der Koeffizientennachschlagtabellen wird berechnet, wie unten
dargestellt. Die Anzahl der räumlichen Phasen entspricht der räumlichen Präzision der
Bewegungsvektoren. Die Anzahl der zeitlichen Phasen bestimmt die zeitliche Präzision der
Interpolation (siehe Bezugsquellen 3, 6 und 7), normalerweise gibt es 16 zeitliche
Phasen bei einem handelsüblichen Normumsetzer.
-
2 Abgriffe, 16 Phasen horizontal = 5 Bit
-
4 Halbbildzeilen und 16 Phasen vertikal = 8 Bildzeilen und 16 Phasen = 7 Bit
-
4 Halbbilder und 16 Phasen zeitlich = 6 Bit
-
SUMME 18 Bit
-
In diesem Beispiel hat die Gesamtgröße der Koeffizientennachschlagtabelle einen
Adreßraum von 18 Bit. Die Nachschlagtabelle ist in 32 getrennte kleinere
Nachschlagtabellen unterteilt, eine für jede Interpolationszelle, so daß die Größe jeder
Nachschlagtabelle nur 13 Bit beträgt. In anderen Implementierungen muß die
Koeffizientennachschlagtabelle möglicherweise die Gesamtöffnung enthalten. Die Differenz
zwischen einem bewegungskompensierten Filter und einem Interpolator besteht einfach
darin, daß ein Filter nur eine einzige zeitliche Phase hat, während ein Interpolator
mehrere zeitliche Phasen hat. Normalerweise erzeugt ein Filter ein Ausgangssignal, das
zeitgleich mit den Eingangshalbbildern angeordnet ist. Mehrfachphasen- oder
Polyphasenfilter sind ausführlich in der Bezugsquelle 8 beschrieben.
-
Es ist höchst erwünscht. Alias-Effekte bzw. Überlappungsverzerrung bei der
Videoverarbeitung zu verhindern, da sie optisch sehr störend ist. Bei herkömmlicher,
räumlich-zeitlicher MCF wird eine einzige Interpolationsöffnung, Satz von
Filterkoeffizienten, verwendet. Dieses Verfahren kann unerwünschte Alias-Effekte
aufgrund des Zeilensprungcharakters des Videosignals nicht beseitigen. Diese
unerwünschten Alias-Effekte, die im Ausgangssignal einer herkömmlichen MCF vorhanden
sind, können die Leistung eines Videoverarbeitungssystems, das mit MCF arbeitet,
deutlich verschlechtern. Der Grund für diese unerwünschten Alias-Effekte besteht darin,
daß eine einzelne Interpolationsöffnung für alle Bewegungsgeschwindigkeiten verwendet
wird. Ferner ist die Filteröffnung im allgemeinen so ausgeführt, daß sie nur die Größe
des räumlich-zeitlichen Signalspektrums berücksichtigt und die Phase ignoriert.
-
Demzufolge stellt die Erfindung eine Filter- oder Interpolationsvorrichtung zur
Verarbeitung von Videosequenzen mit einer Vielzahl von Filterzellen bereit, dadurch
gekennzeichnet, daß die Filterzellen zwischen sich eine Filteröffnung implementieren,
die sich in Abhängigkeit von der Vertikalgeschwindigkeitskomponente des jeder
Abtaststelle zugeordneten Bewegungsvektors ändern, so daß für unterschiedliche
Vertikalgeschwindigkeiten unterschiedliche Filteröffnungen verwendet werden.
-
Die Erfindung stellt außerdem bereit: ein System zur bewegungskompensierten
Filterung von Zeilensprung-Fernsehsignalen, aufweisend: eine Bewegungsschätzeinrichtung
zur Erzeugung von Bewegungsvektoren, die je einer Ausgangsabtaststelle entsprechen,
einen Vektorprozessor, der einen Satz von Eingangskoordinaten für jede
Ausgangsabtaststelle in Abhängigkeit von ihrem entsprechenden Bewegungsvektor erzeugt,
einen Datenspeicher im Speicher zur Speicherung von Eingangspixelwerten und zur
Bereitstellung einer veränderlichen Verzögerung, einer Vielzahl von Multiplizierern und
entsprechenden Koeffizientenspeichern, wobei die Multiplizierer einen Eingangspixelwert,
der in Abhängigkeit von einem Teil der Eingangskoordinate aus dem Datenspeicher gewählt
wird, mit einem Koeffizienten, der in Abhängigkeit von einem anderen Teil der
Eingangskoordinate aus dem Koeffizientenspeicher gewählt wird, multiplizieren, wobei die
Filteröffnung (Satz von Filterkoeffizienten) in Abhängigkeit von der
Vertikalgeschwindigkeitskomponente eines von der Bewegungsschätzvorrichtung zugeführten
Bewegungsvektors gewählt wird, und einen Addierer, um das Teilergebnis von jedem
Multiplizierer zu summieren.
-
Das Filter oder der Interpolator kann eine im Speicher gespeicherte
Koeffizientennachschlagtabelle aufweisen, bei der die Gesamtzahl der unterschiedlichen
verfügbaren Koeffizientensätze mit 2p+1 gegeben ist, wobei p die Vertikalvektorpräzision
in Bit ist. Die vertikalen Vektoren werden mit der Einheit
Eingangsbildzeilen/Halbbildperioden gemessen.
-
Die Erfindung besteht auch aus einem Verfahren zur Verarbeitung von
Zeilensprung-Videosignalen, das die Filter/Interpolatoröffnung entsprechend den Phasen
des Signals und der Alias-Komponenten der räumlichen Spektren der Eingangshalbbilder
anpasst. Das Verfahren wird unter Verwendung einer Filteröffnung durchgeführt, die von
der Vertikalgeschwindigkeit abhängt, die jeder Ausgangsabtaststelle zugeordnet ist.
Unterschiedliche Filteröffnungen werden für unterschiedliche Geschwindigkeiten
verwendet, und die verwendete Filteröffnung kann zwischen benachbarten
Ausgangsabtaststellen unterschiedlich sein.
-
Das Verfahren kann aufweisen: Zuordnen eines Bewegungsvektors zu jeder
Ausgangsabtaststelle, Erzeugen eines Satzes von Eingangskoordinaten für jede
Ausgangsabtaststelle, Wählen einer Filteröffnung, eines Satzes von Filterkoeffizienten,
aus mehreren vorher berechneten Filteröffnungen in Abhängigkeit vom vertikalen Teil
jedes Bewegungsvektors, Wählen eines Koeffizienten aus der Filteröffnung in Abhängigkeit
vom gebrochenen Teil jeder Eingangskoordinate, Wählen eines Eingangspixelwertes in
Abhängigkeit vom ganzzahligen Teil jeder Eingangskoordinate, wobei Eingangskoordinaten
in Eingangsbildzeilen pro Halbbildperiode gemessen werden, und Multiplizieren jedes
Eingangspixelwertes mit dem entsprechend gewählten Koeffizienten, um ein Teilergebnis
für jede Ausgangsabtaststelle zu erzeugen, und Summieren der Teilergebnisse.
-
Die Anzahl der erforderlichen Filteröffnungen ist von der Präzision der
vertikalen Komponente des Bewegungsvektors abhängig.
-
Eine verbesserte Filterung wird erreicht, wenn man die Frequenzantwort des
Filters auf der Grundlage der Phase und der Größen des Signals und der Alias-Komponenten
in den räumlichen Spektren der Eingangshalbbilder bemißt, um die unerwünschten Alias-
Komponenten aufzuheben und dabei nur die gewünschten Signalkomponenten übrigzulassen.
-
Die vorliegende Erfindung ermöglicht durch Bemessung von Filteröffnungen, wie
oben beschrieben und unten ausführlich beschrieben wird, und durch Anpassung der
Filter/Interpolationsöffnung an den Bewegungsvektor eine deutliche Verringerung der
unerwünschten Alias-Effekte am Ausgang eines bewegungskompensierten
Filters/Interpolators. Wenn man die Phase und die Größe der Signal- und der Alias-
Komponenten aufeinanderfolgender räumlicher Spektren berücksichtigt, ist es möglich, wie
unten beschrieben, eine Filteröffnung zu bemessen, die Alias-Effekte, die sonst im
Ausgangssignal einer herkömmlichen MCF vorhanden wären, im wesentlichen aufhebt. Um dies
zu erreichen, ist für jede unterschiedliche Vertikalbewegungsgeschwindigkeit eine
unterschiedliche Öffnung erforderlich. Praktisch ausgedrückt, wird dies erreicht, indem
in Abhängigkeit von der Vertikalbewegungsgeschwindigkeit eine unterschiedliche
Filter/Interpolationsöffnung gewählt wird. Die Quantisierung der dem
bewegungskompensierten Filter zugeführten Vertikalbewegungsvektoren stellt sicher, daß
nur eine endliche Anzahl von unterschiedlichen Filteröffnungen erforderlich ist. Die
vorliegende Erfindung könnte zusammengefaßt als vertikalgeschwindigkeitsadaptive
Bewegungskompensationsfilterung (VAMCF) beschrieben werden.
-
Die Erfindung wird nachstehend anhand von Beispielen mit Bezug auf die
beigefügten Zeichnungen beschrieben. Dabei zeigen:
-
Fig. 1 ein Blockschaltbild einer
Bewegungskompensationsfilter/Interpolationszelle gemäß einer bekannten Implementierung
der bewegungskompensierten Filterung:
-
Fig. 2 ein Blockschaltbild einer VAMCF/Interpolationszelle gemäß einer ersten
Ausführungsform:
-
Fig. 3 ein Blockschaltbild einer alternativen VAMCF/Interpolationszelle gemäß
einer weiteren Ausführungsform;
-
Fig. 4 ein Blockschaltbild eines Verfahrens zur Zeilensprung-Vollbildsignal-
Umwandlung:
-
Fig. 5 ein Blockschaltbild eines Videosignalgemischdecodierers; und
-
Fig. 6 eine schematische Darstellung eines Halbbildtaktes zur Berechnung von
Halbbilddifferenzsignalen.
-
In dem erfindungsgemäßen Verfahren wird eine von vielen verschiedenen
Interpolationsöffnungen zur Filterung in Abhängigkeit von der
Vertikalgeschwindigkeitskomponente eines Bewegungsvektors verwendet. Bei einer
angemessenen Filterbemessung, wie im Anhang 2 beschrieben, können die Alias-Effekte, die
im Zeilensprung-Eingangssignal vorhanden sind, aufgehoben werden, um ein Ausgangssignal
zu erzeugen, das im wesentlichen frei von unerwünschten Alias-Effekten ist. Um dies zu
erreichen, sind für unterschiedliche Vertikalbewegungsgeschwindigkeiten unterschiedliche
Interpolationsöffnungen erforderlich. Die Anzahl der erforderlichen unterschiedlichen
Filteröffnungen hängt von der Vertikalvektorpräzision ab. Wenn man annimmt, daß die
Vertikalbewegungsgeschwindigkeit in Bildzeilen/Halbbildperiode gemessen wird, dann ist
die Anzahl der erforderlichen unterschiedlichen Koeffizientensätze gegeben durch: Sätze
= 2p+1 (wobei p die Vertikalvektorpräzision in Bit ist).
-
Somit sind für vertikale Vektoren, die bis zu einer Präzision von 1/16
Bildzeile/Halbbildperiode gemessen werden, 2&sup4;&spplus;¹ = 32 verschiedene Koeffizientensätze
erforderlich. Die p + 1 (in diesem Beispiel 5) Bits, die erforderlich sind, um die
Koeffizientensätze zu adressieren, sind die gebrochenen Vertikalvektorbits plus dem
niedrigstwertigen ganzzahligen Vertikalvektorbit. VAMCF kann somit gemäß Fig. 2
implementiert sein.
-
Die in Fig. 2 gezeigte Filterzelle unterscheidet sich von der in Fig. 1
gezeigten und oben beschriebenen darin, daß die Koeffiziententabelle 4' viele
Filteröffnungen, Sätze von Filterkoeffizienten, enthält und daher beträchtlich größer
ist, und die Filteröffnung durch die Vertikalgeschwindigkeitskomponente des
Bewegungsvektors gewählt wird.
-
Um in diesem Beispiel VAMCF anstelle von MCF zu implementieren, würde sich die
Größe der Koeffizientennachschlagtabelle von einer 13-Bit-Adresse (siehe oben) zu einer
18-Bit-Adresse vergrößern. In einer Implementierung, die alle Koeffizienten von allen
Öffnungen in einer einzelnen Nachschlagtabelle speichern soll, würde sich der Adreßraum
von 18 auf 23 Bit vergrößern. In beiden Fällen ist dies eine erhebliche Zunahme der
Größe der Nachschlagtabelle, die dabei erforderlich ist.
-
Bei VAMCF kann ein Vorteil darin bestehen, die vertikalen Teile der
Vektorverarbeitung und der Koeffizientennachschlagtabelle zu kombinieren. Dies kann die
Größe der erforderlichen Nachschlagtabelle verringern, da der vertikale Teil der
Koeffizientenadresse und die Öffnungsadresse. Koeffizientensatzadresse, redundante
Information enthalten. Wenn die Vertikalbewegungsgeschwindigkeit und die zeitliche
Koeffizientenadresse gegeben sind, kann sowohl die Vertikalkoeffizientenadresse als auch
die Öffnungsadresse, Koeffizientensatzadresse, aufgefunden werden. Dies führt zu der
Implementierung gemäß Fig. 3.
-
Die beste Implementierung von Fig. 2 oder Fig. 3 hängt von der vertikalen
Öffnungsgröße und der maximalen Vertikalgeschwindigkeit ab. Die Größe der
Nachschlagtabelle 7, die in einem ROM für Fig. 3 implementiert ist, ist unter der
Annahme, daß eine maximale vertikale Vektorgröße von +/-32 Pixel(d. h.
Bildzeilen)/Halbbildperiode hat, in diesem Beispiel gegeben durch:
-
horizontal: 2 Abgriffe, 16 Phasen = 5 Bit
-
zeitlich: 4 Halbbilder, 16 Phasen = 7 Bit
-
vertikal: +/-32 Bildzeilen/Halbbild, Präzision 1/16 = 9 Bit
-
SUMME = 21 Bit
-
was zwei Bit weniger ist als bei der Implementierung gemäß Fig. 2.
-
Die in Fig. 2 und 3 gezeigten Filterzellen enthalten Modifikationen gegenüber
dem herkömmlichen bewegungskompensierten Filter, der in Fig. 1 gezeigt ist, was zu
bewegungskompensierten Filtern/Interpolatoren führt, die sich an die
Vertikalbewegungsgeschwindigkeit anpassen, um Alias-Effekte aufzuheben. Durch Verwendung
unterschiedlicher Interpolationsöffnungen für unterschiedliche Vertikalgeschwindigkeiten
können Alias-Effekte, die den Zeilensprung-Fernsehsignalen eigen sind, aufgehoben
werden, wodurch eine Verschlechterung des Ausgangssignals von bewegungskompensierten
Filter/Interpolationssystemen verhindert wird.
-
VAMCF erfordert eine minimale Filteröffnung, die mindestens zwei Halbbilder
überspannt, jedoch können bessere Ergebnisse erreicht werden, wenn man, wie in Anhang 2
gezeigt, mehr als zwei Halbbilder verwendet.
BEISPIEL 1
Zeilensprung-Vollbildsignal-Umwandlung für Videokompression
-
Viele Videokompressionssysteme (z. B. JPEG, MPEG, Teilbandcodierung, Wavelet-
Transformationsschemata) arbeiten mit fortlaufenden Bildern besser als mit Zeilensprung-
Bildern. Viele Videoquellen erzeugen jedoch ein Zeilensprung- und keine fortlaufend
abgetastetes Videosignal. Um Kompressionssysteme am besten auszunutzen, ist daher die
Umwandlung des Zeilensprungvideo- in ein fortlaufendes Format erforderlich. Bestehende
Zeilensprung-Vollbildsignal-Umsetzen, sei es ein Festfilter-, bewegungsadaptiver oder
bewegungskompensierter Umsetzen, sind nicht in der Lage, diese Umwandlung durchzuführen,
ohne erhebliche Alias-Effekte im fortlaufenden Ausgangssignal zu hinterlassen. Diese
Alias-Effekte Können die Leistung des Videokompressionssystems deutlich verschlechtern.
-
Unter Verwendung der verbesserten bewegungskompensierten Filterung gemäß der
vorliegenden Erfindung kann die Qualität der Zeilensprung-Vollbildsignal-Umwandlung
durch Verringerung unerwünschter Alias-Effekte im fortlaufenden Signal deutlich
verbessert werden. Dies wiederum ermöglicht eine verbesserte Qualität oder eine
verringerte Bitrate des Kompressionssystems. Ein Zeilensprung-Vollbildsignal-Umsetzer
ist im Prinzip ein Filter, wie in Fig. 4 dargestellt.
-
Das Zeilensprung-Eingangssignal wird zuerst mit Nullen aufgefüllt, wie in vielen
Fachtexten über digitale Signalverarbeitung beschrieben, um ein stark mit Alias-Effekten
behaftetes fortlaufendes Signal zu erzeugen. Das mit Nullen aufgefüllte Signal wird dann
gefiltert, um so viele Alias-Effekte wie möglich zu beseitigen. Das Filter 7 kann ein
festes lineares Filter, ein bewegungsadaptives Filter, ein nichtlineares, z. B.
Medianfilter oder ein herkömmliches bewegungskompensiertes Filter sein. Wenn ein Alias-
Effekte aufhebendes, bewegungskompensiertes Filter, d. h. ein VAMCF gemäß der Erfindung
verwendet wird, kann ein im wesentlichen von Alias-Effekten freies fortlaufendes
Ausgangssignal erzeugt werden.
-
Das Alias-Effekte aufhebende bewegungskompensierte Filter (VAMCF), das zur
Zeilensprung-Vollbildsignal-Umwandlung verwendet wird, erfordert eine Öffnung, die
mindestens zwei Halbbilder überspannt. Diese bietet jedoch keine Störfestigkeit gegen
Signalrauschen oder Ungenauigkeiten bei den verwendeten Bewegungsvektoren. Ein Zwei-
Halbbild-Filter hat außerdem einen von beiden Nachteilen: eine
Nichtnullgruppenverzögerung, die fortlaufende Ausgangsvollbilder genau zwischen
Eingangshalbbildern erzeugt, was störend ist, oder eine asymmetrische Öffnung, die
schlechte Ergebnisse erzeugen kann.
-
Eine bessere Implementierung einer Alias-Effekte aufhebenden
bewegungskompensierten Filterung (VAMCF) für eine Zeilensprung-Vollbildsignal-Umwandlung
würde eine Drei- oder Mehr-Halbbild-Öffnung verwenden. Diese würde eine symmetrische
Öffnung mit Nullgruppenverzögerung - Ausgangsvollbilder zeitgleich mit
Eingangshalbbildern - und eine bestimmte Störfestigkeit gegen Eingangssignalrauschen und
Bewegungsvektorfehler ermöglichen. Obwohl drei Halbbilder mehr Information
bereitstellen, als unbedingt für eine Zeilensprung-Vollbildsignal-Umwandlung
erforderlich ist, mathematisch ein Überbestimmungsproblem, können die Ausgangsvollbilder
in Form einer Fehlernäherungslösung für alle drei Eingangshalbbilder nach der Methode
der kleinsten Quadrate (LMS-Methode) bestimmt werden. Diese LMS-Näherung (beschrieben in
Anhang 2) stellt die oben beschriebene stabile Charakteristik dar. Bei der Berechnung
der Filtercharakteristik, um das "beste" (LMS-)Ausgangsvollbild zu erhalten, ist es
nicht notwendig, die Fehler von allen drei Halbbildern gleichmäßig zu wichten. Eine
bessere Lösung wäre wahrscheinlich, die Fehler aus dem mittleren Halbbild der Öffnung
zweimal so stark wie die beiden flankierenden Halbbilder zu wichten. Diese gewichtete
LMS-Näherung zur Fehlerbemessung ist in Anhang 2 beschrieben.
-
Offensichtlich ist es möglich, ein VAMCF mit mehr als drei Halbbildern in seiner
Öffnung zu implementieren. Wenn die Anzahl der Eingangshalbbilder zunimmt, nimmt die
Störfestigkeit gegen Eingangsrauschen und Bewegungsvektorfehler zu, aber auch die
Hardwarekomplexität, und die bei der Bewegungskompensation implizit vorhandenen Annahme
einer konstanten Bewegung über viele Halbbilder wird mit größerer Wahrscheinlichkeit
verletzt. In der Praxis ist es wahrscheinlich ein guter Kompromiß, ein Drei- oder Fünf-
Halbbild-Filter zu verwenden.
BEISPIEL 2
Video-Film-Umkopierung
-
Es ist mitunter erwünscht, ein Videosignal zur Aufzeichnung auf Film
(Fernsehaufzeichnung) umzuwandeln. Dies könnte zu Archivzwecken oder zur Einfügung einer
Videosequenz, vielleicht mit speziellen Effekten, in einen Kinofilm erfolgen.
-
Eine Videosequenz mit 50 Halbbildern/s könnte auf einen Film mit 25
Vollbildern/s aufgezeichnet werden, indem einfach zwei Halbbilder auf jedes Vollbild
aufgezeichnet werden. Ebenso könnte ein Video mit 60 Halbbildern/s auf einen Film mit 30
Vollbildern/s aufgezeichnet werden. Die Wiedergewinnung der ursprünglichen zwei
Halbbilder aus dem aufgezeichneten Filmvollbild wäre jedoch wegen der
Aufzeichnungsprobleme und der räumlichen Verzerrungen sowohl beim optischen
Aufzeichnungs- als auch beim Wiedergabe-(Telekino-)Vorgang sehr schwierig. Wenn die
getrennten Halbbilder in dem wiedergegebenen Signal durcheinanderkämen, wie es
wahrscheinlich ist, wären höchst störende Beeinträchtigungen bei bewegten Szenen die
Folge. Auch wenn die Halbbilder aus dem aufgezeichneten Film richtig wiedergewonnen
werden könnten, wäre eine Bewegungswiedergabe von beeinträchtigten Halbbildern
wahrscheinlich unakzeptabel, wenn der Film mit einem optischen Projektor wiedergegeben
würde.
-
Um diese Probleme der Aufzeichnung paariger Halbbilder zu vermeiden, ist es
notwendig. Zeilensprungsignale in ein fortlaufendes Format umzuwandeln. Einzelne
fortlaufende Vollbilder können dann auf jedem Filmvollbild aufgezeichnet werden. Diese
Technik vermeidet die Probleme im Zusammenhang mit der oben beschriebenen Aufzeichnung
von paarigen Halbbildern. Das Zeilensprung-Vollbildsignal-Umwandlungsverfahren zur
Fernsehaufzeichnung kann auf genau die gleiche Weise wie das zur Videokompression
(Beispiel 1 oben) unter Verwendung von VAMCF durchgeführt werden, um eine verbesserte
Qualität zu erreichen. Der einzige Unterschied bei der Fernsehaufzeichnung besteht
darin, daß, wenn beispielsweise eine 50-Hz-Zeilensprung-Bildquelle gegeben ist, ein
fortlaufendes Ausgangssignal nur mit 25 Hz und nicht mit 50 Hz für die
Fernsehaufzeichnung erforderlich ist.
-
Bemerkenswert ist wahrscheinlich auch, daß Videografik-Nachbereitungssysteme
häufig am besten mit einem fortlaufend abgetasteten Eingangssignal arbeiten. Dieses
fortlaufende Eingangssignal kann auch, wie oben beschrieben, unter Verwendung einer
VAMCF erreicht werden, um eine verbesserte Qualität zu ergeben.
BEISPIEL 3
Bewegungskompensierte Farbdecodierung
-
Viele Techniken sind in der Literatur zur Decodierung von
Farbfernsehsignalgemischen (PAL und NTSC) beschrieben. Eine dieser Varianten ist in Fig.
5 dargestellt.
-
Diese Konfiguration enthält zwei verschiedene Basisband-Chrominanzpaßfilter 8
und 8'. Die Chrominanzpaßfilter können eindimensionale (horizontale), zweidimensionale
(räumliche) und dreidimensionale (räumlich-zeitliche) Filter sein. Mehrdimensionale
lineare Filter werden im Zusammenhang mit der Farbdecodierung normalerweise als
'Kammfilter' bezeichnet.
-
Die Kammfilter in einer Farbdecodierschaltung können durch herkömmliche
bewegungskompensierte räumlich-zeitliche Kammfilter ersetzt werden. Dabei entstünde ein
bewegungskompensierter Farbdecodierer. Dadurch könnte sich eine verbesserte Leistung im
Vergleich zu einem nichtbewegungskompensierten Kammfilterdecodierer ergeben. Leider
würde das Ausgangssignal der bewegungskompensierten Filter dennoch Alias-Komponenten
aufweisen, die die Chrominanz/Luminanztrennung beeinträchtigen würden. Wenn statt dessen
ein VAMCF verwendet würde, um die Kammfilter in Fig. 5 zu ersetzen, würden die Alias-
Effekte am Ausgang des Filters verringert werden, was zu einer verbesserten
Luminanz/Chrominanztrennung führt. Die Filterkoeffizienten für solche Filter wären
bemessen um, sowohl die Größe als auch die Phase des demodulierten Signalgemischs zu
berücksichtigen, aber ein VAMCF wäre dennoch erforderlich, um Alias-Effekte im
Filterausgangssignal zu vermeiden.
BEISPIEL 4
Bewegungsschätzung unter Verwendung von Zeilensprung-Videosignalen
-
Bei vielen Techniken für Videobewegungsschätzung (Bezugsquellen 1, 2, 3, 9, 11,
13, 4, 19 und 21) ist es notwendig, verschobene Versionen von Eingangsbildern zu
vergleichen, um die Gültigkeit eines möglichen Bewegungsvektors zu prüfen. Normalerweise
wird das gegenwärtige Eingangsbild von einer verschobenen Version des vorhergehenden
oder nachfolgenden Bildes einer Sequenz subtrahiert. Wenn das Eingangssignal
unglücklicherweise eine Zeilensprunghalbbildsequenz ist, enthält das Differenzsignal des
verschobenen Halbbildes aufgrund der Alias-Effekte, die im Halbbildsignal enthalten
sind, erhebliche Energie. Diese Alias-Energie kann nicht durch halbbildinterne Filterung
vor der Bewegungsschätzung entfernt werden. Durch Alias-Effekte beeinflußte Energie kann
eine Bewegungsschätzfunktion durcheinanderbringen, was dazu führt, daß sie fehlerhafte
Bewegungsvektoren mit nachteiligen Wirkungen für die anschließende Verarbeitung unter
Verwendung der Bewegungsvektoren erzeugt.
-
Unter Verwendung einer Alias-Effekte aufhebenden, bewegungskompensierten
Filterung (VAMCF) können von Alias-Effekten im wesentlichen freie Differenzsignale von
verschobenen Halbbildern zur Verwendung bei der Bewegungsschätzung erzeugt werden. Dies
erlaubt eine verbesserte Bewegungsschätzung durch Verringerung der Möglichkeit, daß die
Bewegungsschätzfunktion durch Alias-Effekte durcheinandergebracht wird. Um von Alias-
Effekten freie Differenzsignale von verschobenen Halbbildern zu erzeugen, ist es
notwendig, mindestens drei anstelle der üblichen zwei Halbbilder zu verwenden.
-
Ein herkömmliches Vorwärts- oder Rückwärtshalbbild-Differenzsignal wird von
einem herkömmlichen bewegungskompensierten Filter mit einer Zwei-Halbbild-Öffnung
erzeugt. Die verwendete Öffnung ist eine Halbbilddifferenz. d. h. ein zeitliches
Hochpaßfilter, und kann räumliche halbbildinterne Interpolation aufweisen. Der
verwendete Bewegungsvektor ist der zu prüfende Vektor. Dieser Vorgang könnte aber auch
so betrachtet werden, als daß zuerst der Mittelwert der beiden Halbbilder berechnet und
dann das gemittelte Halbbild von jedem der beiden Eingangshalbbilder subtrahiert wird.
Dies ergibt zwei identische Fehlersignale. Wenn die Halbbilder fortlaufend und nicht mit
Zeilensprung abgetastet würden, wäre das gemittelte Halbbild das, was nach der Methode
der kleinsten Quadrate (LMS) am besten zu den beiden Eingangshalbbildern passen würde.
-
Um eine Halbbilddifferenz zu erzeugen, in der die Alias-Effekte aufgehoben
wurden, berechnet man zuerst prinzipiell einen LMS-Schätzwert eines fortlaufenden
Vollbildes aus drei oder mehr Eingangshalbbildern. Als nächstes kann ein Differenzsignal
von verschobenen Halbbildern aus diesem fortlaufenden Vollbild berechnet werden, und
zwar für jedes der Eingangshalbbilder in der Öffnung.
-
Normalerweise könnte man drei Halbbilder verwenden (d. h. die Halbbilder 0, 1, 2
und 0, -1, -2 werden verwendet, um von Alias-Effekten freie Vorwärts- bzw.
Rückwärtshalbbild-Differenzsignale zu erzeugen, wie in Fig. 6 dargestellt), obwohl mehr,
aber nicht weniger Halbbilder möglich sind. Die Halbbilder 0, -1 und 0, +1 werden
verwendet, um ein herkömmliches Vorwärts- bzw. Rückwärtshalbbild-Differenzsignal zu
erzeugen. Mit einer Drei-Halbbild-Öffnung können drei verschiedene Halbbild-
Differenzsignale berechnet werden, anstelle der einzelnen, einzigen verschobenen
Halbbilddifferenz nach der herkömmlichen Methode. Jede dieser Halbbilddifferenzen könnte
anstelle der herkömmlichen Differenz von verschobenen Halbbildern verwendet werden. Als
Alternative könnten die mehreren Halbbilddifferenzen, die durch die Alias-
Effektaufhebungsmethode bereitgestellt werden, miteinander kombiniert werden,
beispielsweise durch Quadratsummenbildung, um ein geeigneteres Maß der Gültigkeit eines
Vektors bereitzustellen, als es mit einer einzigen Halbbilddifferenz allein erreicht
werden könnte.
-
Die Berechnung von Halbbildddifferenzen, die von Alias-Effekten frei sind, kann
unter Verwendung von VAMCF implementiert werden, wie bereits beschrieben. Die Berechnung
jeder Halbbilddifferenz erfordert ein getrenntes räumlich-zeitliches Filter. Die
Filterbemessungstechnik für diese Anwendung ist in Anhang 2 beschrieben.
BEISPIEL 5
Fernsehnormumwandlung
-
Fernsehnormumwandlung ist das Verfahren zur Umwandlung zwischen verschiedenen
Fernsehnormen, z. B. zwischen dem mit 625 Zeilen und 50 Hz arbeitenden PAL und dem mit
525 Zeilen und 60 Hz arbeitenden NTSC. Wenn man annimmt, daß Farbdecodierung und
-neucodierung getrennt durchgeführt werden, ist die Normumwandlung ein dreidimensionales
räumlich-zeitliches Interpolationsproblem. Die Theorie und die Techniken der
Normumwandlung sind ausführlich in den Bezugsquellen 2, 6 und 7 beschrieben. Es ist
gezeigt worden, daß durch Bewegungskompensation im Vergleich zur
nichtbewegungskompensierten Normumwandlung verbesserte Qualität entsteht. Herkömmliche
MCF behält aber dennoch bestimmte Alias-Effekte in den Ausgangsbildern mit einer daraus
folgenden Verschlechterung für die Bildqualität bei. Diese Verschlechterung wäre bei
langsam bewegten, hochauflösenden Bildern, z. B. Computergrafiken, besonders
augenfällig. Diese Art von Bildern könnten unter Verwendung von Bewegungskompensation
bewunderungswürdig gut verarbeitet werden, wenn diese verbleibenden Alias-Effekte nicht
wären.
-
VAMCF kann direkt für die Fernsehnormumwandlung verwendet werden. Bei dieser
Anwendung führt die Beseitigung der Alias-Effekte zu einer direkten Verbesserung der
Bildqualität. Die Normumwandlung weist ein zeitliches Interpolationsverfaren auf. Es ist
notwendig. Ausgangshalbbilder zu verschiedenen Zeiten aus den Eingangshalbbildern zu
erzeugen. Dies steht im Gegensatz zu den oben dargelegten Filterbeispielen, wo
Ausgangshalbbilder zeitgleich mit den Eingangshalbbildern sind. Die Bemessung von
Filterkoeffizienten für die zeitliche Interpolation ist komplexer als für die Filterung
und ist in Angang 2 ausgeführt.
BEISPIEL 6
Zeitlupenwiedergabe
-
Es ist oft erwünscht, ein Videosignal langsamer als den Originalvorgang
wiederzugeben. Eine allgemeines Beispiel dafür ist die 'Wiedergabe von schnellen
Handlungen' in Fernsehsportsendungen. Eine Möglichkeit, dies zu erreichen, besteht
darin. Halbbilder oder Vollbilder einfach so oft zu wiederholen, wie es notwendig ist,
um eine ausreichende Bildrate bereitzustellen. Diese Technik wird bei Videorecordern
allgemein verwendet, um Zeitlupenwiedergabe zu ermöglichen. Leider führt sie zur
Wiedergabe von unnatürlichen und störenden 'ruckartigen' Bewegungen,
Bewegungskompensation kann verwendet werden, um eine verbesserte Bewegungswiedergabe
bereitzustellen, wie in der Bezugsquelle 18 beschrieben. Herkömmliche
Bewegungskompensation behält jedoch einen Rest an Alias-Effekten im Ausgangssignal bei.
Bei einem Zeitlupenwiedergabesystem können Alias-Effekte bei einem vertikalem Detail, z.
B. der obere Rand einer Mauer, zu einem flatternden Detail in einem im übrigen stehenden
Bild führen. Dies kann optisch sehr störend sein.
-
VAMCF kann für bewegungskompensierte Zeitlupenwiedergabe auf die gleiche Weise
wie für Fernsehnormumwandlung verwendet werden. Die Theorie ist im wesentlichen
identisch, nur mit einer größeren Anzahl von Ausgangshalbbildern pro Eingangshalbbild.
In diesem Fall ist die Beseitigung von unerwünschten Alias-Effekten noch wichtiger als
bei der Normumwandlung, da die Alias-Effekte bei dem verlangsamten Signal noch
sichtbarer sind.
ANHANG 1: Bezugsquellen
-
1. Aggarwal, J. K. und Nandhakumar. N., 1988: On the computation of motion from
sequences of images - a review; Proc. IEEE, Bd. 76, S. 917-935, August 1988.
-
2. Bierling, M., Thoma. R., 1986: Motion compensating field interpolation using
a hierarchically structured displacement estimator; Signal Processing, Bd. 11. Nr. 4.
Dezember 1986. S. 387-404. Elsevier Science publishers.
-
3. Borer. T. J., 1992: Television Standards Conversion; Dissertation. Dept.
Electronic & Electrical Engineering. University of Surrey, Guildford, Surrey, GU2 5XH,
UK, Oktober 1992.
-
4. Borer, T. J., Hulyer, M. G. und Parker, D. W., 1990: Motion compensated display
field rate upconversion; International Broadcasting Convention, Brighton, England,
September 1990, IEE Publication Nr. 327, ISBN 0 85296000
-
5. Chiariglione, L., Corgnier, L. und Guglielmo, M., 1986: Pre- and
postprocessing in a video terminal using motion vectors; IBC, Brighton, 1986.
-
6. Clarke. C. K. P. und Tanton, N. E., 1984: Digital standards conversion:
interpolation theory and aperture synthesis; BBC Research Department Report 1984/20.
-
7. Clarke, C. K. P., 1990: Interpolation; Digital television, Sandbank, C. P.
(Herausgeber), John Wiley & Sons Ltd., 1990, ISBN 0 471 92360 5, S. 287-374.
-
8. Crochiere, R. E. und Rabiner, L. R., 1983: Multirate Digital Signal Processing;
Prentice Hall, Inc., Englewood Cliffs, New Jersey 07632, USA, ISBN --13- 605162-6
-
9. Dubois, E., Konrad. J., 1990: Review of techniques for motion estimation and
motion compensation; Forth international colloquium on advanced television systems,
Ottawa, Canada, Juni 1990.
-
10. Girod, B. und Thoma, R., 1985: Motion compensating field interpolation from
interlaced and non-interlaced grids; 2nd international technical symposium on optical
and electro-optical science and engineering: Image processing symposium, Cannes,
Dezember 1985.
-
11. Huange, T. S., Tsai. R. Y., 1981: Image sequence analysis: Motion estimation;
Image sequence analysis, T. S. Huange (Herausgeber), Springer-Verlag, Berlin,
Deutschland, 1981, S. 1-18.
-
12. Marcozzi, E. und Tubaro, S., 1987: Motion compensated interpolation; SPIE,
Bd. 804, Advances in image processing, S. 61-68.
-
13. Martinez, D. M. 1987: Model-based motion estimation and its application to
restoration and interpolation of motion pictures; RLE Technical Report Nr. 530, Juni
1987. Research Laboratory of Electronics. Massachusetts Institute of Technology,
Cambridge, MA 02139 USA.
-
14. Netravali, A. N., Robbins, J. D., 1979: Motion compensated television coding,
Part 1: Beil Syst. Tech. J., Bd. 58, S. 631-670, März 1979.
-
15. Parks, T. W. und Burrus. C. S. 1987: Digital Filter Design; John Wiley & Sons,
1987, ISBN 0-471-82896-3,
-
16. Reuter, T., 1989: Standards conversion using motion compensation: Signal
processing 16, 1989, S. 73-82.
-
17. Thoma, R. und Bierling, M., 1989: Motion compensated interpolation
considering covered and uncovered background.
-
18. Thomas, G. A., und Lau, H. Y. K., 1990: Generation of high quality slow-motion
replay using motion compensation; International Broadcasting Convention, Brighton,
England, IEE Publication Nr. 327. ISBN 0 85296000.
-
19. Thomas. G. A., 1987: Television motion estimation for DAThI and other
applications; BBC Research Department report Nr. 1987/11, September 1987.
-
20. Thomas, G. A., 1988: Distorting the time axis: Motion compensated image
processing in the studio; International Broadcasting Convention, Brighton, England,
September 1988, herausgegeben von IEE, ISBN 0 85296368 8.
-
21. Vega-riveros. J. F., Jabbour. K. 1986: Review of motion analysis techniques;
IEE Proceedings, Bd. 136, Teil I., Nr. 6, Dezember 1989.
ANHANG 2:
-
Der Einfachheit halber beschäftigt sich dieser Anhang nur mit der vertikalen und
der temporalen Dimension. Eine Erweiterung in bezug auf die horizontale Dimension ist
für den Fachmann einfach.
-
Man betrachte ein Objekt, das mit h bezeichnet ist, wie es sich mit einer
Geschwindigkeit v bewegt, um ein bewegtes Bild, das mit g bezeichnet ist, zu erzeugen.
-
g(y, t) = h(y-v.t) Gleichung 1
-
In einem Fernsehsystem wird das kontinuierliche räumlich-zeitliche Bild g mit
einem Zeilensprungabtastraster abgetastet. Die räumliche Lage des Abtastrasters wechselt
zwischen einer geraden und einer ungeraden Position bei aufeinanderfolgenden
Halbbildern. Zwei abgetastete Signale S sind für jede Halbbildposition möglich, je
nachdem, ob das Bild g mit einem geradzahligen oder einem ungeradzahligen Halbbildraster
abgetastet wird. Dies führt zu zwei verschiedenen möglichen Signalen für jedes Halbbild,
die mit se und so bezeichnet sind. Unter Verwendung der Fourier-Transformation eines
geradzahligen oder ungeradzahlig abgetasteten Signals ergibt sich das folgende Ergebnis.
Gleichung 2
-
In diesen Gleichungen stellt n die Vertikalfrequenz, der Schreibschriftbuchstabe
F (mit tiefgestelltem Index y) eine Fourier-Transformation (nur in bezug auf y). H die
Fourier-Transformation (komplexes Spektrum) des Objekts h und Y den Bildzeilenabstand
dar (der Halbbildzeilenabstand ist 2Y). Die Gleichungen beziehen sich nur auf Alias-
Effekte bzw. Signalverzerrung erster Ordnung und gelten nur für positive Frequenzen
(ähnliche Gleichungen gelten für negative Frequenzen).
-
Wir betrachten das Beispiel einer Zeilensprung-Vollbildsignal - Umwandlung unter
Verwendung von zwei Eingangshalbbildern. Es wird angenommen, daß zwei Eingangshalbbilder
bei t = 0 und t = T (T ist die Halbbildperiode) auftreten und daß das erste Halbbild
geradzahlig und das zweite Halbbild ungeradzahlig ist. Unter Verwendung der Fourier-
Transformation der beiden Halbbilder ergibt sich die folgende Matrizengleichung:
-
oder
-
S = P H
Gleichung 3
-
Wobei gilt: S ist ein Vektor der Spektren der abgetasteten Halbbilder, P eine
Matrix der Phasenfaktoren (ähnlich einer diskreten Fourier-Transformationsmatrix) und H
ein Vektor des Objektspektrums und des Alias-Spektrums ist.
-
Bei der Berechnung des fortlaufenden Vollbildes aus den Zeilensprunghalbbildern
versuchen wir das nichtabgetastete Bild bei t = 0 aus dem abgetasteten
(Zeilensprung-)Halbbildern herauszufinden. Das nichtabgetastete Halbbild, das wir
brauchen, ist h(y). Durch Lösung der Gleichung 3 können wir H(n) (und auch H(n - 1/2 Y),
die Alias-Effekte, die wir nicht brauchen) und dann h(y) durch eine inverse Fourier-
Transformation ermitteln.
-
H = P&supmin;¹.S
-
oder
Gleichung 4
-
Unter Berücksichtigung des Ausdrucks für H(n) erhalten wir nun:
Gleichung 5
-
Die inverse Fourier-Transformationsgleichung 5 ergibt:
-
h(y) = filter&sub0;(y, v)*Se(y, t = 0) + filter(y, v)*So(y, t = T)
= filter(y, t, v)*S(y, t)
Gleichung 6
-
Wobei * den Faltungsvorgang darstellt.
-
Gleichung 6 zeigt, daß wir das fortlaufende Bild h(y), das wir brauchen,
ermitteln können, wenn wir jedes der Zeilensprunghalbbilder getrennt mit
halbbildinternen Filtern filtern und anschließend die Ergebnisse summieren. Man kann
annehmen, daß die Summierung von zwei halbbildinternen Filtern mit aufeinanderfolgenden
Halbbildern der Verwendung eines einzelnen räumlich-zeitlichen Filters entspricht. Die
verwendeten halbbildinternen Filter sind durch die inversen Fourier-Transformationen der
Koeffizienten Se und So in der Gleichung 5 gegeben. Man beachte, daß die Filter in der
Gleichung 6 Funktionen von v der Vertikalbewegungsgeschwindigkeit sind.
-
Die Filter in der Gleichung 6 stellen eine idealisierte Situation dar. Die
Filter haben eine unbegrenzte Ausdehnung und können daher in der Praxis nicht realisiert
werden. Die Koeffizienten Se und So in der Gleichung 5 stellen jedoch die
Frequenzdefinitionsbereichsspezifikationen für die idealen Zeilensprung-Vollbildsignal-
Umwandlungsfilter dar. Es gibt viele Techniken in der Literatur (siehe beispielsweise
Bezugsquelle 5) zur Bemessung von praktischen Filtern anhand einer idealen
Frequenzdefinitionsbereichsspezifikation.
-
Die Leistung eines Zeilensprung-Vollbildsignal-Umsetzers kann durch Verwendung
von mehr als eine Zwei-Halbbild-Öffnung verbessert werden, wie im Haupttext erörtert.
Wir betrachten eine Drei-Halbbild-Öffnung mit Halbbildern bei t = -T, 0 und +T. Die
Gleichung 3 lautet dann:
-
oder
-
S = P.H
Gleichung 7
-
In diesem Fall ist die Phasenmatrix rechteckig, nicht quadratisch, und es ist
nicht mehr möglich, die Gleichung 7 direkt umzukehren, um H(n) zu ermitteln. Es ist
jedoch möglich, eine Näherungslösung für H(n) nach der Methode der kleinsten Quadrate zu
ermitteln, indem die 'normalen' Gleichungen gelöst werden, die gegeben sind durch:
-
Ph.S = (Ph.P)
Gleichung 8
-
Hier bedeutet das hochgesetzte h die hermitesch Konjugierte (komplex Konjugierte
der Transponierten) der Matrix. Die ~ (Tilde) auf dem H bedeutet, daß eine Näherung
nach der Methode der kleinsten Quadrate ist. Löst man die Gleichung nach H auf, so
ergibt sich:
-
= (Ph.P)&supmin;¹.Ph.S
Gleichung 9
-
Die LMS-Lösung für H wiederum ergibt eine
Frequenzdefinitionsbereichsspezifikation für die Alias-Effektunterdrückungsfilter, von
denen dann anhand von vielen veröffentlichten Methoden praktische Versionen berechnet
werden können.
-
Mit einer Drei-Halbbild-Öffnung für eine Zeilensprung-Vollbildsignal-Umwandlung
kann es zweckmäßig sein, dem mittleren Halbbild in der Öffnung einen größeren Vorrang zu
geben. Beispielsweise könnte es zweckmäßig sein, die beiden äußeren ungeradzahligen
Halbbilder halb so schwer zu wichten wie das mittlere geradzahlige Halbbild. Dies kann
beispielsweise durch Multiplizieren der Gleichung 7 mit einer geeigneten Wichtungsmatrix
erfolgen:
-
W. S. = W. P. H
Gleichung 10
-
Gleichung 10 kann dann gelöst werden, um eine Lösung für H nach der Methode der
kleinsten Quadrate mit Fehlerwichtung zu ermitteln:
-
= ((Ph.W².P7)&supmin;¹.(Ph.W²))S
Gleichung 11
-
Wie bereits ausgeführt, können praktische Filter anhand der
Frequenzdefinitionsbereichsspezifikationen entsprechend der Gleichung 11 bemessen
werden.
-
Die Bemessung von Interpolationsfiltern für Normumwandlung gleicht der Bemessung
von Zeilensprung-Vollbildsignal-Umwandlungsfilter. Das Normumwandlungsverfahren könnte
als Berechnung einer Sequenz von fortlaufenden Vollbildern aus einem Zeilensprung-
Eingangssignal angesehen werden. Normalerweise wird von einem Normumsetzer ein
Zeilensprung-Ausgangssignal erwartet. Dies wird im Prinzip auf einfache Weise erreicht,
indem die fortlaufenden Halbbilder einfach annähernd einer räumlichen Teilabtastung
unterzogen werden, um ein Zeilensprungsignal zu ergeben. In der Praxis bedeutet das, daß
nur die Hälfte der Anzahl der Ausgangspunkte berechnet werden muß, wobei bei der
erforderlichen Hardware eine entsprechende Einsparung erfolgt.
-
Für die Normumwandlung sind im Gegensatz zur Zeilensprung-Vollbildsignal-
Umwandlung Ausgangshalbbilder zu verschiedenen Zeitpunkten in bezug auf die
Eingangshalbbilder erforderlich. Die sich daraus ergebende Wirkung besteht darin, die
Phasenglieder in der Phasenmatrix P zu ändern. Die Elemente der Phasenmatrix werden
dennoch mit der Gleichung 2 wie oben berechnet. Bei der Normumwandlung sind die
verwendeten Werte t keine ganzzahligen Vielfachen einer Halbbildperiode mehr. Abgesehen
von dieser kleinen Änderung, gelten jedoch die Gleichungen von oben. Somit ist eine
Filterbemessung für Normumwandlung im wesentlichen der für die Zeilensprung-
Vollbildsignal-Umwandlung sehr ähnlich.
-
Bei der Bewegungsschätzung ist es häufig erforderlich, die Gültigkeit eines
möglichen Bewegungsvektors durch Vergleich aufeinanderfolgender Halbbilder zu prüfen.
Leider wird dieser Vergleich herkömmlicherweise durch den Zeilensprungcharakter des
Videosignals kompliziert. Verbesserte Ergebnisse sind möglich, wenn man den
Zeilensprungcharakter des Videosignals richtig berücksichtigt.
-
Im Prinzip ist der Vergleich von aufeinanderfolgenden Halbbildern, der den
Zeilensprung berücksichtigt, ein zweistufiger Vorgang. Zuerst wird eine Drei- oder Mehr-
Halbbild-Öffnung verwendet, um eine Schätzung eines fortlaufendes Vollbildes nach der
Methode der kleinsten Quadrate (LMS) unter der Annahme, daß der Prüfbewegungsvektor
richtig ist, zu berechnen. Dann werden die Eingangshalbbilder mit den erwarteten
Halbbildern verglichen, wenn gegeben ist, daß das fortlaufende Vollbild und der
Bewegungsvektor richtig sind und der Zeilensprung berücksichtigt wird. Eine Schätzung
nach der Methode der kleinsten Quadrate des (komplexen Spektrums des) fortlaufenden
Vollbildes ist gegeben durch die Gleichung 12:
-
= (Ph.P)&supmin;¹.Ph.S
Gleichung 12
-
Wenn das geschätzte Spektrum . richtig ist, dann wären die Eingangshalbbilder
gegeben durch:
-
= P.
Gleichung 13
-
Die Differenzen zwischen den tatsächlichen Halbbildern S und den geschätzten
Halbbildern ist gegeben durch
-
S - = (I - P.(Ph .P)&supmin;¹.Ph.S
Gleichung 14
-
Die Gleichung 14 ergibt eine Frequenzdefinitionsbereichsspezifikation für ein
von Alias-Effekten freies Halbbilddifferenzsignal für jedes Halbbild in der Öffnung.
Praktische Filter können dann anhand der Frequenzdefinitionsbereichsspezifikation unter
Verwendung von veröffentlichten Methoden bemessen werden.