DE3688298T2

DE3688298T2 - Videosignalverarbeitung.

Info

Publication number: DE3688298T2
Application number: DE8686301113T
Authority: DE
Inventors: Morgan William Amos David; David John Hedley
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1985-03-07
Filing date: 1986-02-18
Publication date: 1993-08-26
Anticipated expiration: 2006-02-19
Also published as: ATE88586T1; CA1285647C; EP0194066A2; DE3688298D1; JPS61228784A; GB2172167B; GB8505920D0; JP2776803B2; GB2172167A; EP0194066B1; US4774678A; EP0194066A3

Description

Die Erfindung bezieht sich auf die Verarbeitung von Videosignalen, insbesondere auf Verfahren und Vorrichtungen zum Abbilden von digitalen Video-Abtastwerten. Diese Technik wird beispielsweise in digitalen Einrichtungen zur Erzeugung von Videoeffekten verwendet, in denen digitale Fernsehsignale zur Erzeugung von Spezialeffekten entsprechend manipuliert werden.
Solche Spezialeffekte sind Fernsehzuschauern bekannt. Sie erlauben es, Bilder auf der Kathodenstrahlröhre des Fernsehempfängers beispielsweise zu versetzen (in beliebiger Richtung zu bewegen), zu skalieren (zu vergrößern oder zu verkleinern), in zwei oder drei Dimensionen zu drehen usw.. Derartige Spezialeffekte lassen sich dadurch erzeugen, daß Video-Abtastwerte mit einer dynamisch wechselnden Abbildungsfunktion aus einer Abtastdomäne in einer anderen Abtastdomäne abgebildet werden.
Die britische Patentanmeldung GB-A-1 594 341 offenbart ein Verarbeitungssystem, mit dessen Hilfe eine relativ langsame Skalierung eines Bildes möglich ist, wobei ein Verfahren Anwendung findet, das den in einem Fernseh-Normenwandler verwendeten Verfahren ähnelt.
Man betrachte jedoch das in Fig. 1 dargestellte Beispiel: In einem Eingangs-Array A entsprechen Abtastwerte an-1 bis an+3 sechs aufeinanderfolgenden Abtastpositionen einer horizontalen Abtastzeile eines digitalen Eingangs-Fernsehsignals. Es sei nun angenommen, daß wenigstens dieser Teil des Bildes im Verhältnis 4:3 kompriniert werden soll. Eine bloße Komprimierung würde die Abtastwerte an-2 bis an+3 einfach in enger benachbarte Punkte in einem Array B' überführen. Das geforderte Ausgangs-Array B besteht in Wirklichkeit jedoch aus Abtastpositionen, die mit den Abtastpositionen in dem Eingangs-Array A identisch sind, was bei einer Fernseh-Normenwandlung nicht der Fall ist. So ist es weiterhin erforderlich, die Abtastwerte des Arrays B' auf das Ausgangs-Array B so abzubilden, daß die Abtastwerte die korrekten Größen haben und in den korrekten Positionen liegen.
Eine relativ einfache Lösung für dieses Problem besteht darin, daß man für jede Abtastposition in dem Ausgangs-Array B denjenigen Abtastwert aus dem Array B' verwendet, der ihr räumlich am nächsten liegt. Dies führt jedoch offensichtlich zu Ungenauigkeiten. Deshalb wurden andere anspruchsvollere Lösungen vorgeschlagen, die allerdings komplexe Rechnungen beinhalten und große Speicherkapazität erfordern, insbesondere dann, wenn mehr als eine Dimension betroffen ist. Darüberhinaus arbeiten diese vorgeschlagenen Lösungen tendenziell unbefriedigend, wenn die Abbildungsfunktion sich rasch ändert.
Die britische Patentanmeldung GB-A-2 119 596 offenbart ein Videoverarbeitungssystem, das Merkmale aufweist, die denjenigen der Oberbegriffe von Anspruch 1 und 9 entsprechen.
Gemäß vorliegender Erfindung ist ein Verfahren vorgesehen zum Abbilden von digitalen Video-Abtastwerten aus einer ersten Abtastdomäne in einer zweiten Abtastdomäne, die aus Abtastpositionen besteht, die mit Abtastpositionen der ersten Abtastdomäne identisch sind, unter Verwendung einer Abbildungsfunktion, die eine Änderung der Bildgröße beeinhaltet, wobei das Verfahren dadurch gekennzeichnet ist, daß für jede Abtastposition in der zweiten Abtastdomäne die Position eines betreffenden Punktes in der ersten Abtastdomäne berechnet wird, der unter Verwendung der Abbildungsfunktion in der zweiten Abtastdomäne an der genannten Abtastposition abgebildet wird, durch Interpolation aus verfügbaren Eingangs-Abtastwerten ein interpolierter Abtastwert für den genannten Punkt in der ersten Abtastdomäne gewonnen wird und der interpolierte Abtastwert als der Abtastwert für die genannte Abtastposition in der zweiten Abtastdomäne verwendet wird.
Weiterhin ist gemäß vorliegender Erfindung eine Vorrichtung vorgesehen zum Abbilden von digitalen Video-Abtastwerten aus einer ersten Abtastdomäne in einer zweiten Abtastdomäne, die aus Abtastpositionen besteht, die mit Abtastpositionen der ersten Abtastdomäne identisch sind, unter Verwendung einer Abbildungsfunktion, die eine Änderung der Bildgröße beeinhaltet, wobei diese Vorrichtung gekennzeichnet ist durch eine Berechnungseinrichtung, mit deren Hilfe für jede Abtastposition in der zweiten Abtastdomäne die Position eines betreffenden Punktes in der ersten Abtastdomäne berechnet werden kann, der unter Verwendung der Abbildungsfunktion an der genannten Abtastposition in der zweiten Abtastdomäne abgebildet wird, und einen Interpolator zur Gewinnung eines interpolierten Abtastwerts für den genannten Punkt in der ersten Abtastdomäne aus verfügbaren Eingangs-Abtastwerten, wobei der interpolierte Abtastwert als der Abtastwert für die Abtastposition in der zweiten Abtastdomäne verwendet wird.
Im folgenden sei die Erfindung anhand eines Ausführungsbeispiels unter Bezugnahme auf die Zeichnungen näher erläutert:
Fig. 1 zeigt in schematischer Darstellung Teile von horizontalen Abtastzeilen eines digitalen Fernsehsignals zur Erläuterung des der Erfindung zugrunde liegenden Problems,
Fig. 2 zeigt in schematischer Darstellung Teile von horizontalen Abtastzeilen eines digitalen Fernsehsignals zur Erläuterung eines Verfahrens gemäß der Erfindung,
Fig. 3 zeigt einen vergrößerten Ausschnitt von Fig. 2,
Fig. 4 zeigt ein Ausführungsbeispiel einer erfindungsgemäßen Vorrichtung als Blockschaltbild,
Fig. 5 zeigt eine Matrix von Abtastpositionen.
Das im folgenden zu beschreibende Ausführungsbeispiel dient zum Einsatz in einer digitalen Einrichtung zur Erzeugung von Videoeffekten, in der ein digitales Fernsehsignal so manipuliert wird, daß Spezialeffekte entstehen. Zunächst sei das entsprechende Verfahren beschrieben und im Anschluß daran eine Vorrichtung zur Durchführung des Verfahrens.
Zahlreiche Spezialeffekte, die gefordert werden, umfassen eine Expandierung oder Komprimierung des Größe des auf einer Kathodenstrahlröhre anzuzeigenden Bildes relativ zu einem Eingangsbild. In einigen Fällen kann zusätzlich zu der mit der Komprimierung oder Expandierung verbundenen Bewegung eine weitere Bewegung erforderlich sein. Die vorliegende Erfindung betrifft insbesondere Spezialeffekte, die die Größenkomprimierung wenigstens eines Teils des Bildes beinhalten, wobei diese Größenkomprimierung bewirkt wird durch Manipulation der Eingangsbildinformation, gefolgt von einer Speicherung der manipulierten Information. Die Erfindung ist außerdem anwendbar auf Spezialeffekte, die eine Größenexpandierung umfassen. In diesem Fall wird die Eingangsinformation jedoch unverändert gespeichert, und die notwendige Manipulation der Eingangsinformation erfolgt beim Auslesen der gespeicherten Information, weil die Manipulation vor der Speicherung die erforderliche Speicherkapazität unnötigerweise vergrößern würde.
Das Verfahren wird zunächst in der Anwendung auf eine eindimensionale Komprimierung beschrieben. Die obere Linie in Fig. 2 stellt aufeinanderfolgende Abtastpositionen entlang einer horizontalen Abtastzeile eines Eingangs-Arrays A dar, das Bestandteil einer ersten Abtastdomäne eines digitalen Fernsehsignals ist. Die Anwendung einer für den geforderten Spezialeffekt ausgewählten Abbildungsfunktion führt dazu, daß die Abtastpunkte an und an+1 in dem Eingangs-Array A auf Punkte b'n und b'n+1 in einem Ausgangs-Array B abgebildet werden, das Teil einer zweiten Abtastdomäne ist. Die Punkte b'n und b'n+1 entsprechen jedoch nicht den tatsächlichen Abtastpositionen in dem Ausgangs-Array B. Die tatsächlichen Abtastpositionen, die den Punkten b'n und b'n+1 in dem Ausgangs-Array B am nächsten liegen, seien als bi und bi+1 angenommen.
Falls die Differenz zwischen aufeinanderfolgenden Abtastpositionen in dem Eingangs- Array A und in dem Ausgangs-Array B als Einheit angenommen wird, können die Adressen der Abtastpositionen bi und bi+1 als integrale Bestandteile der Adressen der Punkte b'n und b'n+1 betrachtet werden. Die übrigen Teile der Adressen werden als Reste rn bzw. rn+1 angenommen, wie dies in Fig. 2 dargestellt ist. Es gilt dann
rn = (b'n) - (bi) und
rn+1 = (b'n+1) - (bi+1),
wobei die Klammern die Adressen der Punkte oder Abtastpositionen kennzeichnen, die in den Klammern angegeben sind.
Es sei nun auf Fig. 3 Bezug genommen, die einen Teil von Fig. 2 in größerem Maßstab zeigt. In dem Eingangs-Array A ist der Punkt ai derjenige, der bei Verwendung einer gegebenen Abbildungsfunktion genau in dem Punkt bi+1 im Ausgangs-Array B abgebildet wird. Durch die Betrachtung ähnlicher Dreiecke kann gezeigt werden, daß
(ai) - (an) proportional zu 1-rn und
(an-1) - (ai) proportional zu rn+1 ist.
Falls das Proportionalitätsverhältnis mit α bezeichnet wird, lautet die Adresse des geforderten Abtastwertes
(an)+α(1-rn).
Da jedoch
α(1-rn)+α(1-rn+1) = 1 ist,
gilt deshalb
Die Adresse des zu interpolierenden Abtastwerts lautet also
Da rn und rn+1 bekannt sind, wenn die Abbildungsfunktion auf die Abtastpositionen in dem Eingangs-Array A angewendet wurde, bedeutet dies, daß sich die Adresse und damit die Position des Punktes ai leicht berechnen läßt. Diese Position wird dann zur Auswahl des Koeffizienten eines herkömmlichen Interpolators verwendet. Mit anderen Worten: weil die Abtastwerte an den Abtastpositionen an und an+1 in dem Eingangs- Array A bekannt sind und der oben angegebene Ausdruck die Berechnung der Adresse entspricht, linear interpoliert werden. Dieser Abtastwert ist ein Abtastwert, der für die Abtastposition bi+1 in dem Ausgangs-Array B verwendet werden kann. Dieser Prozeß kann für jede der aufeinanderfolgenden Abtastpositionen in dem Ausgangs-Array B durchgeführt werden. Es ist darauf hinzuweisen, daß dann, wenn sich die Abbildungsfunktion zwischen den Abtastpositionen b'n und b'n+1 ändert, der interpolierte Abtastwert, der für die Abtastposition bi+1 verwendet wird, eine lineare Interpolation der ursprünglichen und der geänderten Abbildungsfunktion darstellt.
In der Praxis wird in der Regel eine zweidimensionale Komprimierung gefordert. Man erkennt, daß das beschriebene Verfahren leicht auf den zweidimensionalen Fall erweitert werden kann. Es ist möglich, die erforderliche Interpolation linear in zwei Stufen auszuführen, wobei in der oben beschriebenen Weise horizontal angeordnete Abtastpositionen und außerdem vertikal angeordnete Abtastpositionen verwendet werden. Die Interpolation erfolgt vorzugsweise für beide Dimensionen in einer einzigen Stufe, wobei Abtastwerte in einer beweglichen Matrix von Abtastpositionen verwendet werden und die Abtastwerte mit entsprechenden Gewichtungskoeffizienten multipliziert und die resultierenden Produkte addiert werden, wie dies in einem Fernsehnormenwandler geschieht.
Im folgenden sei anhand von Fig. 4 ein Ausführungsbeispiel der Vorrichtung gemäß vorliegender Erfindung beschrieben. Die Vorrichtung umfaßt einen Ausgangsspeicher 1, einen Adressengenerator 2, einen Abbildungsfunktionsgenerator 3, einen Prozessor 4, eine Vorrichtung 5 mit einer Koeffiziententabelle und einen Interpolator 6.
Der Ausgangsspeicher 1 kann Daten speichern, die einem Halbbild eines Videosignals entsprechen. Es sei angenommen, daß die Daten, d. h. die Abtastwerte, die einzelnen Abtastpositionen in dem Halbbild entsprechen, jeweils in Form von 8-Bit-Wörtern vorliegen, und daß jede Abtastposition in dem Halbbild durch zwei 10-Bit-Wörter bestimmt ist, die zur Identifizierung der Abtastposition in horizontaler und vertikaler Richtung, d. h. in X- bzw. Y-Richtung, dienen.
Der Adressengenerator 2 erzeugt aufeinanderfolgende Adressen jeweils in Form von zwei 10-Bit-Wörtern, die X und Y bestimmen. Darüberhinaus erzeugt der Adressengenerator 2 unter dem Steuereinfluß des Abbildungsfunktionsgenerators 3 zwei 5-Bit-Wörter, die die Reste xr bzw. yr bestimmen. Die Abbildungsfunktion, die sich von einer Abtastposition zur andern ändern kann, kennzeichnet die Komprimierung, der das Bild in diesem Halbbild unterworfen werden soll, und der Adressengenerator 2 berechnet die Reste xr und yr, die den Punkt relativ zu der durch die Adresse X, Y bestimmten Abtastposition kennzeichnen, von dem aus die Abbildungsfunktion eine Abbildung des Abtastwerts an der Adresse X, Y bewirkt.
Jede Adresse X, Y und die entsprechenden Reste xr und yr werden dem zweidimensionalen Prozessor 4 zugeführt, der ein programmierbarer Nurlesespeicher (PROM) sein kann und in der oben beschrieben Weise eine Prädiktion der Position in dem Eingangs-Array eine Abtastprobe bewirkt, die exakt an der durch die Adresse X, Y angegeben Stelle abgebildet würde, die dann dem Speicher 1 zugeführt wird. Die Adresse dieser vorhergesagten Position ist in Fig. 5 mit xb, yb bezeichnet. Es werden jeweils 5-Bit-Wörter, die xb und yb entsprechen, abgeleitet und dem Prozessor 4 der Vorrichtung 5 mit der Koeffiziententabelle zugeführt.
Die Vorrichtung 5 mit der Koeffiziententabelle, die ein PROM sein kann, liefert beispielsweise 16 Gewichtungskoeffizienten an den zweidimensionalen Interpolator 6, dem außerdem 8-Bit-Eingangsdatenwörter zugeführt werden. Die Vorrichtung 5 mit der Koeffiziententabelle und der Interpolator 6 arbeiten im wesentlichen in der gleichen Weise zusammen wie die entsprechenden Elemente in einem Fernseh-Normenwandler und leiten aus einer sich bewegenden Matrix aus 16 Abtastwerten des laufenden Halbbildes, die sich an den den vorhergesagten Positionen xb, yb am nächsten liegenden Positionen befinden, einen berechneten Abtastwert für die Position xb, yb her, der dann dem Speicher 1 zugeführt wird, um an der der Adresse X, Y entsprechenden Stelle gespeichert und anschließend ausgelesen zu werden, wenn das darin gespeicherte Halbbild angezeigt, aufgezeichnet oder übertragen werden soll.
Es wurde vorausgesetzt, daß die sich bewegende Matrix aus sechzehn Abtastwerten den sechzehn Abtastpositionen in einem Halbbild entspricht und der vorhergesagten Position xb, yb am nächsten liegt, wie dies in Fig. 5 dargestellt ist. Der geforderte berechnete Abtastwert wird dadurch abgeleitet, daß der Abtastwert an jeder der sechzehn Abtastpositionen mit dem betreffenden Gewichtungskoeffizienten multipliziert und die sich ergebenden sechzehn Produkte addiert werden, um den berechneten Abtastwert abzuleiten. Erforderlichenfalls kann auch eine sich bewegende Matrix verwendet werden, die mehr als sechzehn Abtastwert aufweist.

Claims

1. Verfahren zum Abbilden von digitalen Video-Abtastwerten aus einer ersten Abtastdomäne (A) in einer zweiten Abtastdomäne (B), die aus Abtastpositionen besteht, die mit Abtastpositionen der ersten Abtastdomäne (A) identisch sind, unter Verwendung einer Abbildungsfunktion, die eine Änderung der Bildgröße beeinhaltet, dadurch gekennzeichnet, daß für jede Abtastposition (bi+1) in der zweiten Abtastdomäne (B) die Position eines betreffenden Punktes (ai) in der ersten Abtastdomäne (A) berechnet wird, der unter Verwendung der Abbildungsfunktion in der zweiten Abtastdomäne (B) an der genannten Abtastposition (bi+1) abgebildet wird, durch Interpolation aus verfügbaren Eingangs-Abtastwerten ein interpolierterter Abtastwert für den genannten Punkt (ai) in der ersten Abtastdomäne (A) gewonnen wird und der interpolierte Abtastwert als der Abtastwert für die genannte Abtastposition (bi+1) in der zweiten Abtastdomäne (B) verwendet wird.

2. Verfahren nach Anspruch 1, bei dem die Änderung der Bildgröße eine Kompression

beinhaltet.

3. Verfahren nach Anspruch 2, bei dem die Kompression in zwei Dimensionen erfolgt.

4. Verfahren nach Anspruch 3, bei dem die Position des genannten Punktes (ai) in der ersten Abtastdomäne (A) durch zwei Reste (xr, yr) ausgedrückt wird, die den horizontalen bzw. den vertikalen Abstand dieses Punktes von einer benachbarten Abtastposition in der ersten Abtastdomäne (A) repräsentieren.

5. Verfahren nach Anspruch 3 oder 4, bei dem die Abbildungsfunktion sich dynamisch verändert.

6. Verfahren nach Anspruch 3, 4 oder 5, bei dem für die Interpolation eine sich bewegende Matrix der Eingangs-Abtastwerte verwendet und bei dem für die Position des genannten Punktes (ai) in der ersten Abtastdomäne (A) eine Mehrzahl von Gewichtskoeffizienten abgeleitet, jeder der Eingangs-Abtastwerte mit einem betreffenden Gewichtskoeffizienten multipliziert wird und die sich ergebenden Produkte addiert werden, um den interpolierten Abtastwert zu bilden.

7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der interpolierte Abtastwert einem Speicher (1) zugeführt wird, in welchem er vor der Anzeige, der Aufzeichnung oder der Übertragung gespeichert wird.

8. Verfahren nach Anspruch 7, bei dem der Speicher (1) ein Halbbildspeicher ist.

9. Vorrichtung zum Abbilden von digitalen Video-Abtastwerten aus einer ersten Abtastdomäne (A) in einer zweiten Abtastdomäne (B), die aus Abtastpositionen besteht, die mit Abtastpositionen der ersten Abtastdomäne (A) identisch sind, unter Verwendung einer Abbildungsfunktion, die eine Änderung der Bildgröße beeinhaltet, gekennzeichnet durch eine Berechnungseinrichtung (2, 4), mit deren Hilfe für jede Abtastposition (bi+1) in der zweiten Abtastdomäne (B) die Position eines betreffenden Punktes (ai) in der ersten Abtastdomäne (A) berechnet werden kann, der unter Verwendung der Abbildungsfunktion an der genannten Abtastposition (bi+1) in der zweiten Abtastdomäne (B) abgebildet wird, und einen Interpolator (6) zur Gewinnung eines interpolierten Abtastwerts für den genannten Punkt (ai) in der ersten Abtastdomäne (A) aus verfügbaren Eingangs-Abtastwerten, wobei der interpolierte Abtastwert als der Abtastwert für die Abtastposition (bi+1) in der zweiten Abtastdomäne (B) verwendet wird.

10. Vorrichtung nach Anspruch 9, bei der die Änderung der Bildgröße eine Kompression in zwei Dimensionen umfaßt.

11. Vorrichtung nach Anspruch 10, bei der die Berechnungseinrichtung (2, 4) einen Adressengenerator (2) aufweist zur aufeinanderfolgenden Generierung der Adressen (X+xr, Y+yr) von Punkten in der zweiten Abtastdomäne (B), in denen die Abtastpositionen in der ersten Abtastdomäne (A) unter Verwendung der genannten Abbildungsfunktion abgebildet werden, sowie einen Prozessor (4), um aus jeder dieser Adressen (X+xr, Y+yr) die Adresse (xb, yb) des Punktes (ai) in der ersten Abtastdomäne (A) abzuleiten, der unter Verwendung der Abbildungsfunktion an der genannten Abtastposition (bi+1) in der zweiten Abtastdomäne (B) abgebildet wird.