[go: up one dir, main page]

DE69019877T2 - Räumliche Interpolation von digitalen Videobildern. - Google Patents

Räumliche Interpolation von digitalen Videobildern.

Info

Publication number
DE69019877T2
DE69019877T2 DE69019877T DE69019877T DE69019877T2 DE 69019877 T2 DE69019877 T2 DE 69019877T2 DE 69019877 T DE69019877 T DE 69019877T DE 69019877 T DE69019877 T DE 69019877T DE 69019877 T2 DE69019877 T2 DE 69019877T2
Authority
DE
Germany
Prior art keywords
samples
sample
interpolated
lines
video signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69019877T
Other languages
English (en)
Other versions
DE69019877D1 (de
Inventor
David Andrew Dougall
Gavin Alexander Walker
James Hedley Wilkinson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of DE69019877D1 publication Critical patent/DE69019877D1/de
Publication of DE69019877T2 publication Critical patent/DE69019877T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

  • Die Erfindung betrifft Verfahren und Geräte zur räumlichen Internolation zwischen Zeilen eines digitalen Videosignals zur Erzeugung von interpolierten Zeilen.
  • Es besteht die Forderung zur Umwandlung eines im Zeilensprungverfahren abgetasteten Videosignals in ein progressiv abgetastetes Videosignal (das mitunter auch als sequentiell abgetastetes Videosignal bezeichnet wird). Dies beinhaltet die Umwandlung von nach dem Zeilensprungverfahren abgetasteten Halbbildern eines Videosignals, von denen jedes nur die ungeradzahligen oder die geradzahligen Abtastzeilen eines Vollbilds des Videosignals enthält, in progressiv abgetastete Halbbilder, die jeweils einen vollen Satz sowohl von ungeradzahligen als auch von geradzahligen Abtastzeilen umfassen. Diese Forderung tritt z.B. auf, wenn ein Bild in Zeitlupe wiedergegeben oder wenn die Leistung eines Videomonitors verbessert werden soll.
  • Ein früher vorgeschlagenes Verfahren benutzt eine einfache Methode zur vertikalen (räumlichen) Interpolation (Filterung) zur Gewinnung eines interpolierten (progressiv abgetasteten) Halbbildes aus einem einzigen Eingangshalbbild. Ein anderes vorgeschlagenes Verfahren beinhaltet eine bewegungsadaptive Methode, bei der für bewegte Bildbereiche ein Vertikalfilter (Interpolator) benutzt wird und für statische Bildbereiche ein zwischen Eingangshalbbildern interpolierendes zeitliches Filter (Interpolator) benutzt wird. Die bewegungsadaptive Methode hat gegenüber der rein vertikalen Interpolation den Vorteil, daß das von dem progressiv abgetasteten Halbbild repräsentierte Bild in den statischen Bereichen die volle vertikale Auflösung besitzt. In den bewegten Bereichen ist die vertikale Auflösung allerdings merklich herabgesetzt.
  • EP-A-0 294 955 beschreibt einen räumlich zeitlichen Interpolationsprozeß, der Bewegungsvektoren benutzt, die durch eine Methode mit einem Blockausgleichsverfahren abgeschätzt werden.
  • Nach einem ersten Aspekt der Erfindung ist ein Verfahren vorgesehen zur räumlichen Interpolation zwischen Zeilen eines digitalen Videosignals zur Erzeugung von interpolierten Zeilen, mit dem Verfahrensschritten,
  • daß zwischen Abtastproben des Videosignals horizontal interpoliert wird, um ein überabgetastetes Signal zu erzeugen, das die ursprünglichen Abtastproben sowie zwischen jeweils zwei benachbarten ursprünglichen Abtastproben wenigstens eine interpolierte Abtastprobe enthält,
  • daß für jede Abtastprobe des überabgetasteten Signals der Übereinstimmungsgrad zwischen zwei Blöcken von N x M Abtastproben des überabgetasteten Signals festgestellt wird (worin N die Anzahl der Zeilen und M die Anzahl der Abtastproben bedeutet), wobei die beiden Blöcke in Bezug auf eine zu interpolierende Zeile in entgegengesetzten Richtungen vertikal gegeneinander versetzt und in Bezug auf eine vorbestimmte Abtastposition in entgegengesetzten Richtungen horizontal gegeneinander versetzt sind, wobei dieser Verfahrensschritt des Feststellens für eine Mehrzahl von unterschiedlichen Werten des horizontalen Versatzes, einschließlich des Null-Versatzes und wenigstens eines Versatzes auf jeder Seite von Null, ausgeführt wird, um so für jeden horizontalen Versatz einen entsprechenden Wert des Übereinstimmungsgrads zu erzeugen,
  • daß für jede Abtastprobe der zu interpolierenden Zeile aus einer Mehrzahl von Gradientenvektoren, die jeweils einem bestimmten Exemplar der unterschiedlichen Werte des horizontalen Versatzes zugeordnet sind, derjenige Gradientenvektor ausgewählt wird, der zu dem horizontalen Versatz gehört, der das größte Maß an Übereinstimmung zwischen den beiden Blöcken erbringt,
  • und daß zwischen Videosignal-Abtastproben in verschiedenen Zeilen des Videosignals räumlich interpoliert wird, um Abtastproben für die interpolierten Zeilen zu generieren, wobei die Richtung der räumlichen Interpolation für jede der generierten Abtastproben nach Maßgabe desjenigen Gradientenvektors gesteuert wird, der für die genannte vorbestimmte Abtastposition ausgewählt wird, die dieser generierten Abtastprobe entspricht.
  • Nach einem zweiten Aspekt der Erfindung ist ein Gerät vorgesehen zur räumlichen Interpolation zwischen Zeilen eines digitalen Videosignals zur Erzeugung von interpolierten Zeilen, wobei das Gerät aufweist
  • eine Überabtasteinrichtung, die ein horizontales Interpolieren zwischen Abtastproben des Videosignals bewirkt, um ein überabgetastetes Signal zu erzeugen, das die ursprünglichen Abtastproben sowie zwischen jeweils zwei benachbarten ursprünglichen Abtastproben wenigstens eine interpolierte Abtastprobe enthält,
  • eine Mehrzahl von Block-Koinzidenzschaltungen, die bewirken, daß für jede Abtastprobe des überabgetasteten Signals der Übereinstimmungsgrad zwischen zwei Blöcken von N x M Abtastproben des überabgetasteten Signals festgestellt wird (worin N die Anzahl der Zeilen und M die Anzahl der Abtastproben bedeutet), wobei die beiden Blöcke in Bezug auf eine zu interpolierende Zeile in entgegengesetzten Richtungen gegeneinander vertikal versetzt sind und in Bezug auf eine vorbestimmte Abtastposition in entgegengesetzten Richtungen horizontal gegeneinander versetzt sind, wobei jede Block-Koinzidenzschaltung für eine Mehrzahl von unterschiedlichen Werten des horizontalen Versatzes, einschließlich des Null-Versatzes und wenigstens eines Versatzes auf jeder Seite von Null, in der genannten Weise wirksam ist, wodurch für jeden horizontalen Versatz einen entsprechenden Wert des Übereinstimmungsgrads erzeugt wird, eine Auswahleinrichtung, die auf die entsprechenden von den Block-Koinzidenzschaltungen erzeugten Werte anspricht, um für jede Abtastprobe der zu interpolierenden Zeile aus einer Mehrzahl von Gradientenvektoren, die jeweils einem bestimmten Exemplar der unterschiedlichen Werte des horizontalen Versatzes zugeordnet sind, derjenige Gradientenvektor auszuwählen, der zu dem horizontalen Versatz gehört, der das größte Maß an Übereinstimmung zwischen den beiden Blöcken bewirkt,
  • und einen räumlichen Interpolator, der ein räumliches Interpolieren zwischen Videosignal-Abtastproben in verschiedenen Zeilen des Videosignals bewirkt, um Abtastproben für die interpolierten Zeilen zu generieren, wobei die Richtung der räumlichen Interpolation für jede der generierten Abtastproben nach Maßgabe desjenigen Gradientenvektors gesteuert wird, der für die genannte vorbestimmte Abtastposition ausgewählt wird, die dieser generierten Abtastprobe entspricht.
  • Wie weiter unten im Detail erläutert wird, läßt sich die vertikale Auflösung durch das "Steuern" der Interpolationsrichtung des räumlichen Interpolators nach Maßgabe der ausgewählten Gradientenvektoren durch Ausrichten der Bildkanten vor der Interpolation wirksam verbessern, so daß die vertikale Auflösung, speziell in bewegten Bereichen, im Vergleich zu dem Fall, bei dem mit vertikaler (statt mit steuerbarer räumlicher) Interpolation gearbeitet wird, weniger beeinträchtigt wird.
  • Im folgenden sei die Erfindung an einem Ausführungsbeispiel, auf das die Erfindung natürlich nicht beschränkt ist, anhand der anliegenden Zeichnungen näher erläutert. In den Zeichnungen sind gleiche Teile durchgehend mit gleichen Bezugszeichen versehen.
  • Fig. 1 bis 3 zeigen Diagramme zur Erläuterung der räumlichen Interpolation,
  • Fig. 4 zeigt ein Diagramm zur Erläuterung des Konzepts der bei der räumlichen Interpolation mit variabler Richtung benutzten Gradientenvektoren,
  • Fig. 5 und 6zeigen Diagramme zur Erläuterung des Blockausgleichskonzepts, das bei einer bevorzugten räumlichen Interpolationsmethode und einem Gerät gemäß der Erfindung zur Auswahl eines Gradientenvektors benutzt wird,
  • Fig. 7 bis 9 zeigen Diagramme zur Erläuterung eines Überabtastverfahrens, das bei der bevorzugten Methode und dem Gerät gemäß der Erfindung benutzt wird,
  • Fig. 10 zeigt eine Graphik zur Erläuterung eines bei dem bevorzugten Verfahren und Gerät benutzten Verfahrens zur Prädiktion einer interpolierten horizontalen Abtastprobe,
  • Fig. 11 zeigt ein Blockdiagramm der bevorzugten Vorrichtung zur räumlichen Interpolation, in der die Erfindung verkörpert ist,
  • Fig. 12 zeigt ein Diagramm zur Erläuterung der Funktion eines räumlichen Filters mit variabler Richtung, das einen Bestandteil des Geräts von Fig. 11 bildet,
  • Fig. 13 zeigt das Blockschaltbild eines Horizontalprädiktors, der einen Teil der Vorrichtung von Fig. 11 bildet,
  • Fig. 14 zeigt das Blockschaltbild von Verschiebungsdetektoren (Blockausgleichsschaltungen), die Teile des Geräts von Fig. 11 bilden,
  • Fig. 15 zeigt ein Diagramm zur Erläuterung der Funktion der Verschiebungsdetektoren,
  • Fig. 16 zeigt eine mögliche Modifizierung des Geräts von Fig. 11.
  • Im folgenden sei ein bevorzugtes Verfahren gemäß der Erfindung zur räumlichen Interpolation zwischen (im folgenden einfach als "Zeilen" bezeichneten) Abtastzeilen eines Halbbilds eines mit Zeilensprung abgetasteten digitalen Videosignals beschrieben, das zur Erzeugung von interpolierten Zeilen dient, die bei ihrer Kombination mit den originalen Zeilen ein progressiv abgetastetes digitales Videosignal ergeben (das z.B. in einem Zeitlupenprozessor benutzt werden kann).
  • Zunächst sei die räumliche Interpolation in groben Umrissen erläutert. Fig. 1 zeigt Teile dreier aufeinanderfolgender Zeilen eines Vollbilds eines digitalen Videosignals. Die Rechtecke repräsentieren Pixel in zwei aufeinanderfolgenden Zeilen eines Halbbilds (Halbbild 0), und die Kreise repräsentieren Pixel in derjenigen Zeile eines Halbbilds mit entgegengesetzter Polarität (Halbbild 1), die zwischen den beiden Zeilen des Halbbilds 0 als Zwischenzeile verschachtelt ist. Die schwarzen und offenen Pixel entsprechen schwarzen bzw. weißen Abtastwerten (Null-Luminanz bzw. maximale Luminanz), wobei die Pixel eine schwarze Bildkante oder ein Objekt repräsentieren, das sich von links oben diagonal nach rechts nach unten erstreckt.
  • Fig. 2 zeigt die Zeilen des Halbbilds 0 wie in Fig. 1. Zwischen diesen Zeilen ist eine Zeile mit Pixeln dargestellt, die jeweils durch Interpolation zwischen den (d.h. durch Mittelwertbildung der) vertikal benachbarten Pixeln in den beiden Abtastzeilen des Halbbilds 0 gewonnen werden (vertikale Interpolation). Es handelt sich um eine Zeile, die durch vertikale Interpolation (in Richtung des Pfeiles in Fig. 2) gewonnen wird. Die vertikale Interpolation liefert sechs (graue) Pixel mit halber Amplitude, die schräg schraffiert dargestellt sind. Wie ein Vergleich von Fig. 1 und 2 zeigt, liefert Fig. 2 das falsche Ergebnis: d. h., die Luminanzwerte für die dargestellten Pixel der interpolierten Zeile entsprechen nicht (wie es bei einer korrekten Interpolation der Fall wäre) denjenigen der Zeile des Halbbilds 1 in Fig. 1. Dies führt zu vertikalem Aliasing.
  • Fig. 3 zeigt das korrekte Ergebnis, das sich gewinnen läßt, wenn man anstelle der räumlichen Interpolation der Zeilen des Halbbild 0 in vertikaler Richtung eine räumliche Interpolation in der durch den Pfeil in Fig. 3 dargestellten Richtung durchführt, die zumindest annähernd der Bildkante folgt. Diese Richtung wird im folgenden als Gradientenvektor bezeichnet. Im folgenden werde nun die Art und Weise beschrieben, wie für jedes Pixel jeder interpolierten Zeile ein optimaler Gradientenvektor abgeleitet werden kann, um eine optimale Richtung oder einen optimalen Winkel der räumlichen Interpolation zur Verbesserung der vertikalen Auflösung zu definieren.
  • Fig. 4 zeigt zwei aufeinanderfolgende Zeilen eines Halbbilds, zwischen denen eine interpolierte Zeile auf einer Pixel-für-Pixel-Basis erzeugt werden soll, d.h. auf der Basis Abtastprobe für Abtastprobe. Dabei ist zu beachten, daß das Halbbild Teil eines digitalen Videosignals ist, das aufeinanderfolgende Abtastproben (in Form digitaler Wörter) enthält, die die aufeinanderfolgenden Pixel von aufeinanderfolgenden Halbbildern darstellen. Die interpolierte Zeile ist in Fig. 4 durch eine gestrichelte Linie dargestellt. Die Pixel der interpolierten Zeile müssen natürlich an Positionen gebildet werden, die in vertikaler Richtung mit den Pixeln der Halbbildzeilen fluchten. Bei dem Verfahren gemäß der Erfindung wird der Gradientenvektor in mehreren verschiedenen Richtungen gemessen, die jeweils durch den Ort des zu interpolierenden Pixels verlaufen. Dies geschieht für jedes zu interpolierende Pixel. Als für die Interpolation des in Frage stehenden Pixels geeigneter Gradientenvektor wird derjenige der gemessenen Gradientenvektoren ausgewählt, der die kleinste absolute Differenz in dem Pixel-Luminanzwert ergibt (minimaler Gradientenvektor). Wenn der minimale Gradientenvektor beispielsweise für das interpolierte Pixel an der Position X in Fig. 4 festgestellt werden soll, können die fünf Gradientenvektoren gemessen werden, die in Fig. 4 durch entsprechende Pfeile angedeutet sind. Einer dieser Gradientenvektoren verläuft in vertikaler Richtung, die anderen vier umfassen zwei gleiche Paare die gegenüber der Vertikalen in entgegengesetzten Richtungen geneigt sind. Natürlich können auch mehr oder weniger als fünf Gradientenvektoren gemessen werden. So werden bei dem Verfahren gemäß der Erfindung, bei dem vorzugsweise das (weiter unten beschriebene) "Überabtasten" benutzt wird, tatsächlich neun Gradientenvektoren gemessen.
  • Das erfindungsgemäße Verfahren wendet eine Technik an, bei der ein Ausgleich in einem Pixelblock oder Fenster (Array) benutzt wird. Diesem Verfahren liegt das Prinzip einer Messung von Gradientenvektoren in Bezug auf die einzelnen Positionen der interpolierten Pixel zugrunde. Dies steht im Gegensatz zu dem möglichen alternativen Verfahren, bei dem festgestellt wird, wohin ein interpoliertes Pixel verlaufen sollte, das an Werte der "realen" (originalen) Pixel angepaßt ist. Diese Lösung kann zu Mehrdeutigkeiten führen. Mit anderen Worten, das angewendete Pronzio beinhaltet den Versuch, festzustellen, woher ein Pixel kommt, statt festzustellen, wohin es geht. Im einzelnen stellt das Verfahren für jede Abtastprobe das Maß an Übereinstimmung zwischen zwei Blöcken von N x M Abtastproben fest (worin N die Anzahl der Zeilen und M die Anzahl der Abtastproben bedeutet). Die beiden Blöcke sind in Bezug auf eine zu interpolierende Zeile in entgegengesetzten Richtungen vertikal gegeneinander versetzt. Außerdem sind die beiden Blöcke in Bezug auf eine vorbestimmte Abtastposition in der interpolierten Zeile in entgegengesetzten Richtungen horizontal gegeneinander versetzt. Die vorangehend erwähnte Feststellung des Grades (Maß) an Übereinstimmung wird für eine Mehrzahl unterschiedlicher horizontaler Versatzgrößen ausgeführt (die mehreren unterschiedlichen Gradientenvektoren entsprechen), so daß für jeden horizontalen Versatz ein Wert für das Maß der Übereinstimmung (das im folgenden als "Ausgleichswert" bezeichnet wird) erzeugt wird. Der maximale Ausgleichswert ergibt den minimalen Gradientenvektor, der dann für die Interpolation des in Rede stehenden Pixels ausgewählt wird.
  • Das Vorangehende sei nun unter Bezugnahme auf Fig. 5 für den Fall näher erläutert, daß zur Abschätzung des kleinsten Gradientenvektors für das zu interpolierende Pixel an der Position X ein Block mit N = 1 und M = 3 verwendet wird. Zunächst wird ein Block, der die Pixel A0 bis A2 enthält, mit einem Block verglichen, der die Pixel B10 bis B12 enthält. Und zwar werden die absoluten Pixel-Luminanzdifferenzen A0-B10 , A1-B11 und A2-B12 berechnet und dann einer Mittelwertbildung unterzogen. Da die Pixel A0 bis A2 schwarz und die Pixel B10 bis B12 weiß sind, ist das Ergebnis ein hohes absolutes Differenzsignal und deshalb ein hoher Gradientenvektor. Der Gradientenvektor ist in diesem Fall die Linie, die die Pixel A1 und B11 miteinander verbindet (und durch die Position X des interpolierten Pixels verläuft). Sodann wird ein Block, der die Pixel A1 bis A3 enthält, mit einem Block verglichen, der die Pixel B9 bis B11 enthält, sodann ein Block der die Pixel A2 bis A3 enthält, mit einem Block, der die Pixel B8 bis B10 enthält, und so weiter, bis schließlich ein Block, der die Pixel A10 bis A12 enthält, mit einem Block verglichen wird, der die Pixel B0 bis B2 enthält. Dabei ist es nicht nötig, die einzelnen Blockausgleichsvorgänge nacheinander auszuführen, wie dies oben nahegelegt wurde. Aus Gründen der verfügbaren Zeit wird man in der Praxis im allgemeinen vorzugsweise die Mehrfach-Blockausgleichsvorgänge gleichzeitig vornehmen. Derjenige Blockausgleichsvorgang, der den maximalen Ausgleichswert (und damit den minimalen Gradientenvektor) liefert, wird ausgewählt.
  • An dieser Stelle sollte erwähnt werden, daß die unterschiedlichen horizontalen Versatzgrößen zwischen den einzelnen miteinander verglichenen Blockpaaren in Verschiebungseinheiten gemessen werden kann, wobei die Verschiebung der horizontale Versatz (mit dem Pixelabstand als Einheit) jedes Blocks (in entgegengesetzten Richtungen) bedeutet, der auf die zentrale Position bezogen ist, in der die Blöcke in vertikaler Richtung fluchten (Verschiebung = 0). Man sieht, daß die Verschiebung im Fall von Fig. 5 von +5 (wenn die Blöcke in einer Richtung an entgegengesetzten Enden des Suchbereichs angeordnet sind, der auf die in Fig. 5 dargestellten Pixel begrenzt sein möge) bis -5 variieren kann (wenn die Blöcke in der entgegengesetzten Richtung an entgegengesetzten Enden des Suchbereichs angeordnet sind). Bei den in Fig. 5 eingerahmt dargestellten Blöcken beträgt die Verschiebung +3 (wobei die Verschiebung des unteren Blocks nach links (und des oberen Blocks nach rechts) willkürlich als positive und die Verschiebung der Blöcke in der entgegengesetzten Richtung als negative Verschiebung definiert wird).
  • Eine der ersten Überlegungen bei der Auswahl eines Blockausgleichsalgorithmus gilt der Größe des zu verwendenden Blocks. Bei Verwendung eines kleinen Fensters kann der Fall eintreten, daß die Blöcke bei mehr als einem Verschiebungswert ausgeglichen sind, so daß eine Unsicherheit bezüglich des korrekten minimalen Gradientenvektors auftreten kann (oder sogar der falsche Gradientenvektor ausgewählt werden kann). Ein Beispiel hierfür kann wieder aus Fig. 5 hergeleitet werden. Aus Fig. 5 geht unmittelbar hervor, daß die Luminanzwerte aller vertikal fluchtenden Abtastproben der beiden Halbbildzeilen gleich sind, so daß der korrekte minimale Gradientenvektor für die Pixelposition X der vertikale Gradientenvektor ist (Verschiebung = 0), d.h. der Vektor, der durch die Pixel A6 und B6 verläuft. Man erkennt in diesem Zusammenhang, daß der Block, der die Pixel A5 bis A7 enthält, mit dem Block, der die Pixel B5 bis B7 enthält, vollständig übereinstimmt, so daß diese Blöcke einen Ausgleichswert von 100% ergeben und damit eine gemittelte absolute Differenz mit dem Wert 0 und so (korrekt) einen Nullgradientenvektor. Dies würde (korrekt) zu der Erzeugung eines weißen Pixels an der Position X führen. Das gleiche gilt jedoch (völlig inkorrekt) für die (gerahmt dargestellten) Blöcke, die die Pixel A8 bis A10 bzw. B2 bis B4 enthalten, bei denen die Verschiebung +3 beträgt und der Gradientenvektor die Linie ist, die die Pixel A9 und B3 verbindet, was (völlig inkorrekt) zu der Erzeugung eines schwarzen Pixels an der Position X führen würde.
  • Dieses Problem läßt sich berherrschen, wenn ein größerer Block verwendet wird, z.B. ein Block mit der Größe N = 1 und M = 7, wie dies in Fig. 6 dargestellt ist. Man erkennt, daß in diesem Fall die (eingerahmt dargestellten größeren) Blöcke, die die gleiche Verschiebung (+3) haben wie die in Fig. 5 eingerahmt dargestellten Blöcke, keinen guten Ausgleich ergeben. In diesem Fall erzeugen nur die an den Pixeln A6 und B6 zentrierten Blöcke eine guten Ausgleich, so daß hier keine Mehrdeutigkeit bezüglich des minimalen Gradientenvektors vorliegt.
  • Die vorangehenden Ausführungen könnten den Anschein erwecken, daß der beste Lösungsansatz darin bestände, das größtmögliche Fenster zu verwenden. Die Erfinder halten dies jedoch nicht für die besten Lösung. Sie sind vielmehr der Auffassung, daß bei der Verwendung großer Fenster in Bereichen mit feinen Details kleine Pixelverschiebungen verlorengehen können. Deshalb ist bezüglich der Fenstergröße ein Kompromiß erforderlich. Statt jedoch einen einzigen Block mit einer einheitlichen Größe zu verwenden, die einen Kompromiß zwischen den Extremen eines falschen Ausgleichs (kleiner Block) und dem Verlust feiner Details (großer Block) ist, haben die Erfinder eine Methode ersonnen, bei der eine Mehrzahl von Blöcken unterschiedlicher Größe verwendet wird, so daß der erwähnte Kompromiß nicht notwendig ist. Und zwar wird der Verfahrensschritt der Bestimmung des Ausgleichswerts für wenigstens eine der horizontalen Versatzgrößen (Verschiebungen) für mehrere Blöcke mit jeweils unterschiedlichen Größen ausgeführt, und die resultierenden mehreren Ausgleichswerte für jeden horizontalen Versatz werden kombiniert, um für jeden horizontalen Versatz einen einzigen Ausgleichswert zu bilden, bevor der Verfahrensschritt des Auswählens des minimalen Gradientenvektors nach Maßgabe der Ausgleichswerte für die verschiedenen horizontalen Versatzwerte ausgeführt wird.
  • Im folgenden sei ein Problem beschrieben, das auftreten kann, wenn der Blockausgleich exakt so ausgeführt wird, wie dies oben dargestellt wurde. Aus einer sorgfältigen Betrachtung von Fig. 4 ist erkennbar, daß eine Verschiebung um ein einziges Pixel von einer Halbbildzeile zur anderen, d.h. dort, wo der minimale Gradient (der in diesem Fall nicht durch das Pixel X geht) von einem Pixel A zu einem Pixel B verläuft, nicht detektiert wird. Entlang dieses Gradienten findet kein Test statt, da er nicht durch die interpolierte Pixelposition X verläuft. Man betrachte als Beispiel die Bildkante in Fig. 7, in der ein Teil von drei aufeinanderfolgenden Zeilen eines Vollbilds eines digitalen Videosignals dargestellt ist. Die Rechtecke stellen Pixel in zwei aufeinanderfolgenden Zeilen einer Polarität (z.B. Zeilen des Halbbilds 0) dar, die Kreise der Pixel in der Zeile eines Halbbilds der entgegengesetzten Polarität, die zwischen den vorangehenden beiden Halbbildzeilen verschachtelt ist. Um dieses Problem lösen zu können, wird das digitale Videosignal in horizontaler Richtung "überabgetastet", d.h. es wird (mit Hilfe eines einfachen horizontalen Filters) eine horizontale Interpolation zwischen horizontal benachbarten Paaren von Abtastproben durchgeführt, um zwischen jedem dieser Paare ein interpoliertes Pixel im Abstand von einem halben Pixel zu erzeugen, wobei die interpolierten Pixel in die ursprünglichen Daten (Abtastdatenstrom) eingefügt werden, um so effektiv ein überabgetastetes Signal mit der doppelten Abtast- (Daten)-Rate des ursprünglichen Signals zu erzeugen. Der Blockausgleich wird dann zwischen den Abtastproben des überabgetasteten Signals durchgeführt (und nicht nur zwischen den Abtastproben des originalen Signals).
  • Fig. 8 zeigt eine ähnliche Anordnung wie Fig. 4, die jedoch durch die Einfügung der horizontal interpolierten Abtastproben in die beiden Halbbildzeilen modifiziert ist. Die zusätzlichen Abtastproben sind durch Rhomben dargestellt. Die Richtungen (Gradientenvektoren), für die der Test durchgeführt wird, sind alle fünf Richtungen von Fig. 4 plus die zusätzlichen vier, die durch die Pixelposition X und ein Paar der zusätzlichen (interpolierten) Abtastproben verlaufen. Einer dieser vier zusätzlichen Gradientenvektoren verläuft durch die bei C und D dargestellten zusätzlichen Pixel. Dieser Gradientenvektor liefert den besten Ausgleich. Dies bedeutet, daß die Anordnung mit Überabtastung im Gegensatz zu einer Anordnung ohne Überabtastung die Detektierung einer Verschiebung um ein einzelnes Pixel von einer Halbbildzeile zur nächsten erlaubt. Deshalb werden neun Gradientenvektoren getestet, die Verschiebungen (horizontalen Versatzwerte) von -4 bis +4 entsprechen.
  • Fig. 9 zeigt den ausgegebenen interpolierten Rahmen (progressiv abgetastetes Halbbild), das gewonnen wird, wenn das überabgetastete Signal von Fig. 8 räumlich interpoliert und dann durch "Unterabtastung" in die originale Datenrate zurückgewandelt wurde, indem die horizontal interpolierten Abtastproben entfernt und nur diejenigen Abtastproben belassen wurden, die in ihrer horizontalen Position den Abtastproben des originalen digitalen Videosignals entsprechen.
  • In den oben angegebenen Beispielen betrug die vertikale Ausdehnung oder Größe der abgeglichenen Blöcke in allen Fällen nur eine Zeile, d.h. N = 1, und die Blöcke waren vertikal (um eine Zeile) in entgegengesetzten Richtungen in Bezug auf die zu interpolierende Zeile gegeneinander versetzt. Wie oben erwähnt wurde, kann N jedoch größer als 1 sein, vorausgesetzt, daß die Blöcke in Bezug auf die zu interpolierende Zeile in entgegengesetzten Richtungen vertikal gegeneinander versetzt bleiben.
  • Bei der bevorzugten Methode, bei der die Erfindung verkörpert ist, werden in der Tat vorzugsweise Blöcke benutzt, bei denen N = 3 ist (d.h. Blöcke mit einer vertikalen Ausdehnung von drei Zeilen).
  • Im folgenden sei nun das bevorzugte Verfahren, in welchem die Erfindung verkörpert ist, näher erläutert.
  • Zunächst werden die ankommenden Daten (digitales Videosignal) in der oben beschriebenen Weise horizontal überabgetastet, um die horizontale Datenrate um den Faktor 2 zu vergrößern, so daß Versatzwerte von einem halben Pixel berechnet werden können.
  • Für jede Abtastprobe wird dann das überabgetastete Signal dem oben beschriebenen Blockausgleich unterzogen. Und zwar wird für wenigstens einige der neun Verschiebungen von -4 bis +4 ein Blockausgleich für mehrere Fenster unterschiedlicher Größe durchgeführt, insbesondere für Fenster der Größe N x M=3 x 9, 3 x 7, 3 x 5 und 3 x 3. Für jede Blockgröße und für jede Verschiebung werden die absoluten Differenzen zwischen den betreffenden Abtastproben der beiden Blöcke berechnet. Die gemittelten Differenzwerte für jede Verschiebung und jede Blockgröße werden auf die Fenstergröße normiert, um für jede Verschiebung eine normierte absolute Differenz (NAD) zu erzeugen. Die NADs für jede Verschiebung werden einer Mittelwertbildung unterzogen, um für jede Verschiebung eine gemittelte NAD zu erzeugen.
  • Die für die einzelnen Fenstergrößen zulässigen Verschiebungen entsprechen der Formel -M/2 ≤ Verschiebung ≤ +M/2.
  • Der Gradientenvektor, der derjenigen Verschiebung zugeordnet ist, die die kleinste durchschnittliche NAD (d.h. den besten Blockausgleichswert) liefert, wird als der zur Verwendung für die laufende interpolierte Abtastposition geeignete Gradientenvektor ausgewählt, und es findet eine räumliche Interpolation einer interpolierten Abtastprobe statt. Dies geschieht mit Hilfe eines räumlichen Interpolators (Filters), das durch den ausgewählten Gradientenvektor "gesteuert", d.h. so konfiguriert wird, daß es eine räumliche Filterung in einer Richtung ausführt, die dem ausgewählten Gradientenvektor entspricht.
  • Es sei erwähnt, daß der ausgewählte Gradientenvektor unter bestimmten Umständen fehlerhaft sein kann, wobei dieser Fehler in dem Bild sichtbar sein könnte. Um einen solchen isolierten fehlerhaften Gradientenvektor zu unterdrücken, kann man die Sequenz der durch den oben beschriebenen Auswahlvorgang erzeugten Gradientenvektoren über ein Tiefpaßfilter, z.B. über ein zweidimensionales Filter mit endlicher Impulsantwort (2D-FIR-Filter) führen, so daß jeder Gradientenvektor, der dem räumlichen Interpolator zugeführt wird, eine gewichtete Summe eines räumlichen Feldes (Array) von Gradientenvektoren darstellt und irgendwelche Fehler unterdrückt, d.h. verringert oder eliminiert, werden.
  • Es kann nun vorkommen, daß selbst dann, wenn die ausgewählten Gradientenvektoren mit Hilfe eines Tiefpaßfilters in der beschriebenen Weise verarbeitet wurden, die räumliche Interpolation gelegentlich eine fehlerhafte interpolierte Abtastprobe liefert, die zu einem in dem Bild sichtbar werdengen Punktfehler führt. Die Möglichkeit für das Auftreten solcher Fehler kann reduziert oder eliminiert werden, indem jede interpolierte Abtastprobe getestet wird, um festzustellen, ob sie einen Wert besitzt, der vernünftigerweise erwartet werden kann. Dies geschieht dadurch, daß man ihn mit den Werten der horizontal benachbarten interpolierten Abtastproben vergleicht, d.h. mit den ausgegebenen Abtastproben der gleichen interpolierten Zeile. Dies kann in der im folgenden anhand von Fig. 10 beschriebenen Weise geschehen.
  • Der Prädiktionsvorgang, mit dem festgestellt werden soll, ob der tatsächliche Wert jeder interpolierten Abtastprobe X in die ihn in horizontaler Richtung umgebenden Abtastproben "paßt", bedient sich der Differenz zwischen den Werten der beiden vorhergehenden Abtastproben X-2 und X-1, um durch lineare Extrapolation einen Vorhersagewert X' für das Pixel X zu berechnen. Das gleiche geschieht mit den Werten der beiden folgenden Abtastproben X+1 und X+2, um einen Vorhersagewert X" zu berechnen. Der Mittelwert der errechneten (prädizierten) Werte X' und X" kann als Erwartungswert (Prädiktionswert) für die Abtastprobe X verwendet werden. Falls der tatsächliche Wert der Abtastprobe X nicht in einem Bereich R liegt, der durch den Vorhersagewert bestimmt wird (dieser Bereich R ist in Fig. 10 als der durch die Werte X' und X" begrenzte Bereich dargestellt, der jedoch auch größer sein kann) wird der tatsächliche Wert zurückgewiesen. Der tatsächliche Wert kann durch eine Abtastprobe ersetzt (oder mit dieser gemischt) werden, die durch vertikale Filterung (Interpolation) zwischen geeignet angeordneten Abtastproben des digitalen Videosignals erzeugt wird. Das oben beschriebene Verfahren kann für die räumliche Interpolation eines progressiv abgetasteten Halbbilds insgesamt verwendet werden. Da die zeitliche Filterung bekanntlich jedoch in statischen Bildbereichen (wie oben erwähnt) in der Regel befriedigende Resultate liefert, ist es möglich, die oben beschriebene Methode mit einer Anordnung zur zeitlichen Filterung zu kombinieren. In diesem Fall kann der lokale Bewegungsgrad des durch das digitale Videosignal repräsentierten Bildes durch (an sich bekannte) Bewegungssensormittel erfaßt werden. Es kann ein zeitliches Filter vorgesehen sein und, falls der Bewegungsgrad unter einem vorbestimmten Wert liegt, können die in der oben beschriebenen Weise erzeugten interpolierten Abtastproben durch Abtastproben ersetzt oder mit diesen gemischt) werden, die von dem zeitlichen Filter erzeugt werden.
  • Im folgenden sei eine Vorrichtung zur Durchführung des oben beschriebenen bevorzugten Verfahrens gemäß der Erfindung beschrieben. Die Vorrichtung ist in Fig. 11 als Blockschaltbild dargestellt. Ein digitales Videosignal aus verschachtelten Halbbildern in Form von 8-Bit- Luminanzdaten (Abtastproben) wird über einen Bus 10 einem Überabtaster 11 zugeführt, in dem es in der oben beschriebenen Weise überabgetastet wird, um (wie oben beschrieben) auf einem Bus 12 ein überabgetastetes Signal zu erzeugen, das die doppelte Abtastproben- oder Datenrate besitzt. Drei Zeilenverzögerungsschaltungen 14, 16 und 18 sind hintereinander (in Tandemschaltung) wie dargestellt mit dem Bus 12 verbunden. Infolgedessen befinden sich auf dem Bus 12 und auf Bussen 20, 22 bzw. 24 (die mit den Ausgängen der Zei- lenverzögerungsschaltungen 14, 16 bzw. 18 verbunden sind) in einem gegebenen Zeitpunkt überabgetastete Signale, die vier aufeinanderfolgenden Zeilen eines Halbbildes entsprechen.
  • Die Busse 12, 20, 22 und 24 sind mit entsprechenden Eingängen jedes von neun Verschiebungsdetektoren (Blockausgleichsschaltungen) SD(-4) bis SD(+4) verbunden. Obwohl es wegen der vereinfachten Darstellung in Fig. 11 den Anschein hat, als ob die Verschiebungsdetektoren SD(-4) bis SD(+4) in Kaskade geschaltet sind, sei darauf hingewiesen, daß die vier Eingänge jedes Verschiebungsdetektors direkt mit den entsprechenden Bussen 12, 20, 22 und 24 verbunden sind, so daß alle Verschiebungsdetektoren parallel arbeiten.
  • Wie weiter unten näher beschrieben wird, führt jeder der Verschiebungsdetektoren SD(-4) bis SD(+4) die oben beschriebene Blockausgleichsoperation für jeweils einen der Verschiebungswerte (horizontaler Versatz) -4 bis +4 aus. Jeder dieser Verschiebungsdetektoren SD(-4) bis SD(+4) führt für die zugehörige Verschiebung einen Blockausgleich für wenigstens einen der Blöcke durch, in denen N x M=3 x 9, 3 x 7, 3 x 5 und 3 x 3 ist, berechnet die absolute Differenz zwischen den betreffenden Abtastproben der zwei Blöcke für jede Blockgröße, normiert die absoluten Differenzwerte auf die betreffenden Blockgrößen, um einen normierten Absolutdifferenzwert (NAD) zu erzeugen und bildet den Mittelwert der NADS, um eine gemittelte NAD für die zugehörige Verschiebung zu erzeugen.
  • Die gemittelten NADS aus den neun Verschiebungsdetektoren SD(-4) bis SD(+4) werden einem Wähler 26 zur Auswahl der kleinsten Verschiebung zugeführt, der, wie oben beschrieben, denjenigen der mit den neun Verschiebungen verknüpften neun Gradientenvektoren auswählt, der der Verschiebung mit der kleinsten gemittelten NAD zugeordnet ist.
  • Der ausgewählte Gradientenvektor wird an ein Vektorfilter (Tiefpaßfilter) 28 ausgegeben, das in der oben beschriebenen Weise störende Fehler in der Sequenz der ausgewählten Gradientenvektoren unterdrückt.
  • Die Busse 12, 20, 22 und 24 sind über entsprechende entzerrende Verzögerungsschaltungen 30, 32, 34 und 36 (die für die AUfrechterhaltung der korrekten zeitlichen Relation zwischen Eingang und Ausgang sorgen) mit entsprechenden variablen Abtastwert-Verzögerungsschaltungen 38, 40, 42 und 44 verbunden. Die Schaltungen 38 und 44 können eine Verzögerung von 0 bis 24 Abtastproben erzeugen, die Schaltungen 40 und 42 eine Verzögerung von 0 bis 8 Abtastproben. Die Ausgänge der variablen Abtastwert-Verzögerungsschaltungen 38, 40, 42 und 44 sind mit entsprechenden Eingängen eines vertikalen Interpolationsfilters 46 mit vier Abgriffen verbunden, das in an sich bekannter Weise vier Multiplizierer aufweist, die die vier Eingangssignale mit entsprechenden Gewichtungskoeffizienten multiplizieren, sowie mit Mitteln zur Summierung der Ausgangssignale der Multiplizierer zur Erzeugung einer Ausgangs-Abtastprobe.
  • Für den einschlägigen Fachmann ist es ohne weiteres erkennbar, daß das vertikale Interpo- lationsfilter 46 in Verbindung mit den Zeilenverzögerungsschaltungen 14, 16 und 18 und den variablen Abtastwert-Verzögerungsschaltungen als räumliches Interpolationsfilter mit variabler Richtung (Gradient) wirkt, das zwischen Abtastproben der vier überabgetasteten Zeilen des digitalen Videosignals auf den Bussen 12, 20, 22 und 24 räumlich interpoliert, um Abtastproben einer interpolierten Zeile zu erzeugen, die in der Mitte zwischen den durch die Abtastproben auf den Bussen 22 und 24 repräsentierten Zeilen liegt. Außerdem wird für jede Abtastprobe die Richtung (der Gradient) der räumlichen Interpolation durch die Werte bestimmt, die für die Anzahl der in den Variablen Abtastproben-Verzögerungsschaltungen 38, 40, 42 und 44 ausgewählten Abtastproben-Verzögerungen ausgewählt wurden, wobei neun verschiedene Gradienten (die Verschiebungen von -4 bis +4 entsprechen) ausgewählt werden können.
  • Das Verständnis hierfür wird durch eine Betrachtung von Fig. 12 erleichtert, in der 25 Punkte sowohl in der oberen als auch in der unteren Zeile die Positionen (in diesem Fall jedoch nicht die Werte) von Pixeln der Zeilen auf den Bussen 12 bzw. 24 repräsentieren. Die neun Punkte in jeder der beiden Zeilen zwischen der oberen und der unteren Zeile repräsentieren Pixel der Zeilen auf den Bussen 20 und 22. Die gestrichelte Linie repräsentiert eine interpolierte Zeile, und X repräsentiert die Position der zu interpolierenden Abtastprobe. Von den neun möglichen Gradientenvektoren sind in Fig. 12 nur drei dargestellt (nämlich die beiden extremen Gradientenvektoren (Verschiebungen von +4 und -4) und der zentrale (vertikale) Gradientenvektor (Verschiebung 0)). Aus Fig. 12 ist auch erkennbar, warum die variablen Abtastproben-Verzögerungsschaltungen 38 und 44 eine Verzögerung von 0 bis 24 Abtastproben und die variablen Abtastproben-Verzögerungsschaltungen 40 und 42 eine Verzögerung von 0 bis 8 Abtastproben haben müssen. Um einen der extremen Gradientenvektoren (das sind diejenigen, die den Verschiebungen von +4 bis -4 entsprechen) zu gewinnen, müssen die Schaltungen 38, 40, 42 und 44 auf Abtastproben-Verzögerungen von 0, 0, 8 bzw. 24 gesetzt werden müssen, während zur Gewinnung der anderen extremen Gradientenvektoren die Schaltungen 38, 40, 42 und 44 auf Abtastproben-Verzögerungen von 24, 8, 0 bzw. 0 gesetzt werden müssen. Zur Umschaltung zwischen den neun verschiedenen Gradientenvektoren müssen die Schaltungen 40 und 42 in Verzögerungsinkrementen von einer Abtastprobe umgeschaltet werden, während die Schaltungen 38 und 44 in Verzögerungsinkrementen von 3 Abtastproben umgeschaltet werden müssen.
  • Die Abtastproben-Verzögerungsschaltungen 38, 40, 42 und 44 werden nach Maßgabe des ausgewählten Gradientenvektors, der ihnen von dem Wähler 26 über das Filter 28 zugeführt wird, zwischen den neun verschiedenen Gradientenvektoren umgeschaltet. (Die Mittel zum Umschalten der Abtastproben-Verzögerungsschaltungen 38, 40, 42 und 44, deren Aufbau keiner Erläuterung bedarf, sind nicht dargestellt). Am Ausgang des Filters 46 wird auf einem Bus 48 eine Reihe von Abtastproben einer Zeile erzeugt, die zwischen den Zeilen interpoliert ist, die gerade auf den Bussen 20 und 22 vorhanden sind, wobei jede dieser Abtastproben räumlich in einer hierzu geeigneten Richtung interpoliert ist, die durch einen ausgewählten Gradientenvektor bestimmt wird, der von den Verschiebungsdetektoren (Blockausgleichschaltungen) SD(-4) bis SD(+4) und den Wähler 26 erzeugt wird.
  • Da die Zeilen auf den Bussen 12, 20, 22 und 24 überabgetastet sind, ist auch die auf dem Bus 48 erzeugte interpolierte Zeile überabgetastet. Deshalb ist der Bus 48 mit einem Unterabtaster 50 verbunden, der die ausgegebene interpolierte Zeile, wie oben beschrieben, in die Eingangsdatenrate zurückwandelt, indem er die horizontal interpolierten (im Sub-Pixel- Abstand angeordneten) Abtastproben entfernt und nur diejenigen Abtastproben beläßt, die in ihrer horizontalen Position den Abtastproben des digitalen Eingangsvideosignals entsprechen.
  • Das unterabgetastete Ausgangssignal des Unterabtasters 50 wird über einen Bus 52 einem Eingang eines Mischers zugeführt, der aus einem Ratioelement 54, einem Ratioelement 56 und einer Summierschaltung 58 besteht. Der Bus 10, der das digitale Eingangsvideosignal trägt, ist über eine entzerrende Verzögerungsschaltung 60, einen vertikalen Interpolator (Filter) 62 und einen Bus 64 mit einem anderen Eingang des Mischers verbunden. Ein horizontaler Prädiktor 66 überwacht das Signal auf dem Bus 52 und mischt das variable räumlich interpolierte Signal auf dem Bus 52 und das vertikal interpolierte Signal auf dem Bus 64, indem er an das Ratioelement 54 ein Ratiosignal M (nicht größer als 1) und an das Ratioelement 56 ein Ratiosignal (1-M) anlegt. Der horizontale Prädiktor 66 arbeitet in der oben anhand von Fig. 10 beschriebenen Weise. Falls der Wert einer von dem Unterabtaster 50 ausgegebenen räumlich interpolierten Abtastprobe innerhalb des Prädiktionsbereichs M liegt, wird M auf 1 gesetzt, und diese Abtastprobe erscheint auf einem Bus 68, der mit einem Ausgang des Mischers, und zwar mit dem Ausgang der Summierschaltung 58 verbunden ist. Falls der Wert einer räumlich interpolierten Abtastprobe aus dem Unterabtaster 50 jedoch außerhalb des Prädiktionsbereichs R liegt, wird M auf 0 gesetzt, und dem Bus 68 wird eine vertikal interpolierte Abtastprobe aus dem vertikalen Interpolierer 62 zugeführt.
  • Der oben beschriebene Mischer könnte, wie aus der vorangehenden Beschreibung hervorgeht, durch einen Schalter ersetzt werden. Die Verwendung eines Mischers ist jedoch zu bevorzugen, da sie die Möglichkeit von sichtbaren Schaltspuren verringert. In dieser Hinsicht eröffnet ein Mischer die Möglichkeit eines langsamen Überblendens zwischen den räumlich und vertikal interpolierten Signalen für den Fall, daß der horizontale Prädiktor 66 wirksam wird, indem er den Wert von M über mehrere Abtastproben allmählich von 1 auf 0 (oder umgekehrt) ändert. Außerdem bietet ein Mischer die Möglichkeit, z.B. proportionale Anteile der beiden Signale zu mischen durch Steuerung des Wertes von M auf einen mittleren Wert zwischen 0 und 1, z.B. in Abhängigkeit von der Relation zwischen dem tatsächlichen und dem vorhergesagten Wert der einzelnen räumlich interpolierten Abtastproben, die von dem Unterabtaster 50 ausgegeben werden.
  • Die auf dem Bus 68 erzeugten interpolierten Zeilen werden dann (durch nicht dargestellte Mittel) mit den Zeilen verschachtelt, aus denen sie interpoliert wurden, um auf diese Weise ein sequentiell abgetastetes Halbbild zu erzeugen.
  • Eine mögliche Form der Implementierung des horizontalen Prädiktors 66 ist in Fig. 13 dargestellt. Vier Abtastwert-Verzögerungsschaltungen 7, 72, 74 und 76 sind so hintereinander geschaltet, daß die Abtastproben (X + 2), (X + 1), X, (X - 1) und (X - 2) dort verfügbar sind, wo sie dargestellt sind. Der (tatsächliche) Wert von X wird an einen Eingang eines programmierbaren Nur-Lese-Speichers (PROM) 78 gegeben, der so programmiert ist, daß er in Abhängigkeit von der Beziehung zwischen den tatsächlichen und präditierten Werten von X Werte von M (und (1 - M)) erzeugt. Multiplizierer 80, 82, 84 und 86 und Summierelemente 88, 90 und 92 sind in der dargestellten Weise angeordnet, um den Prädiktionswert für X zu erzeugen und dem PROM 78 zuzuführen. Die an den Multiplizierern anliegenen Gewichtungskoeffizienten sind (wie dargestellt) so gewählt, daß ein Prädiktionswert erzeugt wird, der gleich ((X - 1) - (X 2)/2) + ((X + 1) - (X + 2)/2)ist.
  • Im folgenden seien die Verschiebungsdetektoren (Blockausgleichsschaltungen) SD(-4) bis SD(+4) näher beschrieben. Fig. 14 zeigt das Blockdiagramm eines als SD(n) bezeichneten Verschiebungsdetektors. Dieser Verschiebungsdetektor SD(n) besteht aus drei gleichen Teilen. Der obere dieser drei Teile, der zwischen den Bussen 12 und 20 angeordnet ist, enthält ein Summierelement 100 mit einem (+)-Eingang, der mit dem Bus 12 verbunden ist, und einem (-)-Eingang, der über eine P-Abtastwert-Verzögerungsschaltung 102 mit dem Bus 20 verbunden ist. (In Wirklichkeit ist bei einigen der Verschiebungsdetektoren die Verzögerungsschaltung 102, wie unten erläutert, zwischen dem (+)-Eingang der Summierschaltung 100 und dem Bus 12 angeordnet). Da jede von Null verschiedene Verschiebung das Verschieben beider Blöcke (in entgegengesetzten Richtungen) von der Null-Verschiebungs-Position bedingt, muß der Wert von P doppelt so groß sein wie die Verschiebung. Oder mit anderen Worten, die Verschiebung ist gleich P/2.
  • Ein Ausgang der Summierschaltung 100 ist mit einem Filter 104 mit neun Abgriffen verbunden. Dieses Filter 104 umfaßt in an sich bekannter Weise acht (nicht dargestellte) Abtastproben-Verzögerungsschaltungen, die die geforderten neun Abgriffe ergeben. Die neun Abgriffe sind mit entsprechenden (nicht dargestellten) Multiplizierern verbunden, denen entsprechende Gewichtungskoeffizienten zugeführt werden. Die Ausgangssignale der Multiplizierer werden addiert, um das Ausgangssignal des Filters zu gewinnen, das zu einem Multiplizierer 106 gelangt, dem ein Gewichtungskoeffizient WO zugeführt wird.
  • Die anderen beiden Teile des Verschiebungsdetektors SD(n) haben im wesentlichen den gleichen Aufbau wie der obere Teil und brauchen deshalb nicht näher beschrieben zu werden. Die Komponenten des zwischen den Bussen 20 und 22 angeordneten Teils sind mit den gleichen Bezugszeichen versehen wie in dem oberen Teil, wobei jedoch ein Apostrophenzeichen angefügt ist, und die Komponenten des zwischen den Bussen 22 und 24 angeordneten Teils sind ebenfalls mit den gleichen Bezugszeichen versehen, wie in dem oberen Teil, wobei jedoch doppelte Apostrophenzeichen angefügt sind.
  • Die Ausgänge der Multiplizierer 106, 106' und 106" sind mit entsprechenden Eingängen eines Summierelements 108 verbunden, dessen Ausgang den Ausgang des Verschiebungsdetektors SD(n) bildet und, wie in Fig. 11 dargestellt, mit einem entsprechenden Eingang des Wählers 26 verbunden ist.
  • Den Multiplizierern 106, 106' und 106" werden jeweils unterschiedliche Gewichtungskoeffizienten W0, W1 und W2 zugeführt. Dadurch kann die Wirkung geändert werden, die jede der drei Zeilen, über die die absoluten Differenzen zu berechnen sind, auf das Ergebnis hat. Falls eine solche Änderung nicht gefordert wird, können die Multiplizierer 106, 106' und 106" entfallen und die Ausgänge der Filter 104, 104' und 104" direkt mit dem Summierelement 108 verbunden sein.
  • Die absoluten Differenzen zwischen den Pixeln in den beiden auszugleichenden Blöcken werden von den Summierelementen 100, 100' und 100" berechnet. (Es kann wünschenswert sein, in dieser Stufe ein (nicht dargestelltes) PROM vorzusehen, um ein "Größen"-Ausgangssignal zu erzeugen). Jede Verschiebung (und damit jeder Gradientenvektor), die analysiert wird, erfordert einen anderen Wert für die P-Abtastproben-Verzögerungsschaltungen 102, 102' und 102", die vor den (-2)-Eingängen (oder den (+)-Eingängen) der Summierelemente 100, 100' und 100" eingefügt sind. (In jedem der Verschiebungsdetektoren SD(n) ist der Wert von P in jeder der drei Schaltungen 102, 102' und 102" der gleiche). Die Werte für die verschiedenen Verschiebungsdetektoren SD(n) sind in der folgenden Tabelle angegeben. Ort der Verschiebung Verschiebung Verzögerung (P) an (-)-Eingang an (+)-Eingang (Verzögerung an keinem Eingang)
  • Jedes der Filter 104, 104' und 104" mit neun Abgriffen summiert die Pixel-Differenzwerte aus dem zugehörigen Summierelement 100, 100' und 100" und skaliert (gewichtet) sie dann in geeigneter Weise, wie dies weiter unten erläutert wird. Nach der Summierung in dem Summierelement 108 wird eine 8-Bit-Zahl erzeugt, die effektiv die normierte absolute Differenz (NAD) für einen oder mehrere der vier Blockgrößen (N x M = 3 x 3, 3 x 5, 3 x 7 und 3 x 9) darstellt, die für die spezielle Verschiebung verwendet wird, die zu dem speziellen Verschiebungsdetektor SD(n) gehört.
  • Der von den Verschiebungsdetektoren SD(n) durchgeführte Blockausgleichsvorgang wird durch die Betrachtung von Fig. 15 leichter verständlich. In dieser stellen die (mit 0 bis 16 bezeichneten) 17 Punkte in den vier betreffenden Zeilen die Positionen (in diesem Fall jedoch nicht die Werte) von Pixeln auf den Bussen 12, 20, 22 bzw. 24 dar. Die gestrichelte Linie stellt die zu interpolierende Zeile dar und X die Position der zu interpolierenden Abtastprobe. Für den Fall einer Verschiebung der Größe +4 und eines 3 x 9-Blocks sind die beiden auszugleichenden Blöcke umrahmt dargestellt. Falls die Pixel der Zeilen auf den Bussen 12 und 20 mit A und B bezeichnet werden, muß der obere Teil des Verschiebungsdetektors SD(-4) in diesem Fall neun absolute Differenzen bilden: A8 - B0 , Ag - B 1 , A10 - B2 , A11 - B3 , A12 - B4 , A13 - B5 , A14 - B6 , A15 - B7 und A16 - B8 . Er muß diese Differenzen dann summieren und durch die Summe 27 (= 3 x 9) dividieren, um sie für die Blockgröße zu normieren. (Der mittlere und der untere Teil des Verschiebungsdetektors SD(-4) führen ähnliche Operationen für die Zeilen auf den Bussen 20, 22 bzw. 22, 24 aus). Nach der oben erwähnten Formel (-M/2 ≤ Verschiebung ≤ +M/2), die sich auf die Verschiebung und die Blockgröße bezieht, werden im Fall der maximalen Verschiebung (±4) nur der 3 x 9- Block (und nicht die kleineren Blöcke) abgeglichen. Für die kleineren Verschiebungen müssen jedoch Blöcke unterschiedlicher Größe abgeglichen werden. Zunächst scheint notwendig, für jede Blockgröße die in Fig. 14 dargestellte Schaltung vorzusehen. Dies ist in Wirklichkeit jedoch nicht erforderlich, weil auf die kleineren Blöcke durch Verwendung einer Untergruppe (7, 5 oder 3) der Abgriffe der Filter 104, 104' und 104" mit neun Abgriffen zugegriffen werden kann, da die Zeilenzahl N in dem Block, d.h. die vertikale Ausdehnung des Blockes, für alle Blockgrößen gleich (3) ist. D.h., alle Blöcke unterschiedlicher Größe können mit Hilfe der gleichen Schaltung durch geeignete Gewichtung der Abgriffe der Filter 104, 104' und 104" mit neun Abgriffen abgeglichen (und die Mittelwerte ihrer NADS ermittelt) werden.
  • Die für die einzelnen unterschiedlichen Verschiebungsdetektoren SD(n) zu bildenden absoluten Differenzen werden begrifflich durch die unten angegebenen Gleichungen definiert, in denen vier Ausdrücke bei der Verschiebung 0 und 1 jeweils den Ausgleich über alle vier Blockgrößen (3 x 3, 3 x 5, 3 x 7 und 3 x 9), die drei Ausdrücke in Verschiebung 2 jeweils den Ausgleich über die Blockgrößen 3 x 5, 3 x 7 und 3 x 9, die beiden Ausdrücke in Verschiebung 3 jeweils den Ausgleich über die Blockgrößen 3 x 7 und 3 x 9 und wie oben erläutert, der einzige Term in Verschiebung 4 den Ausgleich über die Blockgröße 3 x 9 allein repräsentieren. Die Blockgröße, auf die sich jeder Term bezieht, ist durch den Bruch am Beginn des Terms erkennbar, da die Multiplikation mit 1/9, 1/15, 1/21 und 1/27 die Normierung der folgenden absoluten Differenzsumme für Blöcke der Größe 3 x 3 (= 9), 3 x 5 (= 15), 3 x 7 (= 21) bzw. 3 x 9 (= 27) impliziert. Verschiebung 0: (P=0) Verschiebung +1: (P=2) Verschiebung +2: (P=4) Verschiebung +3: (P=6) Verschiebung +4: (P=8)
  • Die obigen Gleichungen können wesentlich vereinfacht werden, wenn man gleiche absolute Differenzen, die in verschiedenen Termen erscheinen, kombiniert. Man gewinnt dann die folgenden Gleichungen: Verschiebung 0: Verschiebung +1: Verschiebung +2: Verschiebung +3: Verschiebung +4:
  • Die vorangehend angegebenen Gleichungen wurden für den oberen der drei Teile jedes der Verschiebungsdetektoren SD(0) bis SD(+4) abgeleitet, d.h. für diejenigen Teile, die die absoluten Differenzen für die oberen Zeilen der Blöcke für Verschiebungen von 0 bis +4 bilden. Da die von dem mittleren und unteren Teil (an den mittleren und unteren Zeilen des Blocks) ausgeführten Operationen die gleichen sind, gelten die Gleichungen auch für diese Teile. (D.h. diese Teile können den gleichen Aufbau haben wie der obere Teil). Weiterhin sind die Gleichungen für die Verschiebungen von -1 bis -4 mit denjenigen für +1 bis +4 identisch, mit der Ausnahme, daß jeder "A"-Term zu einem "B"-Term wird und umgekehrt. D.h., aus " A7 - B5 " wird " B7 - A5 ".
  • Auf diese Weise können die gemittelten NADS von den Verschiebungsdetektoren SD(n) erzeugt werden, indem die Filter 104, 104' und 104" mit neun Abgriffen entsprechend den oben angegebenen Gleichungen 50 konstruiert werden, daß die geeigneten absoluten Differenzen (die von den Abtastproben-Verzögerungsschaltungen 102, 102' und 102" erzeugt werden) aufgenommen und zusammenaddiert werden.
  • Jeder Verschiebungsdetektor SD(n) erzeugt so eine 8-Bit-Zahl, die die gemittelte NAD für den betreffenden Verschiebungswert für die jeweiligen unterschiedlichen Blockgrößen darstellt. So ist der Wähler 26 mit neun 8-Bit-Zahlen (Maximalwert 255) dargestellt, die jeweils die gemittelte NAD für ein bestimmtes Exemplar der neun Verschiebungen (-4 bis +4) repräsentieren. Der Wähler 26 vergleicht diese neuen Zahlen miteinander, bis er die kleinste Zahl ermittelt und so feststellt, welcher Verschiebungswert den besten Ausgleich liefert. Er ordnet dann dem Gradientenvektor einen Wert von -4 bis +4 zu und erzeugt in Abhängigkeit von dieser Verschiebung den kleinsten absoluten Differenzwert, d.h. den besten Ausgleich.
  • Oben wurde erläutert, daß die in Fig. 11 dargestellte Vorrichtung Luminanzwerte bearbeitet. Die Luminanzwerte können selbstverständlich aus einem Farbsignalgemisch abgetrennt werden. In diesem Fall erhebt sich die Frage, was mit der Chrominanzkomponente geschehen soll. Hier ergeben sich verschiedene Möglichkeiten. Die Chrominanzkomponente könnte einfach ignoriert (d.h. nicht interpoliert) werden oder sie könnte, weil sie der Luminanzkomponente folgen sollte, nur einer vertikalen Interpolation oder einer räumlichen Interpolation in mehreren Richtungen unterzogen werden, wobei die gleichen Gradientenvektoren verwendet werden, wie sie (durch die oben beschriebene Vorrichtung) für die Luminanzkomponente erzeugt werden. Es wäre jedoch auch möglich, die Luminanz- und Chrominanzkomponenten jeweils getrennt in einer von zwei Vorrichtungen der oben beschriebenen Art zu behandeln.
  • Im Falle eines Komponentenfarbsignals, z.B. eines in R/G/B- oder Y/U/V-Komponenten dekodierten Signalgemisches, wäre es möglich, jede Komponente getrennt in jeweils einer von drei Vorrichtungen der oben beschriebenen Art zu behandeln.
  • Es wurde oben erwähnt, daß es möglich ist, eine lokale Bildbewegung zu erfassen und in statischen Bildbereichen zeitliche Filterung zu benutzen. Eine Modifizierung der Vorrichtung von Fig. 11, die dies ermöglicht, ist in Fig. 16 dargestellt. Das digitale Eingangsvideosignal für die räumliche Interpolationsvorrichtung von Fig. 11 auf dem Bus 10 wird auch einem zeitlichen Filter 110 (das wenigstens einen Halbbildspeicher enthält) und einem lokalen Bewegungsdetektor 112 zugeführt. Der von dem Ausgang der räumlichen Interpolationsvorrichtung kommende Bus 68 ist mit einem Eingang einer Vorrichtung 114 verbunden, die ein Schalter sein kann oder ein Mischer (der beispielsweise ähnlich aufgebaut ist, wie der von den Komponenten 54, 56 und 58 in Fig. 11 gebildete Mischer). Ein Ausgangsbus 116 verbindet das zeitliche Filter 110 mit einem anderen Eingang der Vorrichtung 114. Auf einem Bus 118 wird ein gemischtes oder geschaltetes Ausgangssignal erzeugt. Das Signal auf dem Bus 118 könnte, wie oben erwähnt, im wesentlichen ganz aus einem räumlich interpolierten Signal in bewegten Bildbereichen und im wesentlichen ganz aus einem zeitlich interpolierten (gefilterten) Signal in statischen Bildbereichen bestehen, obwohl es auch möglich wäre, die beiden Signale in entsprechenden proportionalen Anteilen über einen Teil eines Bildbereichs oder den ganzen Bildbereich zu mischen.
  • Es sind verschiedene Änderungen der oben beschriebenen Vorrichtung möglich. So könnte beispielsweise die Unterabtastung im Prinzip vor der räumlichen Interpolation erfolgen, obwohl die Unterabtastung in der beschriebenen Anordnung nach der räumlichen Interpolation durchgeführt wird. Es ist günstig, so vorzugehen, weil aus den Zeilenverzögerungsschaltungen überabgetastete Signale zur Verfügung stehen, die mehreren Zeilen entsprechen.
  • Ferner ist es möglich, anstelle eines Filters mit vier Abgriffen, das für die räumliche Interpolation verwendet wird, ein Filter mit zwei Abgriffen zu verwenden. Vorzugsweise werden jedoch so viele Abgriffe wie möglich verwendet, um größere Genauigkeit bei der Interpolation zu erreichen.
  • In der oben beschriebenen Anordnung wurden Tests in neun Gradientenvektorrichtungen durchgeführt. Es könnte jedoch eine kleinere oder größere Anzahl von Richtungen verwendet werden. Im allgemeinen sind die Ergebnisse, vorbehaltlich der vom Design und der Wirtschaftlichkeit auferlegten Zwänge, um so besser, je größer die Anzahl der Richtungen ist, da eine Vergrößerung der Anzahl der Richtungen auch eine Detektierung von flacher verlaufenden Kanten erlaubt.
  • Es sei auch erwähnt, daß es möglich ist, die Überabtastung auszudehnen und mehr als eine zwischen liegende (interpolierte) Abtastprobe zwischen benachbarten Paaren von Abtastproben des originalen digitalen Videosignals zu gewinnen, was eine größere Genauigkeit bei den Sub-Pixel-Verschiebungen zwischen den Zeilen erlaubt.

Claims (20)

1. Verfahren zur räumlichen Interpolation zwischen Zeilen eines digitalen Videosignals zur Erzeugung von interpolierten Zeilen, mit dem Verfahrensschritt,
daß zwischen Abtastproben des Videosignals horizontal interpoliert wird (11), um ein überabgetastetes Signal zu erzeugen, das die ursprünglichen Abtastproben sowie zwischen jeweils zwei benachbarten ursprünglichen Abtastproben wenigstens eine interpolierte Abtastprobe enthält,
gekennzeichnet durch die Verfahrensschritte:
daß für jede Abtastprobe des überabgetasteten Signals der Übereinstimmungsgrad zwischen zwei Blöcken von N x M Abtastproben des überabgetasteten Signals festgestellt wird (SD(-4) bis SD(+4)), worin N die Anzahl der Zeilen und M die Anzahl der Abtastproben bedeutet, wobei die beiden Blöcke in Bezug auf eine zu interpolierende Zeile in entgegengesetzten Richtungen vertikal gegeneinander versetzt und in Bezug auf eine vorbestimmte Abtastposition in entgegengesetzten Richtungen horizontal gegeneinander versetzt sind, wobei dieser Verfahrensschritt des Feststellens für eine Mehrzahl von unterschiedlichen Werten des horizontalen Versatzes, einschließlich des Null-Versatzes und wenigstens eines Versatzes auf jeder Seite von Null, ausgeführt wird, um so für jeden horizontalen Versatz einen entsprechenden Wert des Übereinstimmungsgrads zu erzeugen,
daß für jede Abtastprobe der zu interpolierenden Zeile aus einer Mehrzahl von Gradientenvektoren, die jeweils einem bestimmten Exemplar der unterschiedlichen Werte des horizontalen Versatzes zugeordnet sind, derjenige Gradientenvektor ausgewählt wird (26), der zu dem horizontalen Versatz gehört, der das größte Maß an Übereinstimmung zwischen den beiden Blöcken erbringt,
und daß zwischen Videosignal-Abtastproben in verschiedenen Zeilen des Videosignals räumlich interpoliert wird (14, 16, 18, 38, 40, 42, 44, 46), um Abtastproben für die interpolierten Zeilen zu generieren, wobei die Richtung der räumlichen Interpolation für jede der generierten Abtastproben nach Maßgabe desjenigen Gradientenvektors gesteuert wird, der für die genannte vorbestimmte Abtastposition (X) ausgewählt wird, die dieser generierten Abtastprobe entspricht.
2. Verfahren nach Anspruch 1, bei dem der Verfahrensschritt des Auswählens (26) für jede Abtastprobe des überabgetasteten Signal ausgeführt wird und der Verfahrensschritt des räumlichen Interpolierens (14, 16, 18, 38, 40, 42, 44, 46) an dem überabgetasteten Signal durchgeführt wird, wodurch für jede Abtastprobe des überabgetasteten Signals eine Abtastprobe einer interpolierten Zeile generiert wird, und bei dem diejenigen der generierten Abtastproben der interpolierten Zeile ausgesondert werden (50), die in ihrer horizontalen Position nicht den ursprünglichen Abtastproben des digitalen Videosignals entsprechen.
3. Verfahren nach Anspruch 1 oder 2, bei dem für wenigstens einige der Werte des horizontalen Versatzes der Verfahrensschritt zum Feststellen des Übereinstimmungsgrads (SD(-4) bis SD(+4)) für eine Mehrzahl von Blöcken von jeweils unterschiedlicher Größe durchgeführt wird und die resultierenden mehreren Werte des Übereinstimmungsgrads für jeden horizontalen Versatz kombiniert werden, um so für jeden horizontalen Versatz einen einzigen Wert des Übereinstimmungsgrads zu bilden, bevor der Verfahrensschritt des Auswählens durchgeführt wird.
4. Verfahren nach Anspruch 3, bei dem die Mehrzahl von Blöcken unterschiedlicher Größe alle den gleichen Wert N, jedoch jeweils unterschiedliche Werte M haben.
5. Verfahren nach Anspruch 4, bei dem vier Blöcke unterschiedlicher Größe vorhanden sind, wobei die Werte von M für die vier Blöcke 3, 5, 7 bzw. 9 betragen.
6. Verfahren nach einem der vorhergehenden Ansprüche, bei dem N gleich 3 ist.
7. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die für aufeinanderfolgende Abtastproben ausgewählten Gradientenvektoren einer räumlichen Tiefpaßfilterung unterzogen werden (28).
8. Verfahren nach einem der vorhergehenden Ansprüche, bei dem der Wert einer generierten Abtastprobe einer interpolierten Zeile aus Werten anderer generierter Abtastproben in derselben Zeile prädiziert wird und, falls der tatsächliche Wert der generierten Abtastprobe nicht in einen durch den prädizierten Wert bestimmten Wertebereich fällt, die generierte Abtastprobe wenigstens teilweise durch eine Abtastprobe ersetzt wird, die durch vertikales Filtern (62) zwischen Abtastproben des digitalen Videosignals generiert wird.
9. Verfahren nach einem der vorhergehenden Ansprüche, bei dem zwischen den Zeilen eines Halbbildes eines digitalen Videosignals interpoliert wird, um interpolierte Zeilen zu bilden, die in der Mitte zwischen den Zeilen eines Halbbildes liegen.
10. Verfahren nach Anspruch 9, bei dem der lokale Bewegungsgrad eines von dem digitalen Videosignal repräsentierten Bildes detektiert wird (112) und, falls der Bewegungsgrad unter einem vorbestimmten Wert liegt, die generierten Abtastproben der interpolierten Zeilen wenigstens teilweise durch Abtastproben ersetzt werden, die durch zeitliches Filtern (110) des digitalen Videosignals generiert werden.
11. Gerät zur räumlichen Interpolation zwischen Zeilen eines digitalen Videosignals zur Erzeugung von interpolierten Zeilen,
mit einer Überabtasteinrichtung (11), die ein horizontales Interpolieren zwischen Abtastproben des Videosignals bewirkt, um ein überabgetastetes Signal zu erzeugen, das die ursprünglichen Abtastproben sowie zwischen jeweils zwei benachbarten ursprünglichen Abtastproben wenigstens eine interpolierte Abtastprobe enthält,
gekennzeichnet durch
eine Mehrzahl von Block-Koinzidenzschaltungen (SD(&supmin;4) bis SD(+4)), die bewirken, daß für jede Abtastprobe des überabgetasteten Signals der Übereinstimmungsgrad zwischen zwei Blöcken von N x M Abtastproben des überabgetasteten Signals festgestellt wird (SD(-4) bis SD(+4)), worin N die Anzahl der Zeilen und M die Anzahl der Abtastproben bedeutet, wobei die beiden Blöcke in Bezug auf eine zu interpolierende Zeile in entgegengesetzten Richtungen gegeneinander vertikal versetzt sind und in Bezug auf eine vorbestimmte Abtastposition (X) in entgegengesetzten Richtungen horizontal gegeneinander versetzt sind, wobei jede Block-Koinzidenzschaltung für eine Mehrzahl von unterschiedlichen Werten des horizontalen Versatzes, einschließlich des Null-Versatzes und wenigstens eines Versatzes auf jeder Seite von Null, in der genannten Weise wirksam ist, wodurch für jeden horizontalen Versatz einen entsprechenden Wert des Übereinstimmungsgrads erzeugt wird,
eine Auswahleinrichtung (26), die auf die entsprechenden von den Block-Koinzidenzschaltungen erzeugten Werte anspricht, um für jede Abtastprobe der zu interpolierenden Zeile aus einer Mehrzahl von Gradientenvektoren, die jeweils einem bestimmten Exemplar der unterschiedlichen Werte des horizontalen Versatzes zugeordnet sind, derjenige Gradientenvektor auszuwählen, der zu dem horizontalen Versatz gehört, der das größte Maß an Übereinstimmung zwischen den beiden Blöcken bewirkt,
und einen räumlichen Interpolator (14, 16, 18, 38, 40, 42, 44, 46), der ein räumliches Interpolieren zwischen Videosignal-Abtastproben in verschiedenen Zeilen des Videosignals bewirkt, um Abtastproben für die interpolierten Zeilen zu generieren, wobei die Richtung der räumlichen Interpolation für jede der generierten Abtastproben nach Maßgabe desjenigen Gradientenvektors gesteuert wird, der für die genannte vorbestimmte Abtastposition (X) ausgewählt wird, die dieser generierten Abtastprobe entspricht.
12. Gerät nach Anspruch 11, bei dem die Auswahleinrichtung (26) so betätigbar ist, daß der genannte Auswahlvorgang für jede Abtastprobe des überabgetasteten Signal durchgeführt wird, und der räumliche Interpolator (14, 16, 18, 38, 40, 42, 44, 46) so betätigbar ist, daß die räumliche Interpolation an dem überabgetasteten Signal durchgeführt wird, wodurch für jede Abtastprobe des überabgetasteten Signals eine Abtastprobe einer interpolierten Zeile generiert wird, und bei dem eine Unterabstasteinrichtung (50) vorgesehen ist, die eine Aussonderung derjenigen der generierten Abtastproben der interpolierten Zeile bewirkt, die in ihrer horizontalen Position nicht den ursprünglichen Abtastproben des digitalen Videosignals entsprechen.
13. Gerät nach Anspruch 11 oder 12, bei dem wenigstens einige der Block-Koinzidenzschaltungen (SD(-4) bis SD(+4)) so betätigbar sind, daß das Maß an Übereinstimmung für eine Mehrzahl von Blöcken von jeweils unterschiedlicher Größe bestimmt wird und die resultierenden mehreren Werte des Übereinstimmungsgrads für jeden horizontalen Versatz kombiniert werden, um für jeden horizontalen Versatz einen einzigen Wert für den Übereinstimmungsgrad zu bilden, bevor die Auswahleinrichtung die Auswahl eines Gradientenvektors durchgeführt.
14. Gerät nach Anspruch 13, bei dem die Mehrzahl von Blöcken unterschiedlicher Größe alle den gleichen Wert N, jedoch jeweils unterschiedliche Werte M haben.
15. Gerät nach Anspruch 14, bei dem vier Blöcke unterschiedlicher Größe vorhanden sind, wobei die Werte von M für die vier Blöcke 3, 5, 7 bzw. 9 betragen.
16. Gerät nach einem der vorhergehenden Ansprüche 11 bis 15, bei dem N gleich 3 ist.
17. Gerät nach einem der vorhergehenden Ansprüche 11 bis 16, mit einem räumlichen Tiefpaßfilter (28) zur Filterung der für aufeinanderfolgende Abtastproben ausgewählten Gradientenvektoren.
18. Gerät nach einem der vorhergehenden Ansprüche 11 bis 17, mit einem Vertikalfilter (62) zur vertikalen Filterung zwischen Abtastproben des digitalen Videosignals sowie mit einem Horizontalprädiktor (66) für die Prädiktion des Wertes einer generierten Abtastprobe einer interpolierten Zeile aus Werten von anderen generierten Abtastproben derselben Zeile und für das wenigstens teilweise Ersetzen der generierten Abtastprobe durch eine von dem Vertikalfilter (62) erzeugte Abtastprobe, falls der tatsächliche Wert der generierten Abtastprobe nicht in einen durch den prädizierten Wert bestimmten Wertebereich fällt.
19. Gerät nach einem der vorhergehenden Ansprüche 11 bis 18, das so betätigbar ist, daß zwischen den Zeilen eines Halbbildes eines digitalen Videosignals räumlich interpoliert wird, um interpolierte Zeilen zu bilden, die in der Mitte zwischen den Zeilen eines Halbbildes liegen.
20. Gerät nach Anspruch 19, mit einem Bewegungsdetektor (112) für das Detektieren des lokalen Bewegungsgrads eines von dem digitalen Videosignal repräsentierten Bildes und für das wenigstens teilweise Ersetzen der generierten Abtastproben der interpolierten Zeilen durch mittels zeitlicher Filterung (110) des digitalen Videosignals generierte Abtastproben, falls der Bewegungsgrad unter einem vorbestimmten Wert liegt.
DE69019877T 1989-05-04 1990-03-07 Räumliche Interpolation von digitalen Videobildern. Expired - Lifetime DE69019877T2 (de)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
GB8910207A GB2231460B (en) 1989-05-04 1989-05-04 Spatial interpolation of digital video signals

Publications (2)

Publication Number Publication Date
DE69019877D1 DE69019877D1 (de) 1995-07-13
DE69019877T2 true DE69019877T2 (de) 1995-11-30

Family

ID=10656185

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69019877T Expired - Lifetime DE69019877T2 (de) 1989-05-04 1990-03-07 Räumliche Interpolation von digitalen Videobildern.

Country Status (5)

Country Link
US (1) US5019903A (de)
EP (1) EP0396229B1 (de)
JP (1) JP2990737B2 (de)
DE (1) DE69019877T2 (de)
GB (1) GB2231460B (de)

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7382929B2 (en) * 1989-05-22 2008-06-03 Pixel Instruments Corporation Spatial scan replication circuit
JPH03179490A (ja) * 1989-12-08 1991-08-05 Canon Inc 2値画像補間回路
GB9012326D0 (en) * 1990-06-01 1990-07-18 Thomson Consumer Electronics Wide screen television
US5351087A (en) * 1990-06-01 1994-09-27 Thomson Consumer Electronics, Inc. Two stage interpolation system
GB9012423D0 (en) * 1990-06-04 1990-07-25 Abekas Video Systems Video image transformation
EP0464907B1 (de) * 1990-06-29 1996-10-09 Philips Electronics Uk Limited Bilderzeugung
EP0474276B1 (de) * 1990-09-03 1997-07-23 Koninklijke Philips Electronics N.V. Video-Bewegungsvektorabschätzung mit asymmetrischem Aktualisierungsgebiet
JPH04223785A (ja) * 1990-12-26 1992-08-13 Sony Corp 映像信号補間処理方法
EP0496451B1 (de) * 1991-01-24 1996-11-13 Koninklijke Philips Electronics N.V. Nichtlinearer Signalprozessor
US5410356A (en) * 1991-04-19 1995-04-25 Matsushita Electric Industrial Co., Ltd. Scanning-line interpolation apparatus
US5600731A (en) * 1991-05-09 1997-02-04 Eastman Kodak Company Method for temporally adaptive filtering of frames of a noisy image sequence using motion estimation
US5347599A (en) * 1991-06-14 1994-09-13 Matsushita Electric Industrial Co., Ltd. Adaptive interpolation method and apparatus using correlation detection
GB9118782D0 (en) * 1991-09-03 1991-10-16 British Broadcasting Corp Video image processing
KR940006935B1 (ko) * 1991-12-23 1994-07-29 주식회사 금성사 티브이 신호의 라인 더블러장치
KR950000440B1 (ko) * 1991-12-27 1995-01-19 주식회사 금성사 티브이 신호의 주사선 수 2배 증가방법 및 회로
FI89995C (fi) * 1991-12-31 1993-12-10 Salon Televisiotehdas Oy Foerfarande foer randadaptiv interpolation av en tv-bilds linje samt en interpolator
JPH07120434B2 (ja) * 1992-01-29 1995-12-20 インターナショナル・ビジネス・マシーンズ・コーポレイション ボリュームレンダリングを行う方法及び装置
DE4211955A1 (de) * 1992-04-09 1993-10-14 Thomson Brandt Gmbh Verfahren und Vorrichtung für eine interlace-progressiv-Wandlung
KR950007930B1 (ko) * 1992-04-21 1995-07-21 주식회사 금성사 텔레비젼 수상기의 주사선 보간방법
JP3073599B2 (ja) * 1992-04-22 2000-08-07 本田技研工業株式会社 画像のエッジ検出装置
JP3438233B2 (ja) * 1992-05-22 2003-08-18 ソニー株式会社 画像変換装置および方法
US5555317A (en) * 1992-08-18 1996-09-10 Eastman Kodak Company Supervised training augmented polynomial method and apparatus for character recognition
FI93295C (fi) * 1992-08-25 1995-03-10 Salon Televisiotehdas Oy Menetelmä ja kytkentä videosignaalin pysty- ja vaakataajuuden kaksinkertaistamiseksi
DE4233354A1 (de) * 1992-10-05 1994-04-07 Thomson Brandt Gmbh Verfahren und Vorrichtung zur Bildwechselfrequenz-Verdoppelung
US5481275A (en) * 1992-11-02 1996-01-02 The 3Do Company Resolution enhancement for video display using multi-line interpolation
AU3058592A (en) * 1992-11-02 1994-05-24 3Do Company, The Resolution enhancement for video display using multi-line interpolation
WO1994030006A1 (en) * 1993-06-08 1994-12-22 Faroudja Y C TELEVISION SIGNAL PROCESSING APPARATUS INCORPORATING MEANS FOR DETECTING 25 FRAME/SECOND MOTION PICTURE FILM SOURCES IN 50 Hz TELEVISION SIGNALS
DE4407101A1 (de) * 1994-03-03 1995-09-14 Siemens Ag Verfahren zur Formatkonversion von in einem ersten Bildpunktraster vorliegenden Bildsequenzen in ein zweites Bildpunktraster
US5519451A (en) * 1994-04-14 1996-05-21 Texas Instruments Incorporated Motion adaptive scan-rate conversion using directional edge interpolation
US5473383A (en) 1994-06-15 1995-12-05 Eastman Kodak Company Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with three successive interlaced video fields
US5521644A (en) 1994-06-30 1996-05-28 Eastman Kodak Company Mechanism for controllably deinterlacing sequential lines of video data field based upon pixel signals associated with four successive interlaced video fields
EP0697788A3 (de) * 1994-08-19 1997-03-26 Eastman Kodak Co Adaptive und für globale Bewegung kompensierte Aufhebung des Zeilensprungverfahrens von aufeinenanderfolgenden Videobildern mit Nachbearbeitung
US5602654A (en) * 1995-01-06 1997-02-11 National Science Council Contour-sensitive, single-field deinterlacing method
US5661525A (en) * 1995-03-27 1997-08-26 Lucent Technologies Inc. Method and apparatus for converting an interlaced video frame sequence into a progressively-scanned sequence
JPH08289305A (ja) * 1995-04-14 1996-11-01 Philips Japan Ltd 画像データ圧縮/伸張システム
US5532751A (en) * 1995-07-31 1996-07-02 Lui; Sam Edge-based interlaced to progressive video conversion system
KR100203270B1 (ko) * 1995-09-30 1999-06-15 윤종용 광역벡터의 상관성을 이용한 화소의 보간방법 및 그 장치
MY117289A (en) * 1996-01-17 2004-06-30 Sharp Kk Image data interpolating apparatus
JP3748088B2 (ja) * 1996-07-17 2006-02-22 ソニー株式会社 画像処理装置および方法、並びに学習装置および方法
US5977947A (en) * 1996-08-19 1999-11-02 International Business Machines Corp. Method and apparatus for resizing block ordered video image frames with reduced on-chip cache
US5859651A (en) * 1996-08-19 1999-01-12 International Business Machines Corporation Method and apparatus for block data transfer to reduce on-chip storage for interpolative video resizing
US5936676A (en) * 1997-08-21 1999-08-10 Miranda Technologies Inc. Apparatus and method for line interpolating an interlaced video signal
US6262773B1 (en) * 1997-09-15 2001-07-17 Sharp Laboratories Of America, Inc. System for conversion of interlaced video to progressive video using edge correlation
DE19746214A1 (de) * 1997-10-21 1999-04-22 Bosch Gmbh Robert Verfahren zur bewegungskompensierenden Prädiktion von Bewegtbildfolgen
US6366318B1 (en) * 1998-03-27 2002-04-02 Eastman Kodak Company CFA correction for CFA images captured at partial resolution
US7536706B1 (en) 1998-08-24 2009-05-19 Sharp Laboratories Of America, Inc. Information enhanced audio video encoding system
US6118488A (en) * 1998-08-31 2000-09-12 Silicon Integrated Systems Corporation Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection
JP3614324B2 (ja) * 1999-08-31 2005-01-26 シャープ株式会社 画像の補間システムおよび画像の補間方法
US7647340B2 (en) 2000-06-28 2010-01-12 Sharp Laboratories Of America, Inc. Metadata in JPEG 2000 file format
JP4150947B2 (ja) * 2000-08-23 2008-09-17 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP4553481B2 (ja) * 2000-12-14 2010-09-29 パナソニック株式会社 走査線補間装置
US7324709B1 (en) * 2001-07-13 2008-01-29 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7171059B1 (en) * 2002-05-23 2007-01-30 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7110612B1 (en) 2001-10-11 2006-09-19 Pixelworks, Inc. Weighted absolute difference based noise reduction method and apparatus
US6992725B2 (en) * 2001-10-22 2006-01-31 Nec Electronics America, Inc. Video data de-interlacing using perceptually-tuned interpolation scheme
CN1322749C (zh) * 2001-11-01 2007-06-20 皇家飞利浦电子股份有限公司 视频数据的面向边缘内插
US7154556B1 (en) 2002-03-21 2006-12-26 Pixelworks, Inc. Weighted absolute difference based deinterlace method and apparatus
AU2003223298A1 (en) * 2002-03-27 2003-10-13 Thomson Licensing S.A. Upconversion with improved diagonal enhancement
MXPA04009345A (es) * 2002-03-27 2005-01-25 Thomson Licensing Sa Conversion ascendente con mejora diagonal restringida de ruido.
US7782398B2 (en) * 2002-09-04 2010-08-24 Chan Thomas M Display processor integrated circuit with on-chip programmable logic for implementing custom enhancement functions
US7480010B2 (en) * 2002-09-04 2009-01-20 Denace Enterprise Co., L.L.C. Customizable ASIC with substantially non-customizable portion that supplies pixel data to a mask-programmable portion in multiple color space formats
US7136108B2 (en) * 2002-09-04 2006-11-14 Darien K. Wallace Segment buffer loading in a deinterlacer
US7202908B2 (en) 2002-09-04 2007-04-10 Darien K. Wallace Deinterlacer using both low angle and high angle spatial interpolation
US7099509B2 (en) * 2002-10-11 2006-08-29 Samsung Electronics Co., Ltd. Method of edge direction detection based on the correlations between pixels of a vector and an edge direction detection system
KR100506086B1 (ko) * 2002-12-26 2005-08-03 삼성전자주식회사 영상의 재현 품질 향상 장치 및 그 방법
US6912309B2 (en) * 2003-03-06 2005-06-28 Lockheed Martin Corporation Method and system for identifying objects in an image
GB2402288B (en) * 2003-05-01 2005-12-28 Imagination Tech Ltd De-Interlacing of video data
WO2004104928A1 (en) * 2003-05-20 2004-12-02 Koninklijke Philips Electronics N.V. Estimating an edge orientation
KR20060012634A (ko) * 2003-05-20 2006-02-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 에지 오리엔테이션 추정
KR20040100735A (ko) * 2003-05-24 2004-12-02 삼성전자주식회사 영상보간장치 및 영상보간방법
KR100574943B1 (ko) * 2003-06-10 2006-05-02 삼성전자주식회사 영상 변환 방법 및 장치
US7170561B2 (en) * 2003-12-04 2007-01-30 Lsi Logic Corporation Method and apparatus for video and image deinterlacing and format conversion
JP4641438B2 (ja) * 2004-03-16 2011-03-02 キヤノン株式会社 画素補間装置及び画素補間方法
US7630585B2 (en) * 2004-06-25 2009-12-08 Intel Corporation Image processing using unaligned memory load instructions
US20060072038A1 (en) * 2004-10-05 2006-04-06 Wyman Richard H Method and system for detecting deinterlaced moving thin diagonal lines
US7362378B2 (en) * 2005-01-10 2008-04-22 Matsushita Electric Industrial Co., Ltd. Method of edge based pixel location and interpolation
GB0500805D0 (en) * 2005-01-14 2005-02-23 Snell & Wilcox Ltd Image processing
US8325273B2 (en) * 2005-06-06 2012-12-04 Broadcom Corporation System and method for vertical gradient detection in video processing
GB2431802A (en) * 2005-10-31 2007-05-02 Sony Uk Ltd Interpolating pixels
US7554559B2 (en) * 2005-11-08 2009-06-30 Intel Corporation Edge directed de-interlacing
JP4799225B2 (ja) * 2006-03-08 2011-10-26 株式会社東芝 画像処理装置および画像表示方法
JP4861114B2 (ja) * 2006-09-27 2012-01-25 株式会社東芝 映像信号処理装置
US7834932B2 (en) * 2006-11-15 2010-11-16 Faraday Technology Corp. De-interlacing method
JP4950653B2 (ja) * 2006-12-25 2012-06-13 株式会社東芝 画像表示装置、画像信号処理装置、及び画像信号処理方法
JP4795929B2 (ja) * 2006-12-26 2011-10-19 富士通株式会社 補間方法を決定するプログラム、装置、および方法
CN101584216A (zh) * 2006-12-27 2009-11-18 英特尔公司 解码和编码视频信息的方法和装置
JP5018198B2 (ja) * 2007-04-10 2012-09-05 ソニー株式会社 補間信号生成回路、補間信号生成方法、プログラムおよびビデオ信号処理装置
TWI344790B (en) * 2007-05-07 2011-07-01 Mstar Semiconductor Inc Pixel interpolation apparatus and method thereof
JP4343255B1 (ja) * 2008-06-25 2009-10-14 株式会社東芝 画像伸張装置及び画像伸張方法
US8228429B2 (en) * 2008-09-29 2012-07-24 Intel Corporation Reducing artifacts as a result of video de-interlacing
US8379147B2 (en) * 2009-06-24 2013-02-19 Telegent Systems, Inc. Adaptive video processing circuitry and techniques
JP6294052B2 (ja) * 2013-11-11 2018-03-14 株式会社朋栄 1パスビデオ超解像処理方法及びその映像処理を遂行する映像処理装置
GB2529644B (en) 2014-08-27 2016-07-13 Imagination Tech Ltd Efficient interpolation
US9524538B2 (en) * 2014-09-19 2016-12-20 Fujitsu Ten Limited Image processing apparatus
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0294955B1 (de) * 1987-06-09 1995-04-12 Sony Corporation Bewegungsvektorabschätzung in Fernsehbildern
FR2623040B1 (fr) * 1987-11-09 1990-02-09 France Etat Procede et dispositif de traitement de signaux d'image a balayage de trame entrelace

Also Published As

Publication number Publication date
JP2990737B2 (ja) 1999-12-13
GB2231460B (en) 1993-06-30
GB2231460A (en) 1990-11-14
GB8910207D0 (en) 1989-06-21
EP0396229A3 (de) 1992-01-22
JPH02293793A (ja) 1990-12-04
EP0396229A2 (de) 1990-11-07
EP0396229B1 (de) 1995-06-07
US5019903A (en) 1991-05-28
DE69019877D1 (de) 1995-07-13

Similar Documents

Publication Publication Date Title
DE69019877T2 (de) Räumliche Interpolation von digitalen Videobildern.
DE3854171T2 (de) Bewertung von Bewegungsvektoren in Fernsehbildern.
DE69123359T3 (de) Videobildverarbeitung
DE3851786T2 (de) Auswahl eines Bewegungsvektors in Fernsehbildern.
DE3850709T2 (de) Reduzierung der Bewegungsvektoren in Fernsehbildern.
DE69733978T2 (de) Bilddateninterpolationsgerät
DE69804644T2 (de) System zur umwandlung von zeilensprungvideo in progressives video mit kantenkorrelation
DE3854337T2 (de) Bewegungskompensierte Interpolation von digitalen Fernsehbildern.
DE69006083T2 (de) Interpolation eines Videosignals.
DE69131591T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69027809T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69027479T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69021431T2 (de) Bewegungsabhängige Videosignalverarbeitung.
DE69031055T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE3853555T2 (de) Verarbeitung des Bewegungsvektors in digitalen Fernsehbildern.
DE69030896T2 (de) Bewegungsabhängige Videosignalverarbeitung
DE69509141T2 (de) Verfahren und digitale Schaltung zum Aufheben des Zeilensprungverfahrens während der Darstellung von Videobildern
DE69605018T2 (de) Kantenorientiertes Intrabild- und Zwischenbildinterpolationsfilter für Videogeräte besserer Qualität
DE69022470T2 (de) Bewegungsabhängige Videosignalverarbeitung.
DE3687434T2 (de) Geraet zum ausgleich von bewegung in einem von einem von einem fernsehsignal abgeleiteten bild.
DE3786585T2 (de) Schaltung zur Verarbeitung eines Videosignals mit Bewegungsadaptation.
DE69506076T2 (de) Umsetzung einer zeilensprung-abtastung in eine sequentielle abtastung
DE69229705T2 (de) Verfahren zur erkennung eines bewegungsvektors und vorrichtung dafür und system zur verarbeitung eines bildsignals mit dieser vorrichtung
DE3851718T2 (de) Fernsehnormwandler.
DE69028651T2 (de) Bewegungsabhängige Videosignalverarbeitung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition