DE3018329C2

DE3018329C2 - Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz

Info

Publication number: DE3018329C2
Application number: DE19803018329
Authority: DE
Inventors: Heinrich Dipl.-Ing. 3300 Braunschweig Dörgeloh; Reiner Dipl.-Ing. Lippmann
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 1980-05-10
Filing date: 1980-05-10
Publication date: 1982-09-09
Also published as: GB2075794B; GB2075794A; FR2482400A1; FR2482400B1; DE3018329A1

Description

Die Erfindung betrifft ein Ve; ihren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz bei Relativbewegung der aufgenommenen Szene gegenüber dem Aufnahmesensor.

Bei Bord-Boden-Übertragung von Videosignalen, insbesondere digitaler Videosignale, ist man aus technischen und wirtschaftlichen Gründen in besonderem Maße bestrebt, den Bitfluß gering zu halten. Die Übertragung soll möglichst hohe Reduktionsfaktoren liefern, Beeinträchtigungen der Wiedergabequalität auch bei ungünstigen Übertragungsbedingungen gering halten und bordseitig aufwandgünstig realisierbar sein.

Hierfür kommt die Übertragung mit reduzierter Bildfolgefrequenz (z. B. 1 Bild je Sekunde) in Betracht, die jedoch den Nachteil hat, daß die kontinuierlich ablaufende scheinbare Szenenbewegung wiedergabeseitig als diskontinuierliche (ruckartige) Bewegung dargestellt wird.

Es ist bekannt, bei einer Übertragung von Luftbildszenen mit reduzierter Bildfolgefrequenz eine kontinuierlich ablaufende Bewegungsdarstellung dadurch zu simulieren, daß jedes Bild der übertragenen Folge bei der Wiedergabe bis zum Eingang des nächsten Bildes entsprechend der Bildwiedergabefrequenz des Wider gabegerätes wiederholt wird und dabei entsprechend der Flugbewegung fortlaufend auf dem Bildschirm verschoben wird- Die empfangsseitig erforderliche information zur Berechnung der Bildverschiebüng wird aus übertragenen Bordmeßdaten und Parametern des Bildaufnahmesystems gewonnen (»Image Motion Compensation« nach M. L Hershberger, R, ], Vanderkolk, »Video Image Bandwidth Reduction / Compression Studies for Remotely Piloted Vehicles«, Final Tech, Rep, January 1975 -- May 1976, ASD<TW6<26, AD-AO39762, Hughes Aircraft Co, Culver City, Calif. 90230, October 1976).

Objektbewegungen innerhalb des Bildhintergrundes kommen bei diesem Wiedergabeverfahren nicht zum Ausdruck. Nachteilig ist weiterhin, daß durch die Bildverschiebung zunehmend unausgenutzte Bildbereiche entstehen, die das Blickfeld vorübergehend einschränken und jeweils erst beim Einlesen des nächsten übertragenen Bildes mit neuer Bildinformation

jo gefüllt werden.

Bekannt ist weiter, bei der Übertragung von Bildern mit reduzierter Bildfolgefrequenz, typisch Übertragung jedes dritten Bildes bei einer Bildwiedergabefrequenz von 25 Bildern, Zwischenbilder durch Interpolation unter Zugrundelegung der jeweils aufeinanderfolgend übertragenen Bilder zu erzeugen und diese in die Bildfolge bei der Wiedergabe einzufügen (US-PS 40 60 832). Das bekannte Verfahren bezieht sich auf die Übertragung von Bildern bei der Bildtelefonie, bei der die Szene, d. h. ein Bildhintergrund, feststeht, und lediglich die Bewegung eines Objektes auftritt, das sich vor dem feststehenden Hintergrund bewegt. Die Zwischenbilder werden jeweils unter Heranziehung der Signalwerte gleicher oder unmittelbar benachbarter Bildkoordinaten rekonstruiert. An Bildkoordinaten· punkten, an denen eine Signaländeru.ig festgestellt wird, die eine Bewegung des Objektes kennzeichnet, erfolgt die Interpolation in der Weise, daß der Signalwert in den rekonstruierten Zwischenbildern jeweils allmählich dem Signalwert des nachfolgend übertragenen Bildes angepaßt wird. Dies führt zu einem Überblendeffekt, der bei geringen Bewegungen und trotz der Reduktion noch hohen Folgefrequenz der tatsächlich übertragenen Bilder tragbar ist Bei einer Übertragung mit erheblich größeren zeitlichen Abständen, beispielsweise einer Folgefrequenz von 1 Bild pro Sekunde, wie es beispielsweise bei der Übertragung von Luftbildszenen aus einem Flugzeug wünschenswert ist, würde ein solcher Überblendeffekt ai eineir. weitgehenden »Verschmieren« der Bilder führen, da von Bild zu Bild eine erhebliche Verschiebung der Gesamtszene erfolgt ist. Zu beachten ist dabei auch, daß bei Luftbildszenen das Bild im allgemeinen eine Fülle relativ kleiner Einzelheiten enthält.

Aufgabe der Erfindung ist es, ein mit reduzierter Bildfolgefrequenz arbeitendes Verfahren aufzuzeigen, das bei Übertragungen von Szenen, die sich relativ zum Aufnahmesenscr fortlaufend bewegen, insbesondere von Luftbildszenen, unter Berücksichtigung der jeweiligen Abbildungsperspektive eine kontinuierliche Bewegungswiedergabe des Bildhintergrundes und davon unterscheidbarer Objektbewegungen ermöglicht, wobei das Bildfeld zu jedem Zeitpunkt weitgehend vollständig ausgenutzt wird.

Diese Aufgabe wird gemäß der Erfindung dadurch gelöst, daß durch abbildungsangepaßte Interpolation und/oder Extrapolation unter Zugrundelegung von jeweils zwei übertragenen Bildern wiedergabeseitig erzeugte Zwischenbilder in die übertragene Bildfolge

ed eingefügt werden und die für die Inter- bzw,

. Extrapolation jeweils zuzuordnenden objektgleichen

Biidpünktpositionen der beiden übertragenen Bilder aus

der als bekannt ermittelten Zuordnung der Bildpunkt^ Positionen für wenigstens zwei auf vertikal und

6ä horizontal ungleichen Koordinaten liegende Objekt' punkte iri jedem der beiden übertragenen Bilder bestimmt werden.
Vorzugsweise wird der Inter·¹ bzw, Extrapolation das

Modell einer von Bild zu Bild linearen Änderung der zugeordneten Bildpunktpositionen zwischen den übertragenen Bildern zugrundegelegt.

Die mit der Erfindung erzielbaren Vorteile bestehen insbesondere darin, daß Bewegungswiedergabe und Betrachtungsperspektive der Szene weitgehend dem Originalbild entsprechen und dadurch ermüdungsfreie Beobachtungen über einen längeren Zeitraum möglich sind. Das Einsatzspektrum erfaßt sowohl Bedingungen des Reise- als auch des Zielanflugs bzw. einer veränderlichen Objektivbrennweite.

Die für die Realisierung des Verfahrens erforderliche Einrichtung beschränkt sich im wesentlichen auf die Wiedergabeseite, so da3 für Bord-Boden-Übertragungen günstige Verhältnisse bestehen.

Das Verfahren arbeitet weitgehend systemkompatibel, d.h. zum Beispiel unabhängig von einer zur Erhöhung des Reduktionsfaktors möglichen zusätzlichen Quellencodierung (z. B. DPCM- oder Transformationsmethoden) und kann in ein vorhandenes System mit reduzierter Bildfolgefrequenz auch nachträglich eingefügt werden. Die anwendungsgünsti./en Eigenschaften eines solchen Systems, wie z. B. hoher Reduktionsfaktor, bordseitig einfache Realisierbarkeit und geringe Störempfindlichkeit, bleiben dabei erhalten und lassen sich universeller nutzen.

Die Erfindung wird anhand der Zeichnungen nach Fig. 1 bis Fig. 3 veranschaulicht und im folgenden näher beschrieben.

F i g. 1 zeigt die geometrische Anordnung für die Aufnahme einer Luftbildszene aus der Höhe H über Grund bei schräg nach vorn ausgerichteter (Video) Kamera. (Die x- und x'-Achse verlaufen senkrecht zur Zeichenebene;)

F i g. 2 zeigt die Bildaufnahmeebene der Kamera mit dem Weg für zwei Punkte der Objektebene bei Bewegung der Kamera in Flugrichtung nach F i g. 1;

F i g. 3 zeigt die zeitliche Anordnung zweier übertragener Bilder (Bild O und Bild N) und eines dazwischi lliegenden, wiedergabeseitig interpolierten Bildes (Bild n), mit den durch Messung ermittelten, objektgleichen Bildpunktpositionen Aa An bzw. Ba Bn sowie der nach einem linearen Modell daraus bestimmten Bildpunktzuordnung C_n, Co bzw. C_n, Cn-

Bei der geometrischen Anordnung nach F i g. 1 werden Geraden, die in der ozene (Objektebene) parallel zur y-Achse verlaufen, in der Bildaufnahmeebene (F i g. 2) entsprechend der Abbildungsperspektive als schräg zur y'-Achse verlaufende Geraden abgebildet. Sie repräsentieren zugleich jeweils den geometrischen Ort der Bildpunktpositionen für einen Objektpunkt (hier: den im Bild durchlaufenen Weg) bei Bewegung der KameTa in Flugrichtung (s. F i g. 1).

Die Abhängigkeit der Bildpunktposition eines Objektpunktes von der Zeit, d. h. dessen Bild-zu-Bild-Versatz, ist durch die Gesetzmäßigkeiten der Abbildungsgeometrie festgelegt. Sie kann vereinfachend, wie in F i g. 3, durch einen linearen Verlauf approximiert werden Bei Kenntnis der Positionszuordnung für ein Paar von Objektpunkten in zwei Referenzbildern, z. B. den Positionen (Bildpunkten) Ao, Bo in Bild O und An, Bfi in BiW TV nach F ί g. 3, lassen sich die Zuordnungen füi den irtest des Bildfeldes, z, B- für die Bildpünkte Ca Cm, aus dem Verhältnis def BÜdpunktabstände nach dem SlVahlensatz ermitteln. Die Zuordnung zwischen den ölijektgleichen Bildpunkten Co und C_n mit den koordinaten x'ca j>'co bzw. x'cn, y'cN und dem entsprechenden Bildpunkt C_n mit den Koordinaten x'a* y'cn in einem Bild π wird durch eine für diesen Punkt jeweils spezifische Zuordnungsgerade zwischen den Bildern C und N charakterisiert und kann aus den in x'cn bzw./Or linearen Koordinatenbeziehungen

(1)

und

(2)

bestimmt werden.

Die Koeffizienten h\ bis A₄ und g\ bis & ergeben sich aus den gemessenen Bildpunktzuordnungen Aa An und Bo. Bn, wobei Λ, (7= 1,2,3,4) für jedes π (d. h. innerhalb jedes Büöes) und g, für jedes y'c„ (d. h. innerhalb jeder Bildzeile) konstant ist (siehe un . ti). Der durch die Gleichungen dargestellte Algorithmus ermöglicht eine zeilen- und bilosequentielle Verarbeitung im Sinne des auszugebenden Videosignals und ist dadurch für die technische Realisierung des Verfahrens besonders geeig.-.et.

Aus den Grauwerten Sco und S_Cn für die Bildpunkte Co und Gv mit den nach den Gleichungen (1) bis (4) ermittelten Koordinaten x'ca Yco bzw. x'cn, Y'cn ergibt sich der zu regenerierende Grauwert Sm für den Bildpunkt C_n durch Interpolation nach der Beziehung

= jj [(N

₁+π

oder durch Extrapolation gemäß

oder

(5)

(6a) (6b)

Die Extrapolation wird in Bildtulen angewendet, in denen einer oder mehrere der aus den Gleichungen (1) bis (4) ermittelten Koordinatenwerte außerhalb des Wertebereichs

(7)

(8)

liegen, d.h. außerhalb der Bildaufnahmeebene mit der Breite a und der Höhe b nach F i g. 2.

Eine Extrapolation statt der Interpolation kann in weiteren Fällen zweckmäßig sein, z. B. wenn die Zuordnung zwischen den Referenzbildern vorübergehend nur ungenau zu ermitteln oder die Überlappung der Bildinformation relativ gering ist.

Objektbewegungen in der Szene treten in einer durch Extrapolation regenerierten Bild- (oder Teilbild-) Folge nicht in Erscheinung, während sie bei der interpolation im allgemeinen durch ein allmähliches Ab- und Aufklingen der Heiligkeitsintensität gekennzeichnet sind. Dieser Fall, in dem der Interpolation nicht

objektgleiche Bildpunkte zugrundeliegen, entspricht in seiner Wirkung einem Überblenden zwischen den Positionen des bewegten Objektes in aufeinanderfolgenden Referenzbildern.

Ähnlich sind die Verhältnisse bei Kanalstörungen. Durch Störungen in einem Referenzbild hervorgerufene Grauwertänderungen nehmen in der interpolierten Bildfolge allmählich, d. h. innerhalb von NBildperioden, zu und klingen anschließend wieder entsprechend ab.

Die für das Verfahren erforderliche Referenzpunktzuordnung Aa A_n und Ba B_n läßt sich u. a. durch eine Bildkorrelätionsmethode oder aus cmpfangsseitig bekannten Bordmeßdaten ermitteln. Zur Erhöhung der Entscheidungssicherheit ist die Messung der Zuordnung für weitere Bildpunkte und anschließende Auswahl nach vorgegebenen Kriterien (wie z, B. Zuverlässigkeitsoder Majoritätskriterien) möglich. Werden Referenzpunkizuordnungen speziell Für den Bereich eines innerhalb der Szene bewegten Objektes gemessen, so können auch in soicnen Bcrcic-ucn öbjektgieichu Bildpunkte für die Interpolation bestimmt und der Bewegungsablauf damit direkt statt durch das oben beschriebene Ab- und Aufklingen der Helligkeitsintensität sviedergegeben werden.

Im folgenden werden die in den Gleichungen (1) bis (4) verwendeten Koeffizienten Λ/ und gi (i= 1,2,3,4) definiert. Die gewählte Aufteilung der Gleichungen bietet Vorteile für den Ablauf der Rechenoperationen in einer gerätetechnischen Einrichtung.

Iu,

gi =

N-n-h *

N(I-I₁) N-Ii- h '

Si =

(9a)

(9b)

(9c)

(9d)

(10a)

(10b)

(10c)

(lOd)

Die Größen Λ,· und gi haben jeweils gleichen Nenner. Die Werte für Λ/ müssen ein Mal je Vertikalperiode (Dauer eines Bildes) und die Werfe für gi ein Mal je Horizontalperiode (Dauer einer Zeile) de? Fernsehsignals bestimmt werden. Über die Gleichungen (1) bzw. (3) ist £ von Λ,-abhängig.

Es werden folgende Hilfsgrößen verwendet:

und

k, = iMl -M/.J

mit

/β ν -

(lla)
(Hb)

(12a)
(12b)

(12c)
(12d)

Die Werte für l\, I₂, ki und fo müssen ein Mal je N Vertikalperioden bestimmt werden.

Die erforderlichen Koordinatenwerte sind durch Messung der Positionszuordnung der objektgleichen Bildpunkte Ao (χΆα χΆο) und A_n (x'_AN, y'As) bzw. B₀ -35 (x'eafed)und B_N(x'bm^bh)bekannt.

Das beschriebene Verfahren hat prinzipiell auch

Gültigkeit, wenn die Bildpunktzuordnungen innerhalb

der zeitlichen Folge durch die exakten Beziehungen der Abbildungsgeometrie statt durch das aufwandgünstigere lineare Modell beschrieben werden.

Zuzüglich oder alternativ zur beschriebenen Interpolation bzw. Extrapolation des Bild-zu-Bild Versatzes für das Gesamtbild kann eine entsprechende Interpolation oder Extrapolation für vorbestimmte Bildbereiche erfolgen, beispielsweise für sich vor dem Hintergrund bewegende Objekte, für die dann jeweils die entsprechenden Koordinatenpunkte gesondert festzulegen sind, oder allgemein zur Erhöhung der Wiedergabegenauigkeit und/oder Hervorhebung einzelner Bildteile.
Grundsätzlich ist das Verfahren auch für andere Anwendungen mit Relativbewegung zwischen Aufnahmesensor und Szene einsetzbar.

Je nach Anzahl der eingefügten Zwischenbilder kann die Wiedergabe mit Originalgeschwindigkeit, ZeitrafoS jFüng pder^itäeKnungJrfoigen.

Hierzu 1 Blatt Zeichnungen

Claims

Patentansprüche:

1. Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz bei Relativbewegung der aufgenommenen Szene gegenüber dem Aufnahmesensor, dadurch gekennzeichnet, daß durch abbildungsangepaßte Interpolation und/oder Extrapolation unter Zugrundelegung von jeweils zwei übertragenen Bildern wiedergabeseitig erzeugte Zwischenbilder in die übertragene Bildfolge eingefügt werden und die für die Inter- bzw. Extrapolation jeweils zuzuordnenden objektgleichen Bildpunktpositionen der beiden übertragenen Bilder aus der als bekannt ermittelten Zuordnung der Bildpunktpositionen für wenigstens zwei auf vertikal und horizontal ungleichen Koordinaten liegend* Objektpunkte in jedem der beiden übertragenen Bilder bestimmt werden.

2. Verfahren nach Anspruch 1. dadurch gekennzeichnet, daß der Inter- bzw. Extrapolation das Modell einer von Bild zu Bild linearen Änderung der zugeordneten Bildpunktpositionen zwischen den übertragenen Bildern zugrundegelegt wird.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß Büdbereiche ausgehend von unterschiedlichen Objektpunkten inter- bzw. extrapoliert werden.