DE2945615A1

DE2945615A1 - Digitales bildverarbeitungssystem fuer bewegte szenen

Info

Publication number: DE2945615A1
Application number: DE19792945615
Authority: DE
Inventors: Alfons 6104 Seeheim Plasberg; Ludwig Dr.-Ing. 6451 Mainhausen Stenger
Original assignee: Siemens AG; Siemens Corp
Current assignee: Siemens AG; Siemens Corp
Priority date: 1979-11-12
Filing date: 1979-11-12
Publication date: 1981-05-21

Description

Deutsche Bundespost 2352
Digitales Bildverarbeitungssystem für bewegte Szenen Digitale Codierverfahren für Fernsehsignale, die zur Reduktion der Datenrate redundanz- und irrelevanzreduzierende Methoden verwenden, führen in der Realisierung zu komplexen und meistenteils adaptiv gesteuerten Hardwaresystemen.
Die Optimierung der z. T. ineinandergreifenden Systemparameter im Hardware-Experiment ist umständlich, personalintensiv und zeitraubend. Kostengünstigere Entwicklungsprozeduren sind hier mit Rechnersimulationen erreichbar. Um bei der Simulation von digitalen Codierverfahren für bewegte Szenen Ergebnisse zu erzielen, die objektiv denen eines in Echtzeit arbeitenden Experimentalsystems entsprechen, müssen Sequenzen von Fernsehbildern für die Dauer mindestens einiger Sekunden fortlaufend in den Rechner übernommen und nach der Simulation wieder ausgegeben werden können.
Die bisher realisierten Bildverarbeitungssysteme unterscheiden sich, wenn man von der Vielfalt möglicher Rechner und peripherer Geräte absieht, im wesentlichen in der Ein-Ausgabe-Strategie. In Fig. 1 ist ein Bildverarbeitungssystem im Prinzip dargestellt. Das von der Kamera 1 oder einer anderen Bildquelle, z. B. einem Aufzeichnungsgerät 2 kommende analoge Ferneehaignal wird analog-digital gewandelt 3 und gelangt über ein Ein-Ausgabe-Interface 4 auf den peripheren Massenspeicher 5. Während der Simulation werden die Bilddaten satzweise vom Massenspeicher gelesen, im Rechner 6 umcodiert und unter einem zweiten Namen wieder auf den Speichermedium abgelegt. Zur Darstellung auf einem Monitor 7 werden die umcodierten Bilddaten vom Massenspeicher 5 gelesen und über das Ein-Ausgabe-Interface und über einen Digital-Analog-Wandler 8 ausgegeben.
Die Betriebsartenumschalter stehen in Fig. 1 in der Stellung Wiedergabe.
Deutsche Bundespost 2352 Anhand einiger Zahlen läßt sich ablesen, wo bei diesem Prinzip Schwierigkeiten entstehen. Durch die hohe Abtastfrequenz am Analog-Digital-Wandler 3 (nach neueren Spezifikationen der EBU (European Broadcasting Corporation) sind für PAL-Farbfernsehsignale 17,734475 MHz entsprechend 4 x Farbhilfsträgerfrequenz vorgesehen) und die hohe Amplitudenauflösung von 8 bit ergibt sich eine Datenrate von 141,88 Mbit/s. Weder der Rechner 6 noch der angeschlossene Massenspeicher 5 ist in der Lage, die Daten mit dieser hohen Geschwindigkeit abzunehmen.
Die zweite Schwierigkeit ist durch die Datenmenge bedingt.
Bei einer Abtastfrequenz von 17,7 MI#z und einer aktiven Pernsehzeile von 521us (64 us ohne horizontales Austastintervall) ergeben sich 922 Bildelemente pro Zeile. Bei 575 aktiven Zeilen (625 Zeilen ohne vertikale Austastung) folgt, daß sich ein Vollbild aus 530 ~ 103 Bildelementen, oder bei einer 8-bit-Quantisierung aus 530 ~ 103 byte zusammensetzt.
Bei einer Szenendauer von 10 s benötigt der Massenspeicher eine Kapazität von 130 Mbyte. Für wahlfreien Zugriff sind daher nur große Plattenlaufwerke als Massenspeicher einsetzbar.
Als Lösung des erstgenannten Problems bietet sich die Verwendung eines Pufferspeichers an, der zwischen den AD-Wandler 3 und das Ein-Ausgabe-Interface 4 geschaltet ist. Dieser nimmt die Daten schnell auf und gibt sie im Rechnertakt an den Massenspeicher weiter.
Die Kapazität des Pufferspeichers bestimmt die Ein-Ausgabe-Strategie. Im einfachsten Fall wird aus den von der Bildquelle gelieferten Bildsequenzen ein Vollbild oder ein Ausschnitt eines Vollbildes ausgeblendet, zwischengespeichert und an den Massenspeicher weitergegeben. Bei Beschränkung auf kleinere Bildausschnitte können in einem Vollbildspeicher Ausschnitte mehrerer auf#####fp###4er Vollbilder zwischen- Deutsche Bundespost 2352 gespeichert werden. Da die Kapazität des Pufferspeichers nicht beliebig erweiterbar ist, bleibt dieses System auf Simulationen mit kurzen Bildfolgen beschränkt. Ihre Aussagekraft ist entsprechend gemindert.
Zur Überwindung dieser Schwierigkeiten werden zwei Methoden diskutiert.
1. Die Tranaferrate zwischen Puffer- und Massenspeicher wird erhöht. Dies ist im wesentlichen eine Frage der Plattentechnologie.
2. Dem Prozessor wird ein in der Übertragungsgeschwindigkeit umschaltbares digitales Magnetband vorgeschaltet. Bei den bisher von der Industrie gefertigten Bandgeräten wird das Videosignal mit hoher Geschwindigkeit digital aufgezeichnet und kann mit einer im Verhältnis 1:32 reduzierten Geschwindigkeit zum Massenspeicher übertragen werden. Trotzdem kann bei diesem Konzept u.U. noch ein Pufferspeicher erforderlich werden.
Es ist die Aufgabe der Erfindung, eine kostengünstige Lösung für die Anpassung der bei der Verarbeitung bewegter Szenen während der Ein- und Ausgabe anfallenden hohen Bitraten an die Verarbeitungsgeschwindigkeit des Simulationsrechners anzugeben.
Diese Aufgabe wird durch die im Patentanspruch 1 angegebenen Merkmale gelöst. Zweckmäßige Ausbildungen der Erfindung sind in den Unteransprüchen angegeben.
Die erfindungsgemäße Lösung geht von der Überlegung aus, daß zur Verarbeitung bewegter Szenen lediglich die analoge Ein- und Ausgabe in Echtzeit erfolgen muß, während für die Deutsche Bundespost 2352 eigentliche digitale Verarbeitung theoretisch beliebig lange Zeit zur Verfügung steht.
Nachfolgend wird die Erfindung anhand mehrerer Figuren näher erläutert. Es zeigen Fig. 1 das bereits beschriebene Bildverarbeitungssystem nach dem Stande der Technik Fig. 2 das Bildverarbeitungssystem nach der Erfindung Fig. 3 den Aufbau des für die Einzelbildsteuerung verwendeten SMPTE-Codes Fig. 4 ein vereinfachtes Ablaufdiagramm für die Aufnahme einer Bildfolge in das Bildverarbeitungssystem Fig. 5 ein vereinfachtes Ablaufdiagramm für die Wiedergabe einer Bildfolge aus dem Bildverarbeitungssystem Fig. 6 ein Zeitdiagramm für eine im Format geänderte Zeile eines Faibfernsehsignals Fig. 2 zeigt im Blockschaltbild das Bildverarbeitungssystem nach der Erfindung. Für Schaltglieder, die gleiche Aufgaben erfüllen, sind die gleichen Bezugszeichen wie in Fig. 1 gewählt. Neu gegenüber der Fig. 1 sind der Mikroprozessor 9 für die Einzelbildsteuerung und ein Interface 10 zur Anpassung des Codes des Rechners 6 an den des Mikroprozessors 9 für die Einzelbildateuerung. Wie bei der Darstellung des Standes der Technik erwähnt, ist weiter als Pufferspeicher 11 ein Vollbildspeicher zwischen Analog-Digital-Wandler 5 und Ein-Ausgabe-Interface 4 geschaltet. Die Eingangsumsohalter stehen wie in Fig. 1 in der Wiedergabestellung.
Die Einzelbildateuerung nutzt die Eigenschaften des SMPTE-Zeitcodes, der auf einer seperaten Spur kontinuierlich aufgezeichnet wird und eine eindeutige Identifizierung Jedes Deutsche Bundespost 2352 Vollbildes (Frame) ermöglicht. Die Kennzeichnung des Vollbildes geschieht mit einem Codewort, das aus jeweils 80 bit besteht. Die Zuordnung der Bits erfolgt entsprechend Fig. 3.
Aus Fig. 3 geht hervor, daß die Zeit-Bits in 8 verschieden langen Gruppen angeordnet sind. Es sind die Bits mit den Nummern0 bis 3,8 bis 9,16 bis 19,24 bis 35,40 bis 42,48 bis 51 und 56 bis 57. Diese Bits haben eine zugewiesene Information, sie werden als assigned Adress-Bits" bezeichnet.
Daneben gibt es derzeit Bits noch ohne zugewiesene Information, die unassigned Address-Bits, die bis zur Zuordnung durch die EBU als fixes Zeros auf L0W-Pegel liegen.
Es sind die Bits mit den Nummern 10, 11,27, 43, 48 und 49.
Zwischen Address-Bit-Gruppen liegen 8 Gruppen mit jeweils 4 USER-Bits. Es sind die Bits mit den Nummern 4 bis 7 , 12 bis 15, 20 bis 23,28 bis 31,36 bis 39,44 bis 47,52 bis 55 und 60 bis 63. Die USER-Bits können vom Anwender mit beliebiger Information z. B. für Datum, Band oder Szenennummer o.ä.
belegt werden.
Die Bits mit den Nummern 64 bis 79 werden als Synchronisationswort zusammengefaßt. Es ermöglicht das genaue Erkennen des Endes eines Codewortes innerhalb des kontinuierlich ablaufenden Zeitcodes. Die HIGH/t0W-Konfiguration des Synchronisationswortes ist so ausgelegt, daß sie innerhalb der Zeit- und USER-Bita nicht nochmals auftreten kann.
Der Codebeginn liegt auf der Tsktflanke des ersten Bits (Nummer 0). Die Bits haben einen gleichmäßigen Abstand, so daß die Codewortdauer mit der Dauer eines Vollbildes zusammentrifft. Daraus folgt, daß die Bit-Frequenz beim 80fachen der Jeweils benutzten Normalvollbildfrequenz liegt, d.h. 2kurz bei 25 iiz.
Deutsche Bundespost 2352 Die Einzelbildaufnahme bzw. -wiedergabe geschieht unter der Kontrolle des Mikroprozessors 9 für die Einzelbildsteuerung durch Angabe einer Bildnummer, die im Interface O in den Zeitcode gemäß Fig. 3 umgesetzt wird oder durch direkte Angabe des Zeitcodes. Die auf dem Markt erhältliche Einzelbildateuerung ermöglicht die Anwahl von bis zu 10 000 Einzelbildern, die aneinandergereiht einer Szene von knapp 7 Minuten entsprechen. Durch Modifikation der Mikroprozessorschnittstellen kann die Szene noch weiter verlängert werden.
Damit entfällt die Notwendigkeit, ein Magnetband in mehrere Unterabschnitte, die jeweils mit dem Zeitcode 0 beginnen, aufzuteilen. Die Modifikation ermöglicht somit einen automatischen Suchlauf auf dem gesamten Band.
Die Eingabe einer Bildfolge über die Einzelbildateuerung geschieht in Anlehnung an das Ablaufdiagramm der Fig. 4, wobei der Eingabevorgang stark vereinfacht dargestellt wird.
Das aus der vorangegangenen Leseposition zurückgelsufene Videosufzeichnungagerät 2 wird durch Eingabe des Zeitcodes neu vorbereitet und läuft, sobald alle gepufferten Bilddaten des vorhergehenden Ablaufzyklus in den Massenspeicher 5 übernommen wurden, zum nächsten Vollbild vor.
Der Jeweilige Vor- und Rücklauf der Maschine .auch bei unmittelbar benachbart aufgezeichneten Vollbildern ist aus Synchronisationsgründen erforderlich. Das Bild wird gelesen, A/D-gewandelt 3 und im Pufferspeicher 11 abgelegt. Der Zeitcode wird um 1 erhöht und, während das Videoaufzeichnungsgerät 2 zurückläuft und neu vorbereitet wird, erfolgt die Datenübernahme in den Massenspeicher 5. Dieses durch die Programmschleife angedeutete Wechselspiel wird solange wiederholt, bis die gesamte Szene abgespeichert ist, d.h.
der Inhalt des Bildzählers gleich der maximalen Bildzahl N max ist.
Deutsche Bundespost 2352 Der besondere Vorteil dieser Ein-Ausgabe-Strategie liegt darin, daß die Datenübernahme in den Rechner beliebig langsam erfolgen kann, da das Videoaufzeichnungsgerät 2 in der Vorbereitungsposition so lange verharrt, bis nach Abschluß der Datenübernahme in den Massenspeicher 5 der Mikroprozessor 9 den Befehl zum Vorlauf und Lesen des nächsten Vollbildes erteilt. Selbst mit langsamen Prozessorsystemen kann damit die Bild-Ein-Ausgabe realisiert werden.
In Fig. 5 ist der Auslesevorgang im Ablaufdiagramm vereinfacht dargestellt.
Der Auslesezyklus beginnt nach dem Start mit der Datenübergabe des aktuellen gespeicherten Vollbildes aus den Massenspeicher 5 über den Rechner 6 in den Pufferspeicher 11.
Danach wird aufgrund der Bildnummer der Platz des Vollbildes auf dem Magnetband des Videoaufzeichnungsgerätes 2 bestimmt.
Das Magnetband läuft auf die vorbestimmte Stelle und das digital-analog gewandelte Vollbild wird dort aufgezeichnet.
Der Bildzähler für die Einzelbildsteuerung wird um 1 erhöht und danach geprüft" ob der Inhalt des Bildzählers mit der zu erwartenden Zahl N übereinstimmt. Danach ist die Programmschleife abgearbeitet und der Auslesezyklus wiederholt sich,solange N<Nmax ist, für das nächste Vollbild. Auch hier wird der Auslesevorgang solange wiederholt, bis die gesamte Szene auf dem Magnetband aufgezeichnet ist. Sie kann dann in Echtzeit abgetastet werden und bietet die Möglichkeit des Vergleichs mit der Originalszene.
Mit dem Bildverarbeitungssystem nach der Erfindung kann Jeweils nur ein Videosignal ein- bzw. wieder ausgegeben werden. Dies kann ein Luminanz- oder ein Farbfernsehsignal der Normen NTSC, SECAM oder PAL sein. Mit den genannten Modulationssystemen lassen sich Jedoch Beeirirächtigungen der Bildqualität, z.B. durch Cross-Colour-Effekte und Deutsche Bundespost 2352 Moiré-Störungen, nicht vermeiden. Um auch digitale Codierverfahren ohne diese analogen, system-bedingten Störungen simulieren zu können, müssen die drei Komponenten Y, R-Y und B-Y eines Farbfernsehsignals getrennt in den Rechner übernommen werden. Dazu ist es erforderlich, das Signalformat der drei Komponenten zu verändern und ein einkanaliges Zeitmultiplexsignal zusammenzustellen.
Bei den gewählten Abtastfrequenzen von 2.f0 bzw. mio/2 (fO= Farbhilfsträgerfrequenz = 4,443361875 MHz) für das Luminanz- bzw. für die beiden Chrominanzsignale ergeben sich 460 Abtastwerte pro aktive Zeile für das Luminanzsignal und Je 115 Abtastwerte für die Chrominanzsignale. Bei einer Videobandbreite des Videoaufzeichnungagerätes von 5 MIIz lassen sich aber nur insgesamt 520 Abtastwerte ( = 10 MHz Abtastfrequenz) in der aktiven Zeile unterbringen. Hieraus folgt, daß das Bildformat an den Seiten um etwa 1/4 verschmälern werden muß (exakt um 1-344/460), um einen genügend breiten Zeitschlitz für die Ubertragung der beiden Chrominanzkomponenten zu schaffen. Das resultierende Signalformat für die Magnetaufzeichnung ist in Fig. 6 dargestellt.
Die Fig. 6 zeigt eine Zeile nach der Gerbernorm in Zeitdiagramm. Zieht man von der Gesamtzeilendauervon 64 plus den vorangehenden horizontalen Austastimpuls mit 12>xs ab, verbleiben 54 /U8 für die Informationsübertragung. Davon wird die eine Hälfte von 26#s für das Helligkeitssignal Y mit 344 von 460 im ursprünglichen Format vorhandenen Bildelementen und die andere Hälfte für die beiden Farbdifferenzsignale R - Y und B - Y mit Je 13/um verwendet. Für Jedes Farbdifferenzsignal können infolge der Formateinengung 86 von 115 Bildelementen übertragen werden. Diese Minderung der Bildelementzahl ist durch Grenzfrequenzen des Videobandgerätes bedingt.
Deutsche Bundespost 2352 Die Verkleinerung des Bildformates ist für den angestrebten Zweck der Simulation bewegter Szenen ohne Belang. Dafür ergibt die Formatänderung den Vorteil, die drei Komponenten eines Farfernsehsignals einerseits ohne Quadratmodulation eines Hilfsträgers mit den dadurch bedingten Störungen und andererseits noch als einkanalig aufzuzeichnendes Signal zusammenzufassen.

Claims

Digitales Bildverarbeitungssystem fUr bewegte Szenen Deutsche Bundespost 2352 (3) Patentansprüche 9 Digitales Bildverarbeitungssystem für bewegte Szenen, a) bei dem Fernsehbildfolgen nach ihrer Analog-Digitalwandlung und Zwischenspeicherung entsprechend einer Rechnersimulation im Sinne einer Redundanz- und Irrelevanzreduktion fortlaufend codiert und nach erneuter Zwischenspeicherung und Digital-Analog-Wandlung als bewegte Szene wieder ausgegeben werden, dadurch gekennzeichnet ~daß b) zur Anpassung der anfallenden hohen Bitraten an die Verarbeitungsgeschwindigkeit des Rechners (6) eine eingangsseitige Dehnung und ausgangsseitige Raffung des Analogsignals mit Hilfe eines handelsüblichen über einen Mikroprozessor (9) gesteuerten Videoaufzeichnungagerätes (2) erfolgt, c) dessen Speichermedium in bekannter Weise parallel zur Analogspur eine digitale Zeitspur mit synchron zu Jedem Vollbild aufgebrachten Codewörtern mit fortlaufender Numerierung zur Einzelbildsteuerung aufweist, d) von welchem das kontinuierlich aufgezeichnete analoge Eingangssignal Jeweils vollbildweise im Start - Stop-Betrieb abgetastet, analog - digital gewandelt (3), in einen Pufferspeicher (11) eingelesen und während der Vorbereitungsphase auf den folgenden Abtastzyklus von dort in einen Massenspeicher (5) übernommen wird, Deutsche Bundespost 2352 e) und auf welches die auf dem Massenspeicher (5) nach Umcodierung durch die Rechnersimulation (6) abgespeicherten Vollbilder nach Durchlaufen des Pufferspeichers (11) und Digital-Analogwsndlers (8), gesteuert durch ihre codierte Bildnummer wieder vollbildweise aufgezeichnet werden, f) sodaß nach vollbildweiser Abtastung und Wiederaufzeichnung der gesamten Fernsehbildfolge eine kontinuierliche Abtastung in Echtzeit möglich ist (Fig.2).
2. Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß für die Codewörter der digitalen Zeitspur der SMPTE-Zeitcode verwendet wird (Fig. 3).
3. Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß das Helligkeitssignal und die beiden Farbdifferenzsignale einer Farbfernsehbildfolge unmittelbar zu einem einkanaligen Zeitmultiplexsignal zusammengefaßt werden, derart, daß die Hälfte einer aktiven Zeile von 520 Bildelementen dem Helligkeitssignal und die andere Hälfte den beiden Farbdifferenzsignalen zugeordnet wird, wobei zur Einhaltung der Grenzfrequenz des Videoaufzeichnungsgerätes eine Minderung der Bildbreite um etwa ein Viertel hingenommen wird (Fig. 6).