DE68928438T2

DE68928438T2 - Verfahren und Vorrichtung zur Erzeugung von beweglichen Bildern

Info

Publication number: DE68928438T2
Application number: DE68928438T
Authority: DE
Inventors: Frederic I Parke
Original assignee: New York Institute of Technology
Current assignee: New York Institute of Technology
Priority date: 1988-09-09
Filing date: 1989-09-07
Publication date: 1998-06-04
Anticipated expiration: 2009-09-08
Also published as: DE68928438D1; CA1331229C; EP0358498A3; US5025394A; JPH02141876A; EP0358498B1; EP0358498A2

Description

BESCHREIBUNG

Die Erfindung bezieht sich auf die Erzeugung elektronischer Darstellungen bewegter Bilder und insbesondere auf ein verbessertes Verfahren nebst Vorrichtung zur Kreierung bewegter Bilder von gespeicherten Bilddatenelementen mit wesentlichen verringerten Rechneranforderungen.
Die Erzeugung animierter Bilder hoher Qualität wird allgemein als mühselig und aufwendig betrachtet. Ehe es computererzeugte Animationen gab, erforderte jeder animierte Film Künstler zur Herstellung großer Anzahlen von Zeichnungen, wobei Tausende von Zeichnungen notwendig waren, um selbst einen kurzen Filmabschnitt herzustellen. In den letzten Jahren hat die Entwicklung raffinierter Computer-Animationstechniken eine wesentich effizientere Ausnutzung der Zeit der Künstler erlaubt, wobei der Computer zur automatischen Durchführung einer Anzahl von Aufgaben benutzt wird, einschließlich der Berechnung von Gegenständen, wie sie in einem Bild erscheinen sollen, und die Erzeugung sogenannter Zwischenbilder einer animierten Sequenz. Jedoch beginnt die computererzeugte Animation erst in letzter Zeit die Qualität nichtautomatisierter, von Hand erstellter Animation zu erreichen. Da die computererzeugte Animation mit höherer Qualität und höherer Auflösung erfolgt, wächst die Anzahl der für die Erzeugung der Bilder aus gespeicherten Bilddatenelementen erforderlichen Berechnungen schnell, und dies führt zu einer Vergrößerung der notwendigen Prozessor- und Speicherkapazitäten und/oder der für die Durchführung der Animation erforderlichen Zeit. Dies erhöht aber die Produktionskosten für computererzeugte Animation.
Es ist früher bereits nachgewiesen worden, daß die Eigenschaften des menschlichen Sehvermögens in Betracht gezogen werden können beim Entwurf von Einrichtungen für die Codierung und Decodierung von Videosignalen oder deren Speicherung mit verringerten Bandbreitenerfordernissen. Beispielsweise kann ein elektronisches Videosignal mit reduzierter Bandbreite codiert werden durch Verringerung der Vollbild-Erneuerungsrate der Komponenten hoher Raumfrequenz unter Beibehaltung der Vollbild-Erneuerungsrate mindestens eines Teils der Komponenten niedriger Raumfrequenz bei der Standardrate. Wird dies in spezieller Weise gemacht, dann führt es nicht zu einer nennenswerten Verschlechterung des letztendlich dargestellten Bildes, weil das menschliche Auge Anderungen von Information hoher räumlicher Auflösung nicht mit einer so schnellen Rate erkennen kann, wie Anderungen von Informationen niedriger räumlicher Auflösung.
Dementsprechend ist ein elektronisches Video-Codier- und -Decodiersystem entworfen worden, welches hieraus und aus anderen Eigenschaften des menschlichen Sehvermögens Vorteil zieht durch eine Codierung, bei welcher Videokomponenten hoher räumlicher Auflösung bei einer zeitlichen Informationsrate liegen, welche näherungsweise der höchsten Rate entspricht, die tatsächlich vom menschlichen Sehapparat für solche Komponenten erkannt wird; auf diese Weise wird die Notwendigkeit vermieden, diese Komponenten mit einer höheren Rate zu codieren, was zu einem höheren Bandbreitenverbrauch führen würde. Ein solches System ist in der US-Patentschrift 4 652 909 beschrieben. Es ist auch gezeigt worden, daß Information niedriger räumlicher Auflösung in einer Form erzeugt werden kann, die mit der üblichen Fernsehnorm, beispielsweise NTSC, kompatibel ist. Diesbezüglich wird beispielsweise auf die US-Patentschriften Nr. 4 517 597, 4 628 344, 4 652 909, 4 667 226 und 4 701 783 desselben Anmelders wie im vorliegenden Falle hingewiesen.
Die beschriebenen Techniken sind sehr nützlich bei der Verarbeitung von Videosignalen zur Reduzierung der für die Übertragung und/oder Speicherung der Signale notwendigen Bandbreite. Es wurde auch vorgeschlagen, daß Techniken, welche aus den oben genannten Eigenschaften des menschlichen Sehvermögens Vorteil ziehen, ebenso mit Vorteil bei der Bildanimation eingesetzt werden können. Nach Kenntnis des Anmelders existieren jedoch keine praktikablen Techniken und Systeme für die Erzeugung von Animationen unter erheblichen Einsparungen an Computeraufwand und/oder Speicherbedarf und/oder Zeitaufwand.
In der GB-A-2176678 ist die Erzeugung von Fraktalsignalen aus einer Basisgestalt oder Form beschrieben, die eine Kombination von Vollbildern unterschiedlicher räumlicher Auflösung einschließt. Die gemäß dieser Literaturstelle zu kombinierenden Vollbilder treten mit derselben Vollbildrate auf, und die Eigenschaften des menschlichen Sehvermögens werden nicht betrachtet oder ausgenutzt.
Zu den Aufgaben der vorliegenden Erfindung gehört die Schaffung eines verbesserten praktikablen Verfahrens samt Vorrichtung zur Erzeugung elektronischer Darstellungen animierter Bilder aus gespeicherten Bilddatenelementen unter wesentlicher Verringerung von Computer-Erfordernissen.
Gemäß einem Gesichtspunkt der Erfindung enthält ein Verfahren zum Erzeugen elektronischer Darstellungen bewegter Bilder aus gespeicherten Bilddatenelementen die Schritte:
Berechnen einer ersten Folge von Einzelbildern relativ niedriger Auflösung, die bewegte Bilder über eine gegebene Zeitperiode darstellen, aus den gespeicherten Datenelementen und Tiefpaßfiltern der Information in den besagten Einzelbildern relativ niedriger Auflösung;
Berechnen einer zweiten Folge von Einzelbildern relativ hoher Auflösung über die gegebene Zeitperiode aus den gespeicherten Datenelementen und Hochpaßfiltern der Information in den besagten Einzelbildern relativ hoher Auflösung, wobei die Anzahl von Einzelbildern in der zweiten Folge kleiner ist als die Anzahl von Einzelbildern in der ersten Folge, und
Kombinieren entsprechender Einzelbilder der ersten und der zweiten Folge um ausgangsseitige Einzelbilder hoher Auflösung zu erhalten, welche die bewegten Bilder über die gegebene Zeitperiode darstellen.
Gemäß einem zweiten Gesichtspunkt der Erfindung enthält eine Vorrichtung zum Erzeugen elektronischer Darstellungen bewegter Bilder aus gespeicherten Bilddatenelementen:
eine Einrichtung zum Berechnen einer ersten Folge von Einzelbildern relativ niedriger Auflösung, die bewegte Bilder über eine gegebene Zeitperiode darstellen, aus den gespeicherten Bilddatenelementen und eine Einrichtung zur Tiefpaßfilterung der Information in den Einzelbildern relativ niedriger Auflösung;
eine Einrichtung zum Berechnen einer zweiten Folge von Einzelbildern relativ hoher Auflösung, die bewegte Bilder über die gegebene Zeitperiode darstellen, aus den gespeicherten Bilddatenelementen, und eine Einrichtung zur Hochpaßfilterung der Information in den Einzelbildern relativ hoher Auflösung, wobei die Anzahl von Einzelbildern in der zweiten Folge kleiner ist als die Anzahl von Einzelbildern in der ersten Folge ist, und
eine Einrichtung zum Kombinieren entsprechender Einzelbilder der ersten und der zweiten Folge, um ausgangsseitige Einzelbilder hoher Auflösung zu erhalten, welche die bewegten Bilder über die gegebene Zeitperiode darstellen.
Gemäß einer Ausführung der Erfindung ist ein Verfahren zur Erzeugung elektronischer Darstellungen bewegter Bilder aus gespeicherten Bilddatenelementen vorgesehen. Die Bilddatenelemente können von einer oder mehreren Ausgangsdatenquellen stammen und irgend eine geeignete Form haben, aus der sich Bilder berechnen lassen. Eine erste Folge von Bildern relativ niedriger Auflösung wird aus den gespeicherten Bilddatenelementen berechnet, und diese erste Folge von Vollbildem stellt bewegte Bilder über ein gegebenes Zeitintervall dar. Aus den gespeicherten Bilddatenelementen wird eine zweite Folge von Bildern relativ hoher Auflösung berechnet, wobei auch diese zweite Folge animierte Bilder über das gegebene Zeitintervall darstellen. Die Anzahl von Vollbildern in der zweiten Folge ist geringer als die Bildanzahl in der ersten Folge. Entsprechende Bilder der ersten und zweiten Folgen (also Vollbilder, die Komponenten desselben letztendlich darzustellenden Bildes sind) werden zu Ausgangsbildern hoher Auflösung kombiniert, die animierte Bilder über das vorgegebene Zeitintervall darstellen.
Bei der bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens enthält die erste Folge mindestens doppelt soviel berechnete Bilder wie die zweite Folge. So kann bei einer beispielhaften Ausführungsform die erste Folge für eine letztendliche Darstellung mit 30 Bildern pro Sekunde berechnet sein und die zweite Folge für eine Darstellung mit 15 Bildern pro Sekunde. Die bevorzugte Ausführung des erfindungsgemäßen Verfahrens enthält ferner die folgenden Schritte: räumliche Interpolation jedes der Bilder der ersten Folge zur Erhöhung der Anzahl von Bildelementen in den räumlich interpolierten Bildern und zeitliche Interpolation zwischen Bildern der zweiten Folge, um in dieser weitere Bilder zu erhalten. Bei dieser Ausführung enthält der Kombinierschritt eine Kombination der interpolierten Bilder der ersten Folge mit Bildern der zweiten Folge und weiteren Bildern der zweiten Folge. Auch werden bei dieser Ausführung durch die räumliche Interpolation der ersten Folge von Bildern interpolierte Bilder erzeugt, welche die gleiche Anzahl von Pixeln enthalten wie die Bilder der zweiten Bilderfolge, und die zeitliche Interpolation der zweiten Bilderfolge führt zu einer Gesamtzahl von Bildern der zweiten Folge und weiteren Bildern dieser Folge, welche die gleiche ist wie die Anzahl von Bildern der ersten Folge.
Bei einer nachbeschriebenen weiteren Ausführungsform des erfindungsgemäßen Verfahrens wird eine dritte Folge von Zwischenauflösungsbildern berechnet, welche die animierten Bilder über das gegebene Zeitintervall darstellen, wobei die Anzahl von Bildern in der dritten Folge kleiner als die Anzahl von Bildern in der ersten Folge aber größer als die Anzahl von Bildern in der zweiten Folge ist. Bei dieser Ausführungsform werden die Bilder der dritten Folge sowohl räumlich als auch zeitlich interpoliert, um eine interpolierte dritte Folge von Bildern zu erhalten, welche dieselbe Gesamtanzahl von Bildern wie die erste Folge erhält und dieselbe Anzahl von Pixeln pro Bild wie die Bilder der zweiten Folge.
Ein bedeutender Vorteil der Erfindung besteht darin, daß die Gesamtanzahl von Pixelwerten, die für jedes Ausgangsvollbild berechnet werden, wesentlich kleiner als die Anzahl ist, die benötigt wird bei Anwendung üblicher Methoden zur direkten Berechnung der Pixelwerte des Ausgangsbildes für jedes Pixel jedes Bildes mit der Ausgangspixeldichte und Bildrate, und zwar wegen der Reduzierung der notwendigen Anzahl berechneter Bilder mit Informationen der relativ höheren Auflösung. Die Ausführung, bei welcher eine Folge von Bildern mit Zwischenauflösung verwendet wird, benötigt noch weniger Gesantrechenaufwand für eine bestimmte effektive Auflösung am Ausgang als die Ausführung, bei welcher nur Folgen von Bildern relativ hoher und relativ niedriger Auflösung verwendet werden.
Die Erfindung läßt sich anwenden zur Erzeugung von Ausgangsbildern mit jeder geeigneten Auflösung, wobei die Vorteile des verringerten Rechenaufwandes für Ausgangsbilder mit sogenannter üblicher Auflösung ebenso wie für Ausgangsbilder mit demgegenüber höherer Auflösung bestehen.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden detaillierten Beschreibung in Verbindung mit den beiliegenden Zeichnungen. Es zeigen.
Fig. 1 ein Blockschaltbild eines Systems, das bei geeigneter Programmierung zur Realisierung einer Ausführungsform der Erfindung benutzt werden kann;
Fig. 2 ein vereinfachtes Verfahrensdiagramm zur Erläuterung der Funktionsweise einer Ausführungsform der Erfindung;
Fig. 3 ein Flußdiagramm einer Routine zur Programmierung eines Prozessors zur Realisierung einer Ausführung der Erfindung;
Fig. 4 ein Flußdiagramm einer Ausführungsform einer Routine für die Interpolation aus gespeicherten Bildern zur Erzeugung von Bildern, die im Sinne von Bildern der gewünschten höheren Auflösung kombiniert werden; und
Fig. 5 die Funktionsweise einer weiteren Ausführungsform der Erfindung.
Figur 1 veranschaulicht ein System, das bei geeigneter Programmierung gemäß den hier erläuterten Lehren zur Realisierung einer Ausführungsform der Erfindung benutzt werden kann. Bei der veranschaulichten Ausführungsform ist ein Operator 110 an einer Workstation gezeigt, die Eingangsgeräte wie eine Datentafel 111, eine Tastatur 112 und ein oder mehrere Bildschirme, die hier durch einen Monitor 115 veranschaulicht werden, enthält. Wie sich zeigen wird, läßt sich die Erfindung technisch auch automatisch unter Programmsteuerung durchführen, etwa wie wenn vorher ein Skriptum formuliert worden ist zur Definierung der Art der Bilder, welche das System berechnen soll. Bei dem dargestellten System kann jedoch ein Animator (also der Operator 110) in den Bilderzeugungsprozeß auf dynamischer Basis einbezogen werden, beispielsweise durch Auswahl der Quelle und Bestimmung der zu erzeugenden Bilder oder Bildkomponenten. Es sei hervorgehoben, daß der Fortschritt der vorliegenden Erfindung sich auf die Wirtschaftlichkeit beim Bilderzeugungsprozeß bezieht und nicht auf die Datenquelle beschränkt ist, aus welcher die Bilder kreiert werden, oder auf die Steuerung (automatisch, halbautomatisch oder manuell), welche die Datenauswahl und Manipulation bestimmt, die für die Schaffung der gewünschten Bilder aus den Quellendaten benutzt werden, die im Stand der Technik durchaus bekannt sind.
Die verschiedenen Einrichtungen der in Fig. 1 veranschaulichten Ausführungsform sind durch eine Leitung 50 mit einem Prozessoruntersystem 100 gekoppelt dargestellt, das einen geeignet programmierten Universal-Prozessor oder Computer enthalten kann wie etwa das Modell VAX 11-785 der Digital Equipment Corporation, welches mit einem programmierten Speicher, einem Arbeitsspeicher, einer Zeitgeberschaltung und dergleichen ausgerüstet ist, wie es in der Technik bekannt ist. Alternativ können auch andere Prozessoren, wie etwa ein Spezialcomputer oder eine entsprechende Schaltung benutzt werden.
Bei der veranschaulichten Ausführungsform stellt die Datenbasis 150 die Datenquelle(n) dar, aus welcher die Bilder abzuleiten sind. Diese Datenquellen können von einfachen Linien, Kurven, Polygonen bis zu komplexen Objekten, Sätzen von Objekten oder Hintergründen etc. ohne Begrenzung reichen. Ein Bildpufferspeicher-Untersystem 160 ist vorgesehen, welches einen oder mehrere Pufferspeicher für hochaufgelöste Bilder enthält, wie es allgemein bekannt ist. Ein Bildpufferspeicher umfaßt typischerweise einen adressierbaren Speicher, der ein Bild der Videoinformation speichert. Dieses Bild kann irgendein geeignetes Format haben und muß nicht notwendigerweise im normgemäßen Fernsehformat vorliegen. Einem Elementarbereich (auch als Bildpunkt oder Pixel bezeichnet) im Videobild ist ein gespeicherter Wert oder Werte (als Videoinhaltswert oder Pixelwert bezeichnet) zugeordnet. Der gespeicherte Wert ist typischerweise ein Wort mit n Bit, welches den Bildinhalt darstellt, beispielsweise durch Bits, welche die Leuchtdichte und Farbe oder die Farbkomponentenwerte für R, B und G darstellen. Erhältliche Bildpufferspeicher enthalten auch Einrichtungen zur Abtastung des Inhalts ihres Bildspeichers und zur Umwandlung der Abtastwerte in Bilder analoger Videosignale, die sich zur Speicherung und/oder Wiedergabe eignen, wobei für den oder die hier verwendeten Bildpufferspeicher diese Kapazität unterstellt wird. Ein Videospeicher 170 kann durch irgendeine bekannte analoge oder digitale Videoaufzeichnungseinrichtung zur Speicherung von Videosignalen mit hoher Auflösung vorgesehen sein, wie etwa ein Videobandrecorder oder eine Bildplatte. Ein geeignetes Filmspeicheruntersystem 180 mit einer Kapazität zur Umwandung hochaufgelöster Videobilder in Filmbilder kann ebenfalls in bekannter Art vorgesehen werden.
Figur 2 zeigt ein vereinfachtes Diagramm zur Veranschaulichung der Technik gemäß einer Ausführungsform der Erfindung. Die Datenbasis 150 ist diejenige von Fig. 1 und enthält die graphischen Beschreibungen, aus welchen Bilder erzeugt werden können. Der Block 210 veranschaulicht die Berechnung von Bildem relativ niedrig aufgelöster Leuchtdichte(Y)- und Farbdifferenz(R-Y und B-Y)-Information aus den gespeicherten Daten und entsprechend der Steuerung durch einen Operator (beispielsweise den in Fig. 1 mit 110 bezeichneten) und/oder Steuerung durch ein Programm. [Wie beispielsweise in der oben genannten US-Patentschrift 4 628 344 im Zusammenhang mit der Codierung und Decodierung von Videosignalen beschrieben, können Farbkomponenten mit einer relativ niedrigen Bilderneue rungsrate als hochaufgelöste Leuchtdichtekomponenten dargestellt werden. Für ein monochromes System wird nur die niedrig und hochaufgelöste Leuchtdichte berechnet.] Die berechnete Information wird tiefpaßgefiltert (Block 211) zur Entfernung der Komponenten hoher Raumfrequenz und dann gespeichert (Puffer 216, 217 und 218).
Relativ hochaufgelöste Bilder von Leuchtdichteinformation werden ebenfalls berechnet und gespeichert, wie dies durch den Block 220 dargestellt ist. Diese Bilder haben eine höhere Pixeldichte als die niedriger aufgelösten Leuchtdichtebilder, die gemäß Block 210 berechnet worden sind. Beispielsweise können die Bilder höherer Auflösung etwa zweimal soviel berechnete Pixel sowohl in Horizontal- als auch in Vertikalrichtung haben als die niedriger aufgelösten Bilder, also die vierfache Pixeldichte haben. Ferner werden für ein gegebenes Zeitintervall der darzustellenden Animation weniger hochaufgelöste Bilder als niedrigaufgelöste Bilder berechnet und gespeichert. Beispielsweise können für jede Sekunde darzustellender Animation 30 Bilder niedrigaufgelöster Information und 15 Bilder (oder etwa auch 7,5 Bilder) hochaufgelöster Information erzeugt werden. Die hochaufgelösten Bilder werden hochpaßgefiltert (Block 221) zur Entfernung der Komponenten niedriger Raumfrequenz und dann gespeichert (Puffer 222). Die Tiefpaß- und Hochpaßfilterung (Blocks 211 und 221) kann mit Hardware- oder Softwaretechniken durchgeführt werden; bei der vorliegenden Erfindung erfolgt diese Filterung mit einer geeigneten bekannten Softwaretechnik, wie im Zusammenhang mit Fig. 3 noch erläutert wird. Die gespeicherten gefilterten Bildkomponenten werden interpoliert und kombiniert (Block 230), wie es im Zusammenhang mit Fig. 4 noch erläutert wird, um Ausgangsbilder hoher Auflösung zu erhalten. Die Ausgangsbilder können in Form hochaufgelöster Leuchtdichte- und Farbdifferenzsignale entstehen oder in bekannter Weise in hochaufgelöste Farbkomponentensignale R, G und B umgewandelt werden.
Figur 3 zeigt ein Flußdiagramm einer Routine zur Programmierung eines Prozessors, wie etwa des Prozessoruntersystems 100 in Fig. 1 zur Durchführung einer Technik entsprechend der Ausführungsform gemäß Fig. 2. Bei der Veranschaulichung hier wird angenommen, daß alle Daten, aus denen Bilder erzeugt werden sollen, in der Datenbasis 150 vorhanden sind, aber es versteht sich, daß irgendeine oder mehrere geeignete Datenquellen benutzt werden können ebenso wie geeignete Mittel zur Bestimmung der Art der zu berechnenden Bilder oder zur Durchführung der Bildberechnungen. Wie oben gesagt, gehören all diese Aspekte bereits zum Stande der Technik und bilden für sich keine Merkmale der Erfindung.
Der Block 311 veranschaulicht die Initialisierung eines Bildindex, der bei der vorliegenden Ausführung angesehen werden kann als Bildzählwert in der letztendlichen Darstellung der gemäß der Erfindung zu erzeugenden animierten Bilder. Es versteht sich, daß die Bilderzeugung hier typischerweise nicht in Realzeit durchgeführt wird und daß dieser Index zum Zwecke der Verfolgung der erzeugten Bildkomponenten bei der Verarbeitung zur letztendlichen Zusammensetzung und Darstellung dient. Dementsprechend könnte alternativ auch ein Zeitbezugsindex (der sich auf die Zeit während der letztendlichen Darstellung bezieht) oder ein anderer geeigneter Index benutzt werden.
Der Block 321 veranschaulicht die Eingabe der Bilddatenidentifizierung und Steuerung, welche die Auswahl der Datenbasisinformation und die Berechnungsfunktion oder dergleichen für den momentanen Bildindex bestimmt. Wie bereits gesagt, ist diese Funktion im Stand der Technik bekannt und wird typischerweise durch ein Programm, wie etwa ein sogenanntes Exposure-Sheet-Program, und/oder unter Operator-Steuerung durchgeführt. Der Block 322 veranschaulicht die Berechnung und Speicherung der relativ niedrig aufgelösten Bilder aus Bildkomponenten Y, (R-Y) und (B-Y) für den momentanen Bildindex.
Diese Berechnungen sind wie gesagt im Stand der Technik bekannt und die verwendeten Berechnungsarten sind für sich gesehen kein Teil der Erfindung. Die Bildkomponenten sollten so berechnet werden, daß keine wesentlichen Frequenzkomponenten auftreten, welche zu Raumfrequenz-Aliasing-Effekten führen würden. Das bedeutet, daß die berechneten Bildkomponenten nur Raumfrequenzen bei oder unterhalb der maximal möglichen Raumfrequenz für ein Bild dieser Auflösung enthalten sollen. Sind höhere Raumfrequenzen vorhanden, dann treten Artefakte auf wie gestufte Kanten oder Flimmern kleiner Objekte. Bei den veranschaulichten Ausführungsbeispielen wird dieses Problem reduziert durch eine geeignete Filterung der berechneten Bildkomponenten. Der Block 325 veranschaulicht die Tiefpaßfilterung der berechneten Bildkomponenten, und diese Filterung sowie die andere hier durchgeführte Filterung läßt sich beispielsweise mit bekannten Softwareroutinen durchführen, von denen etwa eine eine diskrete zweidimensionale Faltung unter Verwendung eines symmetrischen Gauß'schen 4:4-Kernal- Verfahrens benutzt. Die Filterung kann auch mit bekannter Hardware durchgeführt werden oder unmittelbar in Verbindung mit dem Bildberechnungsverfahren.
Als nächstes wird untersucht (Rhombus 330), ob ein Leucht dichtebild relativ hoher Auflösung (wie beispielsweise mit dem Block 220 in Fig. 3 veranschaulicht ist) für den momentanen Bildindex zu berechnen ist. Bei der hier besprochenen Ausführungsform werden die Bildkomponenten relativ niedriger Auflösung für eine letztliche Darstellungsrate von 30 Bildern pro Sekunde erzeugt, und die Leuchtdichtebilder relativ hoher Auflösung für eine Wiedergaberate von 15 Bildern pro Sekunde, obwohl auch andere geeignete Raten von weniger als 30 Bildern pro Sekunde verwendet werden können. Das bedeutet, daß bei der vorliegenden Ausführung ein Leuchtdichtebild hoher Auflösung halb so oft berechnet wird wie eines niedriger Auflösung, und beispielsweise können Bilder hoher Auflösung nur bei ungeraden Bildindexzahlen berechnet werden. Wenn das Ergebnis der Untersuchung des Rhombus 330 negativ ist, dann geht es unmittelbar beim Rhombus 360 weiter. Andernfalls erfolgt die Fortsetzung mit den Blöcken 350 und 355 zur Berechnung und Speicherung der Leuchtdichte-Bildkomponenten relativ hoher Auflösung und zur Hochpaßfilterung der Bilder. Bei der hier beschriebenen Ausführungsform können die Bilder hoher Auflösung beispielsweise so berechnet werden, daß sie zweimal soviel Pixel wie die Leuchtdichtebilder niedriger Auflösung haben, und zwar sowohl in Horizontal- wie in Vertikalrichtung, also viermal soviel Pixel insgesamt haben wie die Bilder niedriger Auflösung. Dann wird untersucht (Rhombus 360), ob das letzte Bild der momentan erzeugten Bildfolge berechnet worden ist. Ist dies nicht der Fall, dann wird der Bildindex erhöht (Block 365) und die Schleife 370 wird wiederholt, bis alle Bilder der Folge berechnet worden sind.
Es sei nun Fig. 4 betrachtet, die ein Flußdiagramm für eine Realisierung der Interpolationsroutine zeigt, mit der aus gespeicherten Bildern kombinierte Bilder abgeleitet werden, welche die gewünschte hohe Auflösung ergeben. Diese Operationen waren oben in Fig. 2 durch den Block 230 dargestellt. Bei der beschriebenen Ausführung werden die Bilder niedriger Auflösung räumlich interpoliert zu Bildern mit derselben Anzahl von Pixeln wie die hochaufgelösten Bilder. Ferner werden die hochaufgelösten Bilder (die wie gesagt weniger oft als die niedrig aufgelösten Bilder erzeugt werden) zeitlich interpoliert, um die gleiche Anzahl von Bildern wie die niedrig aufgelösten Bilder zu erhalten. Nach diesen Interpolationen können die resultierenden Bildfolgen leicht kombiniert werden zu Ausgangsbildern hoher Auflösung. Die Konzepte der räumlichen und der zeitlichen Interpolation sowie die jeweiligen Mittel zur Durchführung solcher Interpolationen sind bekannt und beispiesweise in den oben genannten US-Patentschriften 4 517 597 und 4 628 344 beschrieben. Beispielsweise können die Interpolationen mit einer Hardware (oder Software) durchgeführt werden, die im Falle der räumlichen Interpolation mit einer Mittelung (oder einer anderen geeigneten mathematischen Kombinierungsfunktion) benachbarter Pixelwerte arbeitet und im Falle der zeitlichen Interpolation im Sinne einer Mittelung (oder anderen geeigneten mathematischen Kombination) entsprechender Pixel aufeinanderfolgender Bilder arbeitet, um die interpolierten Bilder zu erhalten. In Fig. 4 ist die räumliche Interpolation durch den Block 421 dargestellt und die zeitliche Interpolation durch den Block 431. Nach der Durchführung dieser Interpolationen für das erste Paar zu kombinierender Leuchtdichtebilder wird ein Pixelindex initialisiert, wie dies Block 450 veranschaulicht. Für das betrachtete Pixel werden die Pixelwerte gemittelt (oder können beispielsweise in anderer geeigneter Weise kombiniert werden, wie durch Addition, wobei dies in Betracht gezogen wird bei der Interpretation der kombinierten Pixelwerte, wenn sie später in analoge Form für die letztendliche Darstellung umgewandelt werden), und dieser Mittelwert wird gespeichert (Block 460), beispielsweise in dem Bildpufferspeicher-Untersystem der Fig. 1. Der resultierende Wert, der im Bildpufferspeicher-Untersystem gespeichert ist, ist für das spezielle Pixel des Ausgangsbildes der Leuchtdichtewert hoher Auflösung. Dann wird untersucht (Rhombus 465), ob das letzte Pixel verarbeitet worden ist, und wenn dies nicht der Fall ist, wird der Pixelindex erhöht (Block 470), und die Schleife 475 wird wiederholt, bis alle Ausgangspixelwerte für das laufende Bild berechnet und gespeichert worden sind. Wenn das Ergebnis der Untersuchung im Rhombus 465 jedoch eine Bestätigung ist, dann ist ein vollständiges Ausgangsbild im Bildpufferspeicher gespeichert, und der Block 480 stellt das Auslesen dieses Bildes zur Speicherung in einem Videospeicher hoher Auflösung dar, beispielsweise im Block 170 und/oder dem Speicher des Filmaufzeichnungsuntersystems 180 in Fig. 1. Dann wird untersucht (Rhombus 490), ob das letzte Bild einer gerade berechneten Folge verarbeitet worden ist. Ist dies nicht der Fall, dann geht es zurück in den Block 450, und die Schleife 495 wird wiederholt, bis alle Bilder einer gewünschten Folge verarbeitet und ausgegeben sind.
In dem beschriebenen Beispiel erfolgt die Interpolation und Kombination für die hoch- und niedrigaufgelösten Leuchtdichtebilder, und die gespeicherte Farbkomponenteninformation niedriger Auflösung kann analog zum Ausgangsfarbbild verarbeitet werden. Alternativ können die räumlich interpolierten Bilder R-Y und B-Y erzeugt und zur Bildung eines Ausgangsvideobildes und/oder Films benutzt werden. In den vor- und nachstehend beschriebenen Beispielen wird die Verarbeitung, etwa der Berechnung der Bilder, der Durchführung der Interpolationen und der Kombination von Bildern, als aufeinanderfolgend beschrieben, es versteht sich jedoch, daß diese Verarbeitungen alternativ auch in anderer Reihenfolge oder parallel unter Verwendung mehrerer Prozessoren, Parallel-Hardware oder anderer geeigneter Mittel durchgeführt werden können. Auch werden bei der beschriebenen Verarbeitung Leuchtdichteund Farbdifferenzkomponenten benutzt, jedoch können alternativ auch R-, B- und G-Komponenten relativ niedriger Auflösung und eine Leuchtdichte(Y)-Komponente relativ hoher Auflösung benutzt werden.
Figur 5 zeigt ein Diagramm zur Veranschaulichung einer Technik gemäß einer weiteren Ausführungsforn der Erfindung. Hierbei sind die Datenbasis 150 und die Blocks 210, 211, 216, 217 und 218, welche die Berechnung, Filterung und Speicherung der Bilder relativ niedriger Auflösung betreffen, die gleichen wie in Fig. 2. Die Blocks 520, 521 und 522 sind ähnlich den entsprechenden Blocks 220, 221 und 222 aus Fig. 2 mit der Ausnahme, daß bei der nun beschriebenen Ausführungsform 7 ½ Bilder relativ hoher Auflösung pro Sekunde darzustellender Animation erzeugt werden. Auch haben bei dieser Ausführung die Bilder hoher Auflösung viermal soviel Pixel in Horizontal- wie in Vertikalrichtung als die Bilder relativ niedriger Auflösung. Ferner werden Zwischenauflösungsbilder mit Leuchtdichte- und Farbdifferenzinformation berechnet (Block 530), wobei 15 Zwischenauflösungsbilder für jede darzustellende Animationssekunde vorgesehen sind. Diese Bilder haben zweimal soviel Pixel sowohl in Horizontal- wie auch in Vertikalrichtung als die Bilder relativ niedriger Auflösung (und damit sowohl in Horizontal- wie in Vertikalrichtung halb soviel Pixel wie die Bilder relativ hoher Auflösung). Der Block 531 veranschaulicht die Bandpaßfilterung der berechneten Zwischenauflösungsbilder, und die Blocks 536, 537 bzw. 538 stellen die Speicherung der gefilterten Leuchtdichte- und Farbdifferenzinformation dar. Der Block 540 ist ähnlich wie der entsprechende Block 230 in Fig. 2 mit der Ausnahme, daß in diesem Falle die Bilder mittlerer Auflösung ebenso interpoliert und kombiniert werden mit den Folgen der interpolierten Bilder hoher und niedriger Auflösung. Speziell werden die Bilder mittlerer Auflösung bei der Ausführung nach Fig. 5 sowohl räumlich wie auch zeitlich interpoliert zu einer Folge von Bildern mit der gleichen Anzahl von Pixeln wie die hochaufgelösten Bilder und derselben Gesamtanzahl von Bildern pro Zeiteinheit der darzustellenden Animation wie die niedrigaufgelösten Bilder. Wie vorher werden die Bilder niedriger Auflösung räumlich und die Bilder hoher Auflösung zeitlich interpoliert. Dies ergibt drei Folgen von Bildern mit derselben Anzahl von Pixeln wie die hochaufgelösten Bilder und mit derselben Anzahl von Bildern pro Zeiteinheit der darzustellenden Animation wie die Bilder niedriger Auflösung. Diese drei Folgen können dann in der vorbeschriebenen Weise kombiniert werden durch Mittelung oder andere geeignete Verfahren. Bei dem Flußdiagramm nach Fig. 4 würden die Interpolationsroutinen bei der jetzt beschriebenen Ausführung auch die räumliche und zeitliche Interpolation (in beliebiger Reihenfolge) der Bilder mittlerer Auflösung einschließen sowie die Kombination der Pixelwerte dieser interpolierten Bilder mit Pixelwerten der interpolierten Folgen von Bildern hoher und niedriger Auflösung.
Die Erfindung ist mit Bezug auf spezielle bevorzugte Ausführungsformen beschrieben worden, jedoch verstehen sich für den Fachmann auch Abwandlungen. Beispielsweise ist die Anzahl von Pixeln und Bildern in den beschriebenen speziellen Ausführungsbeispielen nur zur Veranschaulichung angegeben, und es können auch andere Zahlen genommen werden. Auch kann wie gesagt die Reihenfolge der durchzuführenden Operationen anders als in der vorstehenden Beschreibung gewählt werden. Beispielsweise können die Bilder relativ niedriger Auflösung für eine gesamte Folge animierter Bilder vorher berechnet worden sein, und die Bilder relativ hoher Auflösung können danach berechnet und kombiniert werden.

Claims

1. Verfahren zum Erzeugen elektronischer Darstellungen bewegter Bilder aus gespeicherten Bilddatenelementen (150), enthaltend die Schritte:

Berechnen (210), aus den gespeicherten Datenelementen, eine erste Folge von Einzelbildern relativ niedriger Auflösung, die bewegte Bilder über eine gegebene Zeitperiode darstellen, und Tiefpaßfiltern (211) der Information in den besagten Einzelbildern relativ niedriger Auflösung;

Berechnen (220), aus den gespeicherten Datenelementen, eine zweite Folge von Einzelbildern relativ hoher Auflösung über die gegebene Zeitperiode und Hochpaßfiltern (511) der Information in den besagten Einzelbildern relativ hoher Auflösung, wobei die Anzahl von Einzelbildern in der zweiten Folge kleiner ist als die Anzahl von Einzelbildern in der ersten Folge, und

Kombinieren (230) entsprechender Einzelbilder der ersten und der zweiten Folge zum Erlangen ausgangsseitiger Einzelbilder hoher Auflösung, die darstellend für die besagten bewegten Bilder über die gegebene Zeitperiode sind.

2. Verfahren nach Anspruch 1, wobei es mindestens zweimal soviel berechnete Einzelbilder der ersten Folge wie berechnete Einzelbilder der zweiten Folge gibt.

3. Verfahren nach Anspruch 1 oder 2, ferner enthaltend die Schritte:

räumliches Interpolieren (421) jedes der Einzelbilder der ersten Folge zum Erhöhen der Anzahl von Pixeln in den räumlich interpolierten Einzelbildern,

und zeitliches Interpolieren (431) zwischen den Einzelbildern der zweiten Folge,

wobei der Schritt des Kombinierens ein Kombinieren der interpolierten Einzelbilder der ersten Folge mit Einzelbildern der zweiten Folge und weiteren Einzelbildern der zweiten Folge enthält.

4. Verfahren nach Anspruch 3, wobei die räumliche Interpolation (421) der ersten Folge von Einzelbildern interpolierte Einzelbilder liefert, welche die gleiche Anzahl von Pixeln wie die Einzelbilder der zweiten Folge von Einzelbildern haben, und wobei die zeitliche Interpolation (431) der zweiten Folge von Einzelbildern eine Gesamtanzahl von Einzelbildern der zweiten Folge und weiteren Einzelbildern der zweiten Folge liefert, welche die gleiche ist wie die Anzahl von Einzelbildern in der ersten Folge.

5. Verfahren nach Anspruch 3 und Anspruch 4, wobei beim Schritt des Kombinierens (230) die Werte entsprechender Pixel von entsprechenden Einzelbildern der ersten und zweiten Folge von Einzelbildern kombiniert werden, nachdem die räumlichen und zeitlichen Interpolationen durchgeführt worden sind.

6. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens ein Teil des Schrittes des Kombinierens (230) durchgeführt wird, während die Schritte (210, 220) des Berechnens der ersten und der zweiten Folge noch durchgeführt werden.

7. Verfahren nach einem der vorhergehenden Ansprüche, ferner enthaltend den Schritt des Berechnens (530), aus den gespeicherten Bilddatenelementen, einer dritten Folge von Einzelbildern mittlerer Auflösung, welche bewegte Bilder über die gegebene Zeitperiode darstellen, wobei die Anzahl von Einzelbildern in der dritten Folge kleiner ist als die Anzahl von Einzelbildern in der ersten Folge und größer als die Anzahl von Einzelbildern in der zweiten Folge, und wobei der Schritt (540) des Kombinierens das Kombinieren entsprechender Einzelbilder der ersten, der zweiten und der dritten Folge enthält.

8. Verfahren nach Anspruch 7, wobei das Berechnen (530) einer dritten Folge von Einzelbildern mittlerer Auflösung eine Bandpaßfilterung (531) der Information in den Einzelbildern mittlerer Auflösung enthält.

9. Verfahren nach Anspruch 7 oder Anspruch 8, ferner enthaltend die Schritte:

räumliches Interpolieren eines jeden der Einzelbilder der ersten Folge zur Erhöhung der Anzahl von Pixeln in den räumlich interpolierten Einzelbildern;

räumliches Interpolieren jedes der Einzelbilder der dritten Folge zur Erhöhung der Anzahl von Pixeln in den räumlich interpolierten Einzelbildern der dritten Folge und zeitliches Interpolieren zwischen räumlich interpolierten Einzelbildern der dritten Folge zum Erlangen weiterer Einzelbilder der dritten Folge und zeitliches Interpolieren zwischen den Einzelbildern der zweiten Folge zum Erlangen weiterer Einzelbilder in der zweiten Folge,

wobei der Schritt (540) des Kombinierens das Kombinieren von Einzelbildern und interpolierten Einzelbildern der ersten, der zweiten und der dritten Folge enthält.

10. Verfahren nach Anspruch 9, wobei die Einzelbilder der dritten Folge zeitlich interpoliert werden, bevor sie räumlich interpoliert werden.

11. Verfahren nach Anspruch 9 oder Anspruch 10, wobei die räumlichen und zeitlichen Interpolationen ergeben, daß alle Folgen von Einzelbildern die gleiche Anzahl von Einzelbildern und die gleiche Anzahl von Pixeln pro Einzelbild haben.

12. Verfahren nach einem der Ansprüche 9 bis 11, wobei beim Schritt des Kombinierens (540) die Werte entsprechender Pixel von entsprechenden Einzelbildern der ersten, der zweiten und der dritten Folge von Einzelbildern kombiniert werden, nachdem die räumlichen und zeitlichen Interpolationen durchgeführt worden sind.

13. Vorrichtung zum Erzeugen elektronischer Darstellungen bewegter Bilder aus gespeicherten Bilddatenelementen, enthaltend:

eine Einrichtung (100) zum Berechnen, aus den gespeicherten Bilddatenelementen, eine erste Folge von Einzelbildern relativ niedriger Auflösung, die bewegte Bilder über eine gegebene Zeitperiode darstellen, und eine Einrichtung zur Tiefpaßfilterung (211) der Information in den Einzelbildern relativ niedriger Auflösung;

eine Einrichtung (100) zum Berechnen, aus den gespeicherten Bilddatenelementen, eine zweite Folge von Einzelbildern relativ hoher Auflösung, die bewegte Bilder über die gegebene Zeitperiode darstellen, und eine Einrichtung zur Hochpaßfilterung (511) der Information in den Einzelbildern relativ hoher Auflösung, wobei die Anzahl von Einzelbildern in der zweiten Folge kleiner ist als die Anzahl von Einzelbildern in der ersten Folge, und

eine Einrichtung (100) zum Kombinieren entsprechender Einzelbilder der ersten und der zweiten Folge zum Erlangen ausgangsseitiger Einzelbilder hoher Auflösung, die darstellend für die bewegten Bilder über die gegebene Zeitperiode sind.

14. Vorrichtung nach Anspruch 13, ferner enthaltend:

eine Einrichtung zum räumlichen Interpolieren jedes der Einzelbilder der ersten Folge, um die Anzahl von Pixeln in den räumlich interpolierten Einzelbildern zu erhöhen, und eine Einrichtung zum zeitlichen Interpolieren zwischen Einzelbildern der zweiten Folge, um weitere Einzelbilder in der zweiten Folge zu erlangen,

wobei die kombinierende Einrichtung eine Einrichtung zum Kombinieren der interpolierten Einzelbilder der ersten Folge mit Einzelbildern der zweiten Folge und weiteren Einzelbildern der zweiten Folge enthält.

15. Vorrichtung nach Anspruch 14, wobei die Einrichtung zum räumlichen Interpolieren der ersten Folge von Einzelbildern interpolierte Einzelbilder liefert, welche die gleiche Anzahl von Pixeln wie die Einzelbilder der zweiten Folge von Einzelbildern haben, und wobei die zeitliche Interpolation der zweiten Folge von Einzelbildern eine Gesamtanzahl von Einzelbildern der zweiten Folge und weiteren Einzelbildern der zweiten Folge liefert, welche die gleiche ist wie die Anzahl von Einzelbildern in der ersten Folge.

16. Vorrichtung nach Anspruch 13 bis Anspruch 15, ferner enthaltend eine Einrichtung zum Berechnen, aus den gespeicherten Bilddatenelementen, eine dritte Folge von Einzelbildern mittlerer Auflösung, die bewegte Bilder über die gegebene Zeitspanne darstellen, wobei die Anzahl von Einzelbildern in der dritten Folge kleiner ist als die Anzahl von Einzelbildern in der ersten Folge und größer als die Anzahl von Einzelbildern in der zweiten Folge, und wobei die kombinierende Einrichtung eine Einrichtung zum Kombinieren entsprechender Einzelbilder der ersten, zweiten und dritten Folge enthält.

17. Vorrichtung nach Anspruch 16, wobei die Einrichtung zum Berechnen einer dritten Folge von Einzelbildern mittlerer Auflösung eine Einrichtung zur Bandpaßfilterung der Information in den Einzelbildern mittlerer Auflösung enthält.

18. Vorrichtung nach Anspruch 16 oder Anspruch 17, ferner enthaltend:

eine Einrichtung zum räumlichen Interpolieren jedes der Einzelbilder der dritten Folge, um die Anzahl von Pixeln in den räumlich interpolierten Einzelbildern der dritten Folge zu erhöhen, und eine Einrichtung zum zeitlichen Interpolieren zwischen räumlich interpolierten Einzelbildern der dritten Folge, um weitere Einzelbilder der dritten Folge zu erhalten,

wobei die kombinierende Einrichtung eine Einrichtung zum Kombinieren von Einzelbildern und interpolierten Einzelbildern der ersten, der zweiten und der dritten Folge enthält.

19. Vorrichtung nach Anspruch 18, wobei die Einrichtung zum Interpolieren der Einzelbilder der dritten Folge betriebsfähig ist, um die zeitliche Interpolierung der Einzelbilder vor deren räumlicher Interpolierung durchzuführen.