DE69408838T2

DE69408838T2 - Videoschnittsystem

Info

Publication number: DE69408838T2
Application number: DE69408838T
Authority: DE
Inventors: Paul Bamborough
Original assignee: LIGHTWORKS EDITING SYSTEMS Ltd
Current assignee: LIGHTWORKS EDITING SYSTEMS Ltd
Priority date: 1993-06-10
Filing date: 1994-06-10
Publication date: 1998-09-17
Anticipated expiration: 2014-06-11
Also published as: DE69408838D1; WO1994029868A2; EP0702832A1; EP0702832B1; WO1994029868A3

Description

Diese Beschreibung betrifft Videoschnittsysteme.
Bei der Herstellung einer Arbeit, die auf Videomedien, wie z.B. Kinofilmen, Videobändern, Videoplatten und so weiter, aufgezeichnet ist, ist eine Editierung erforderlich. Beispielsweise werden Aufnahmen von verschiedenen Kameras geschnitten und zusammengeklebt, es finden Überblendungen von einer Aufnahme zur anderen statt, und so weiter.
Bei vielen gegenwärtigen Systemen wird.eine Schnittentscheidungsliste ("Edit Decision List") erzeugt. Dies ist eine Liste, die darlegt, welche Ausschnitte von welcher Quelle in welcher Reihenfolge zusammengesetzt werden sollen, um das Endprodukt herzustellen. Es gibt auch Anweisungen hinsichtlich überblendung und so weiter. Im Fall von Filmen arbeitet ein Cutter nach einer Schnittliste, schneidet bestimmte Bildframes von entsprechenden Materialspulen und klebt sie nach Bedarf zusammen. Es werden separate Informationen für "optische Aufgaben" erzeugt, wo optisches Kopieren erforderlich ist, um beispielsweise Bildframes für eine Überblendung zu kombinieren. Im Fall von Videobändern ist es bekannt, die Schnittentscheidungsliste in Form von Computersoftware zur Anlage zu übertragen, die aus verschiedenen Quellenbändern ein Endvideoband zusammenstellt.
Das Endergebnis ist eine künstlerische Arbeit an einem Kinofilm, Videoband oder anderen Medien, die "Sende"-Qualität aufweist; das heißt, die Qualität und die Auflösung der Bilder weisen den hohen Standard auf, der für das letztendliche Wiedergabesystem geeignet ist, sei es ein Vorführgerät in einem Kino, ein Band zur Übertragung von einer Fernsehgesellschaft oder ein Band, das als Master verwendet wird, von dem Bänder oder Videoplatten mit Haushaltsqualität hergestellt werden.
Bei der Herstellung der Schnittliste selbst ist es unpraktisch, mit Medien mit Sendequalität zu arbeiten, und tatsächlich ist ein Zweck der Verwendung einer Schnittliste, daß diese anschließend auf das Material mit Sendequalität angewendet wird. Folglich wurden verschiedene "Offline"-Systeme entwickelt. Bei diesen werden Versionen der Bilder mit geringerer Auflösung von einem Cutter verwendet, um die Schnittentscheidungsliste herzustellen. Bei einem frühen Vorschlag würde ein Cutter Bilder von verschiedenen Videovorrichtungen mit eher Haushalts- als Sendequalität betrachten und damit arbeiten. Die Bänder in diesen enthielten dasselbe Material - hinsichtlich Bildframes, Zeitcodes usw. wie die ursprünglichen Quellen mit Sendequalität, jedoch mit niedrigerer Qualität.
In jüngerer Zeit wurden digitale Systeme entwickelt. Solche Systeme erzeugen digitalisierte Darstellungen des ursprünglichen Quellenmaterials, die eine geringe Auflösung aufweisen und häufig einer Datenkomprimierung unterzogen wurden. Die digitalisierten Darstellungen werden in Speichermedien mit schnellem Zugriff, wie z.B. Magnetplatten, optischen Platten und so weiter, gespeichert und werden in einem Speicher mit wahlfreiem Zugriff manipuliert. Im Fall von Kinofilmen wird es zunächst durch eine Fernsehfilmvorrichtung, wie z.B. die Rank Omtel URSA oder BTS FDL 90, auf geeigneten Videomedien aufgezeichnet, bevor die Bilder mit geringer Auflösung erzeugt werden. Wenn die Entscheidungen einmal getroffen wurden, wird die Schnittentscheidungsliste erzeugt und dies geschieht typischerweise in Form einer Auflistung auf einer Diskette. Die Diskette wird bei einem Online-Videoschnittsystem verwendet, um das Endprodukt mit Sendequalität herzustellen. Dieses Verfahren ist als Conforming (Anpassung) bekannt.
Solche Offline-Systeme wurden von EMC, Avid und OLE Limited (Lightworks) hergestellt.
Man wird erkennen, daß der Vorteil der Verwendung von Bildern mit geringerer Auflösung, die vielleicht bis zu 100fach komprimiert sind, darin besteht, daß die Leistung der Anlage (und folglich deren Kosten) hinsichtlich Verarbeitungsgeschwindigkeit, Speicher, Speicherbedarf und so weiter geringer sein kann. Nichtsdestoweniger ist die Bildqualität nach wie vor gut genug&sub1; daß Cutter damit arbeiten können.
Obwohl ein solches Zwei-Stufen-Verfahren in einem gewissen Umfang unpraktisch ist, insofern, daß man beispielsweise eine Diskette fur eine Online-Schnittvorrichtung erzeugen muß, wäre es unerschwinglich teuer, daß die gesamte Editierung auf laufend verfügbaren Online-Editoren ausgeführt wird. Die Zeit spielt ebenfalls eine Rolle, und Bilder mit hoher Auflösung brauchen länger zur Manipulierung als die Bilder mit geringerer Auflösung, die in Offline-Schnittsystemen verwendet werden.
Die Probleme verstärken sich, da es Schritte in Richtung von Medien mit noch höherer Auflösung gibt. Beispielsweise ist High Definition Television ("HDTV", hochauflösendes Fernsehen) geplant. Ein Materialframe in einem Offline-System - mit geringer Auflösung und komprimiert - kann beispielsweise 20 bis 50 kB belegen. Bei einer Auflösung mit herkömmlicher Sendequalität kann der Bildframe 1 MB Speicherplatz belegen. Bei dem HDTV-Material würde er 5 MB Platz belegen.
Es wird auch vorgeschlagen, digitalisierte Filmbilder mit voller Filmauflösung von beispielsweise 3000 Zeilen mal 4000 Pixeln zu verwenden. Solche Bilder können in ein digitales System eingegeben, manipuliert und dann mit voller Auflösung ausgegeben werden.
Eine Anlage für eine so hohe Auflösung ist beträchtlich teurer als eine vorhandene Online-Schnittanlage, und es ist nicht kosteneffizient, sie zur Routineeditierung und zum Treffen von Schnittentscheidungen zu verwenden.
Folglich besteht eine Aufgabe der hierin offenbarten Erfindung darin, die Kosteneffizienz der Offline-Editierung aufrechtzuerhalten&sub1; während die Herstellung des Produkts mit Sendequalität erleichtert wird.
In Research Disclosure Nr. 330 vom Oktober 1991, auf Seite 738, ist ein System zum Editieren von Videomaterial offenbart, mit:
(a) einer ersten Vorrichtung zur Bearbeitung digitaler Daten, die eine Sequenz von Bildframes relativ hoher Qualität empfängt und speichert;
(b) einer Vorrichtung zum Umwandeln der Sequenz von Bildframes in eine entsprechende Sequenz von Bildframes mit relativ niedriger Qualität;
(c) einer zweiten Vorrichtung zur Bearbeitung digitaler Daten, die die Sequenz von Bildframes relativ niedriger Qualität empfängt und speichert;
(d) einer Eingabevorrichtung für einen Bediener, die mit der zweiten Datenbearbeitungsvorrichtung verbunden ist, um eine Manipulation der Sequenz von Bildframes relativ niedriger Qualität zum Treffen von Schnittentscheidungen zu ermöglichen;
(e) einer zwischen der ersten und der zweiten Datenbearbeitungsvorrichtung geschalteten Kommunikationsvorrichtung, um nach der Manipulation der Bildframes in der zweiten Datenbearbeitungsvorrichtung Schnittent scheidungen an die erste Datenbearbeitungsvorrichtung zu übertragen; und
(f) einer Vorrichtung innerhalb der ersten Datenbearbeitungsvorrichtung zum Erzeugen einer Ausgabesequenz von Bildframes relativ hoher Qualität gemäß den von der zweiten Datenbearbeitungsvorrichtung übertragenen Schnittentscheidungen.
Die vorliegende Erfindung ist über die vorliegende Offenbarung hinaus dadurch gekennzeichnet, daß die Schnittentscheidungen im wesentlichen während diese Entscheidungen getroffen werden an die erste Datenbearbeitungsvorrichtung übertragen werden; und dadurch, daß das System des weiteren folgendes umfaßt:
(g) eine Vorrichtung innerhalb der ersten Datenbearbeitungsvorrichtung zur Verarbeitung einer ersten Schnittentscheidung, und zum entsprechenden Manipulieren der Bildframes relativ hoher Qualität, während der Bediener die Bildframes relativ geringer Qualität in der zweiten Datenbearbeitungsvorrichtung manipuliert, um eine zweite Schnittentscheidung zur Übertragung an die erste Datenbearbeitungsvorrichtung zu treffen.
Während der Bediener Zeit aufwendet, um Bildframes zu manipulieren und beispielsweise künstlerische Möglichkeiten abzuschätzen, bevor er eine Schnittentscheidung trifft, wurden folglich die Ergebnisse von früheren Entscheidungen an die erste Datenbearbeitungsvorrichtung übertragen. Diese verarbeitet dann die Entscheidungen und wendet sie auf die Bilder mit hoher Qualität an. Die Verarbeitungszeit in der ersten Datenbearbeitungsvorrichtung wird effektiver genutzt und die Absicht ist, daß, kurz nachdem die letzte Schnittentscheidung getroffen wurde, das Ausgabematerial mit hoher Qualität verfügbar ist.
Das Material, das der Bediener betrachtet und mit dem er in der zweiten Datenbearbeitungsvorrichtung arbeitet, ist hinsichtlich des künstlerischen Inhalts identisch zu jenem in der ersten.Datenbearbeitungsvorrichtung. All dieselben Bildframes sind verfügbar und codiert, um eine Korrelation mit den Bildframes in der ersten Datenbearbeitungsvorrichtung zu ermöglichen. Der Unterschied besteht darin, daß die Bilder eine niedrigere Qualität aufweisen.
Die Bildframes relativ hoher Qualität, die die erste Datenbearbeitungsvorrichtung verarbeitet, können herkömmliche Sendequalität oder höhere HDTV-Qualität oder sogar Filmauflösung aufweisen. In der Praxis können sie für einige Anwendungen eine geringfügig niedrigere als volle Sendequalität aufweisen.
In der Praxis wird gemäß normalen Videoschnittverfahren eine Anzahl von Sequenzen in der Datenbearbeitungsvorrichtung gehalten und es werden Entscheidungen hinsichtlich der Auswahl von Bildframes getroffen. Im allgemeinen findet eine Auswahl einer Anzahl von Bildframes statt, d.h. eines kürzeren Ausschnitts von einer vollständigen eingeladenen Sequenz.
In Abhängigkeit von der Art der vom Bediener ausgeführten Editierung und von der Geschwindigkeit der ersten Datenbearbeitungsvorrichtung ist es möglichf daß sich letztere zwischen dem Handeln nach Schnittentscheidungen in einem Ruhezustand befindet.
Es wird deshalb vorgeschlagen, daß die erste Datenbearbeitungsvorrichtung mit einer Vielzahl von zweiten Datenbearbeitungsvorrichtungen in Verbindung steht. Diese können am selben Projekt oder an vollkommen verschiedenen Projekten arbeiten.
Bei bevorzugten Einrichtungen empfängt die erste Datenbearbeitungsvorrichtung Quellenmaterial mit hoher Qualität und erzeugt das Material mit niedrigerer Qualität, das an die zweite Datenbearbeitungsvorrichtung übertragen wird. Somit weist die erste Datenbearbeitungsvorrichtung vorzugsweise eine Vorrichtung zum Verringern der Auflösung der Bilder und/oder zum Komprimieren der Daten zur Übertragung an die zweite Datenbearbeitungsvorrichtung auf.
Die erste Datenbearbeitungsvorrichtung muß selbst Bilder mit hoher Qualität verarbeiten. Nichtsdestoweniger ist ein gewisser Umfang an Komprimierung ohne nachteilige Verschlechterung der Bildqualität möglich, etwa 8 oder 10:1. Die Auflösung sollte aufrechterhalten werden.
Typischerweise werden die Bilder folglich in der Auflösung verringert - beispielsweise durch Weglassen von abwechselnden Zeilen oder durch ein anspruchsvolleres Verfahren - und um etwa 20:1 oder mehr komprimiert zur Übertragung an die zweite Datenbearbeitungsvorrichtung. In der ersten Datenbearbeitungsvorrichtung wird die Auflösung des Quellenmaterials aufrechterhalten, aber es kann eine Komprimierung von 8 bis 10:1 angewendet werden. Dies unterstützt die Operation, jedoch ohne sichtbare Verschlechterung der Bildqualität.
Die erste und die zweite Datenbearbeitungsvorrichtung unterscheiden sich typischerweise hinsichtlich beispielsweise des Speichers, des Speicherplatzes, der Prozessorgeschwindigkeit und so weiter. Die erste Datenbearbeitungsvorrichtung besitzt eine erhöhte, typischerweise viermal so große, Bandbreite. Dennoch könnte ein gemeinsamer Prozessor verwendet werden. Tatsächlich könnten die zwei Datenbearbeitungsvorrichtungen in derselben physikalischen Einheit vereinigt sein. Die erste Datenbearbeitungsvorrichtung könnte als selbständiges System verwendet werden, das beispielsweise genügend Leistung besitzt, um vier Bilder gleichzeitig mit voller Geschwindigkeit zu bearbeiten. Diese werden eine geringere Auflösung, vielleicht eine ähnliche oder geringfügig bessere Qualität als jene der zweiten Datenbearbeitungsvorrichtung aufweisen.
Sie erscheinen wie gewöhnlich auf dem Grafikbildschirm, jedoch auch an 4 separaten Videoausgängen. Dies eröffnet den Weg zur Editierung von Material von mehreren Kameras im Fluge, als ob man live oder mit Mehrbandgeräten arbeitet, jedoch mit all den Vorteilen des wahlfreien Zugriffs. Eine Möglichkeit besteht darin, eine auf einem Liveschnitt basierende EDL zu nehmen, sie zu importieren und dann schnell zu verbessern, bis sie vollkommen ist. Dies ist für Sport und dergleichen. Die Einrichtung kann einen fünften Videoausgang besitzen, so daß die Editierung bei der Durchführung beobachtet werden kann. Weitere Aspekte des "Live-Editierens" werden nachstehend erörtert.
Die Einrichtung kann auch mit viel mehr Ton gleichzeitig arbeiten. Sie kann mindestens 8 reale Kanäle für Ton mit Produktionsqualität besitzen, die alle gleichzeitig wiedergegeben werden können. Dies kann auf 16 reale Kanäle ausgebaut werden. Es gibt einen Unterschied zwischen den realen Kanälen und der Anzahl an Spuren&sub1; die gelegt werden können - sogenannte virtuelle Spuren. Diese haben natürlich keine realen Grenzen.
Wie vorstehend erörtert&sub1; kann die Einrichtung Bilder wiedergeben, die viel geringer komprimiert sind und folglich eine viel höhere Qualität aufweisen. Diese Bilder weisen eine volle horizontale Auflösung und 50/60 Halbbilder auf. In der Praxis weisen sie eine Qualität auf, die gut genug ist für einige Online-Anwendungen, wie z.B. Nachrichten und gewisse korporative Arbeiten. Sie müssen keine volle Sendequalität aufweisen.
Es ist notwendig zu verstehen, daß die Art und Weise, in der große Bildmengen in einen Computer eingegeben werden können, darin besteht, sie zu komprimieren. Oberhalb einer 2-1- Komprimierung ist das Verfahren nicht mehr ohne Verluste. Das heißt, man kann nicht exakt zum Ausgangspunkt zurückkehren. Es wird dann eine Frage dessen, wie weit man gehen kann, ohne die Verluste wahrzunehmen. Ein gegenwartiger Konsens scheint zu sein, daß es oberhalb einer 3-1-Komprimierung kein System mehr gibt, das durch wiederholte Umläufe (Round-Trips) hindurch ohne.Wahrnehmbarkeit bleibt, wie es z.B. beobachtet wird, wenn Effekte usw. hinzugefügt werden. Für eine makellose Ausgabe eines Endprodukts kann man wahrscheinlich bis zu 6 oder 8-1 gehen, bevor man überhaupt viel bemerkt, und es entwickeln sich Standards, um dies durchzuführen. Die Editierung ist jedoch nicht die Ausgabe und erfordert Umläufe.
Für volle Sendequalität kann man nicht mehr als etwa 4-1 komprimieren, was etwa 6 MB/Sekunde oder 3-Minuten-Qualität entspricht. Dies sind 20 GB/Stunde (7 Platten) . Es wäre sehr teuer, eine solche Einrichtung für diese Speicherung zu konstruieren.
Eine zweckmäßigere Einrichtung unterstützt ein einziges Bild oder zwei Bilder bei 2 MB/Sekunde plus eine große Menge an Ton. Dies ist äquivalent zu etwa 9-Minuten-Qualität und sieht gut aus.
All dies erfordert äußerst große Mengen an Plattenspeicher. Etwa 150 GB können online erforderlich sein, was in Abhängigkeit von der Qualität 15-250 Stunden entspricht.
Es sind hierin auch Verbesserungen für Datenkomprimierungsverfahren offenbart. Während diese im Zusammenhang mit dem vorstehend beschriebenen Videoschnittsystem besonders nützlich sind, sind sie in anderen Zusammenhängen nur nützlich.
Es sind Methoden für Komprimierungsverfahren für die digitalen Dateien, die Bilder beschreiben, bekannt. Diese sind in solchen Quellen wie "Digital Image Processing", von William K. Pratt, herausgegeben von John Wiley & Sons, ISBN 0-471-01888-0, gut dokumentiert.
Diese Verfahren umfassen die einfacheren Methoden, wie z.B. Lauflängencodierung, die ein Komprimierungsverhältnis von typischerweise etwa 3:1 ergeben. Obwohl solche Verfahren von einigem Nutzen sind, ist es häufig erwünscht, ein System zu haben, das ein viel höheres Komprimierungsverhältnis ergibt. Ein solches Verfahren ist das als "JPEG" bezeichnete Schema, welches das von der Jomt Photo-Interpreters Experts Group aufgestellte Verfahren ist. Dieses Verfahren ist ein hochmathematisches Verfahren, das die zweidimensionale diskrete Kosinustransformation einbezieht, wie in "Digital Imaging Processing", Seiten 242-247, erläutert. Das JPEG-Verfahren ist gegenwärtig ein Draft International Standard für die Codierung von Continuous Tone Still Images (Halbton-Standbilder), ISO DIS 10918, und bietet Anwendern Komprimierungsverhältnisse von bis zu 50:1 mit geringer Bildverschlechterung. Dieses JPEG-Prinzip ist folgendermaßen:
1. Aufteilen des Bildes in regelmäßige Stücke. Jedes Stück besteht aus entweder 8x8 Pixeln oder 16x16 Pixeln.
2. Anwenden der zweidimensionalen DCT auf jeden Block. Dies wird mathematisch durchgeführt durch Anwenden der DCT auf jede der Zeilen aus acht (oder sechzehn) Pixeln in jeder der acht (oder sechzehn) Zeilen pro Block, Zurückschreiben des Ergebnisses in jene Adresse des Blocks und Wiederholen der Operation mit jeder der Spalten. Dies ist möglich, da die 2-D-DCT eine mathematische Eigenschaft besitzt, die als Zerlegbarkeit bekannt ist. An diesem Punkt hat keine Komprimierung stattgefunden, sondern die Daten wurden dekorreliert.
3. Es wird dann die Energie von jedem Block abgeschätzt. Diese kann auf viele Arten durchgeführt werden, wie z.B. durch Summieren der Quadrate des 2. bis 64. Koeffizienten in dem Block.
4. Anschließend findet eine Klassifizierung in Abhängigkeit von der Energie statt. Die Blöcke werden dann in Hohe, Mittlere und Niedrige Energie benannt, mit verschiedenen Klassen dazwischen.
5. In Abhängigkeit davon, zu welcher Klasse jeder Block gehört, wird er einem Schwellenwert zugeordnet (d.h. von jedem Element wird ein Offset entfernt) und quantisiert (d.h. er wird als nächstes Vielfaches einer Konstante dargestellt)
6. Die verbleibenden Daten (die eine große Anzahl an Nullen enthalten) werden dann einer Lauflängen- oder Huffman- Codierung unterzogen, um die Daten noch weiter zu verringern.
7. Die verbleibenden Bits werden dann mit einem Header und Informationen über die Energieklasse in Paketform gebracht. Bei dieser Stufe wird ziemlich häufig eine Fehlerkorrektur zugefügt.
8. Decodieren ist das Gegenteil von Codieren.
Ein weiteres Schema ist MPEG, die Motion Picture Experts Group. Dies ist im Draft International Standard ISO/TEC DIS 11172 beschrieben. Dies bietet potentiell höhere Komprimierungsverhältnisse durch Vergleichen von aufeinanderfolgenden Bildframes einer Filmsequenz.
Für die meiste digitale Bildverarbeitung ist es üblich, "Abtastzeilen" zu haben. Das Bild wird als fortlaufende Sequenz von Werten dargestellt, die die Intensität (oder Helligkeit) von Bildelementen (Pixeln) beschreiben. Somit besteht die Datenstruktur aus dem Helligkeitswert des ersten Pixels in der ersten Zeile, gefolgt vom zweiten Pixel der ersten Zeile und dann den fortlaufenden Pixeln der ersten Zeile bis zum letzten Pixel der ersten Zeile. Dann enthält die Datenstruktur den Helligkeitswert des ersten Pixeis der zweiten Zeile bis zum letzten Pixel der zweiten Zeile. Dies wird bis zur letzten Zeile des Bildes fortgesetzt. Dies ist eine "normale" Bilddatenstruktur.
Es ist jedoch manchmal notwendig, ein gegebenes Bild in mehr als einer Auflösung zu beschreiben. Ein derartiges Beispiel kann dort vorliegen, wo am Ende ein Bild mit sehr hoher Auflösung erzeugt werden soll, wie z.B. ein ganzseitiges Farbbild für ein hochwertiges Magazin. Dieses Bild kann aus etwa 5000 Zeilen mit jeweils 4000 Bildelementen bestehen. Diese Auflösung ist viel höher als sie auf einem Farbmonitor leicht dargestellt werden kann, da solche Vorrichtungen typischerweise weniger als 1000 Zeilen mal 1500 Pixel aufweisen. Somit kann bei einer "Eins-zu-eins"-Auflösung nur ein kleiner Teil des Endbildes dargestellt werden. Eine typische Lösung für dieses Problem besteht darin, eine Version mit verringerter Auflösung oder eine gröber abgetastete Version des Endbildes zu speichern, die dieselbe Auflösung besitzt wie der Farbmonitor.
Nachstehend wird ein Datenkomprimierungsverfahren beschrieben, das vielseitig ist und in einem wie vorstehend beschriebenen Videoschnittsystem von besonderem, jedoch nicht ausschließlichem Nutzen ist.
Dieses Datenkomprimierungsverfahren umfaßt ein Verfahren zum Komprimieren von digitalisierten Bilddaten in einer Datenbearbeitungsvorrichtung, wobei:
(a) eine Vielzahl verschiedener Bildauflösungen von gegebenem Quellenmaterial bereitgestellt wird; und
(b) Daten bezüglich unterschiedlicher entsprechender Bildauflösungen in unterschiedlichem entsprechenden Umfang komprimiert werden.
Bei der bevorzugten Einrichtung können Bilder mit höherer Auflösung in geringerem Umfang komprimiert werden.
Somit kann beispielsweise eine "Pyramiden"- oder "Laplace"- Struktur vorliegen. Unten kann ein Bild mit hoher Auflösung sein, beispielsweise entsprechend Quellenmaterial mit Sendequalität. Dieses wird in relativ kleinem Umfang komprimiert, wie z.B. 8 oder 10:1, um die Bildverschlechterung zu minimieren. Weiter oben in der Pyramide ist ein Bild mit geringerer Auflösung, beispielsweise zur Verwendung in dem vorstehend beschriebenen Videoschnittsystem. Dies wird in größerem Umfang komprimiert, beispielsweise 20:1.
An der Spitze der "theoretischen" Datenstruktur ist ein einziger Wert, der die durchschnittliche Gesamthelligkeit des Bildes beschreibt. Das Auflösungsniveau darunter wäre beispielsweise eher 2x2 als 1x1. Darunter ist das Auflösungsniveau 4x4 und so weiter. Anstatt ein vollständiges Niveau zu beschreiben, könnte die Differenz zwischen dem vorherigen Niveau und dem vorausgesagten Niveau, das durch lineare Interpolation vorausgesagt wird&sub1; gespeichert werden.
Es könnten verschiedene Verfahren bei verschiedenen Niveaus verwendet werden. Somit könnte beispielsweise bei einem Niveau zur Verwendung als Bild relativ niedriger Qualität, das in dem früher beschriebenen Schnittsystem verwendet wird, die Auflösung durch Weglassen von abwechselnden Zeilen festgelegt werden. Im Gegensatz dazu kann die Auflösung bei einem Niveau für erzeugte Bilder mit HDTV-Qualität durch Mitteln von Gruppen von beispielsweise vier Pixeln festgelegt werden.
Vorzugsweise wird eine Vielzahl von Komprimierungsoperationen durch parallele Kompressoren fortgeführt. Es ist bekannt, beispielsweise parallele Kompressoren zur Komprimierung von verschiedenen Teilen eines bestimmten Bildes zu verwenden. Beispielsweise könnten vier Kompressoren verwendet werden, jeder für ein Viertel des Bildes. Im Gegensatz dazu werden bei bevorzugten Implementierungen dieses Systems Parallelverarbeitungsverfahren auf verschiedenen entsprechenden Auflösungsniveaus ausgeführt. Somit kann ein Prozessor bestimmte niedrigere Auf lösungsniveaus bearbeiten, während einer oder mehrere gleichzeitig höhere Auflösungsniveaus bearbeiten können. Bei der geringeren Auflösung kann ein einziger Prozessor in der Lage sein, eine Anzahl von Niveaus in der Zeit zu bearbeiten, die einer, zwei oder mehrere benötigen, um ein einziges hohes Auflösungsniveau zu bearbeiten.
Ein Vorteil dieser Einrichtung besteht darin, daß, wenn ein komprimiertes Bild erforderlich ist, alle gewünschten Auflösungen gleichzeitig erhalten werden können.
Somit kann im Zusammenhang mit dem vorher beschriebenen Videoschnittsystem das Quellenmaterial in die erste Datenbearbeitungsvorrichtung eingegeben werden. Dort bearbeiten parallele Prozessoren (a) geringfügig komprimierte Dateien mit hoher Auflösung zur Verwendung in der ersten Datenbearbeitungsvorrichtung; und (b) stärker komprimierte Dateien mit geringerer Auflösung zur Verwendung in der zweiten Datenbearbeitungsvorrichtung.
Man wird erkennen, daß die Komprimierung und andere hierin beschriebenen Verfahren in anderen Systemen als der Editierung von Filmen, Videobändern und dergleichen verwendet werden können.
Es werden nun einige Ausführungsformen der Erfindung lediglich beispielhaft und mit Bezug auf die zugehörigen Zeichnungen beschrieben, wobei gilt:
Figur 1 zeigt in Form eines Diagramms eine erfindungsgemäße Vorrichtung;
Figur 2(a) zeigt, wie die herkömmliche parallele Datenkomprimierung funktioniert;
Figur 2(b) zeigt eine pyramidenförmige Datenstruktur, wobei unterschiedliche Niveaus eine unterschiedliche Auflösung vorsehen; und
Figur 2(c) zeigt, wie Kompressoren auf diesen unterschiedlichen Niveaus parallel verwendet werden können.
Die "Heavyworks"-Einrichtung stellt die erste Datenbearbeitungsvorrichtung dar, die beispielsweise ein EISA-System mit einem 66 MHz Intel 486 DX Prozessor oder einem 586 Prozessor und beispielsweise 16 MB oder mehr RAM sein kann. Die "Lightworks"-Einrichtung stellt die zweite Datenbearbeitungsvorrichtung dar. Diese kann ein ISA-System mit einem 33 MHz Intel 486 DX Prozessor, wiederum mit 16 MB oder mehr RAM, sein. Diese Einheit ist mit einem Bedienpult und einem Monitor ausgestattet. Die "Heavyworks"-Einheit nimmt mit voller Auflösung digital gespeicherte Dateien auf und liefert komprimierte Bilddaten für die "Lightworks"-Einheit, wo die Schnittentscheidungen getroffen werden. Steuerdaten werden dann zurückgesandt, um eine Verarbeitung der Dateien mit voller Auflösung zu ermöglichen.
Der Vorgang des Kommunikationsflusses kann als der Prozeß betrachtet werden&sub1; den der Bediener bei einer realen Aufgabe durchlaufen würde. Er ist folgendermaßen:
1. Das gesamte Material, das bei einer gegebenen Aufgabe erforderlich sein kann, wird in der Heavyworks-Einheit "digitalisiert".
2. An den Lightworks-Stationen fordert der Bediener eine "Bildmaterialliste" von der Heavyworks-Einheit an. Dies ist die Liste allen an der Heavyworks-Einheit verfügbaren Bildmaterials.
3. Nach dieser Liste fordert der Bediener an, daß mehrere dieser Bildmaterialien für ihn an seiner Lightworks- Station zur Verfügung gestellt werden.
4. Diese Anforderung wird über die Verbindungsleitung zwischen den zwei Einrichtungen übertragen und die Heavyworks-Einheit verarbeitet die angeforderten Ausschnitte zu "Lightworks"-Form. Dies ist eine Form mit niedrigerer Qualität und stärkerer Datenkomprimierung. i Sie werden dann über die Verbindungsleitung zur Lightworks-Station übertragen.
5. Wenn er die Bildmaterialien empfangen hat, führt der Bediener nun die zur Erzeugung einer vollständigen Arbeit notwendigen nicht-linearen Editierfunktionen durch. Bei jeder Entscheidung&sub1; die er trifft, wird diese Entscheidung über die Verbindungsleitung zur Heavyworks übertragen.
6. Während des Prozesses der Gestaltung einer Version der letztendlichen Arbeit mit geringer Qualität an der Lightworks erzeugt die Heavyworks-Einheit ständig eine Darstellung dieser Arbeit mit hoher Qualität durch ihre eigenen digitalisierten Dateien mit hoher Qualität. Man erkennt, daß dieser Prozeß nicht zu 100% effizient ist, da es sich der Bediener wahrscheinlich bei dem künstlerischen Prozeß der Erzeugung einer fertigen Arbeit mehrere Male anders überlegt, und dies zieht verschiedene unnötige Anpassungsschritte nach sich. Es hat jedoch den Vorteilf daß die Zeit zwischen dem Moment, in dem der Bediener die Arbeit an der Lightworks beendet, und dem Moment, in dem die Arbeit an der Heavyworks-Station mit "Online"-Qualität verfügbar ist, minimiert wird.
Was die Hardware der Verbindungsleitung anbelangt, gibt es verschiedene geeignete Übertragungsmedien. Das erste ist die bitparallele Form der Richtlinie 601 der CCIR. Die zweite ist die bitserielle Form der vorstehenden. Die dritte ist die Verwendung des SCSI-Protokolls (Small Computer Systems Interface, Schnittstelle für Kleincomputer) . Dies ist gewöhnlich das von Kleincomputern verwendete Protokoll, um mit ihren Platten zu kommunizieren, es existiert jedoch eine "beidseitig verbundene" Version, bei der zwei "Master" vorliegen können, die die Lightworks- bzw. Heavyworks-Einheit sein könnten. Ein viertes Format der Übertragungsmedien könnte FDDI (Fibre Distributed Data Interchange, Faserverteilter Datenaustausch) sein. Dies ist der Standard für Faseroptiksysteme. Noch ein weiterer Standard könnte das "Ethernet"-Protokoll zur Datenübertragung von Computer zu Computer über ein koaxiales Kabel sein.
Figur 2(a) zeigt, wie herkömmliche parallele Datenkomprimierung funktioniert. Jedes Viertel eines Bildes wird durch seinen eigenen Kompressor komprimiert. Figur 2b zeigt eine pyramidenförmige Datenstruktur, wobei unterschiedliche Niveaus eine unterschiedliche Auflösung vorsehen. An der Spitze ist ein einziges Pixel, dessen Wert der Mittelwert des gesamten Bildes ist. Weiter unten sind Bilder mit höherer Auflösung. Figur 2c zeigt&sub1; wie Kompressoren auf diesen unterschiedlichen Niveaus parallel verwendet werden können. Somit arbeiten drei Kompressoren parallel. Einer bearbeitet die oberen zwei Schichten, einer die nächsten zwei und einer die tintere. Wie vorher angemerkt, kann der Komprimierungsgrad für die unteren Schichten - die die höchste Auflösung aufweisen - gemäßigter sein als für höhere Niveaus. Nichtsdestoweniger könnten dieselben Komprimierungsgrade angewendet werden und das Konzept der Verwendung paralleler Kompressoren auf diese Weise ist vorteilhaft.
Folglich wird ein Verfahren zum Komprimieren von digitalisierten Bilddaten in einer Datenbearbeitungsvorrichtung bereitgestellt, wobei:
(a) eine Vielzahl von Niveaus mit unterschiedlicher Bildauflösung von gegebenem Quellenmaterial bereitgestellt wird; und
(b) eine Vielzahl von Datenkomprimierungsvorrichtungen auf entsprechenden Niveaus parallel arbeiten.
Es wurde nun auch ein verbessertes System zur Erzeugung der Niveaus von unterschiedlichen Bildauflösungen entwickelt. Wenn man bei der höchsten Auflösung beginnt, ist es erforderlich, Daten bezüglich dieser Auflösung und bezüglich des nächsten Niveaus - d.h. des in der "Lightworks"-Einheit zu verarbeitenden Bildes mit geringerer Auflösung - zu speichern. Dieses Bild mit geringerer Auflösung kann ein Viertel der Pixel des ersten Niveaus haben, wobei dies durch Mitteln des Werts von vier Pixeln im ersten Niveau erreicht wird. Wenn somit vier benachbarte Pixel, die ein Quadrat bilden, im ersten Niveau die Werte A, B, C, D haben, dann hat das entsprechende einzelne Pixel in dem Niveau darüber den Wert (A+B+C+D)/4.
Jeder Wert benötigt 8 Bits und somit sind 40 Bits erforderlich, um Daten für diesen Teil des Bildes in beiden Auflösungen zu speichern.
Gemäß einem verbesserten Verfahren müssen weniger Daten gespeichert werden. Der Wert des einzelnen Pixels des zweiten Niveaus wird nach wie vor als (A+B+C+D)/4 gespeichert und benötigt 8 Bits. Es werden dann drei Differenzausdrücke gespeichert, nämlich: (A+B+C-D)/4 (A+B-C+D)/4 (A-B+C+D)/4
Unter Verwendung einer gleichzeitigen Gleichungstechnik ist es möglich, aus diesen die Werte von A, B, C und D herzuleiten.
Die drei Differenzgleichungen benötigen 9 Bits (8 für die Zahl und 1 für das Vorzeichen). Somit sind die gesamten zu speichernden Daten 8 Bits plus 3 x 9 Bits, d.h. 35 Bits. Dies ist eine Einsparung von 5 Bits gegenüber dem separaten Speichern der Pixelwerte.
Über ein gesamtes Bild ergibt sich eine bedeutende Einsparung in der Menge an zu speichernden Daten.
Es besteht nach wie vor unmittelbarer Zugriff auf die Werte der geringeren Auflösung. Es gibt eine Verzögerung beim Zugriff auf die Werte der höheren Auflösung, da diese hergeleitet werden müssen. Dies ist jedoch im Zusammenhang mit den hierin beschriebenen Videoschnittsystemen annehmbar.
Folglich wird ein Verfahren zum Speichern von Daten eines Bildes bereitgestellt, das die folgenden Schritte umfaßt:
(a) Bereitstellen eines Bildes als Serie von Pixeln mit einer ersten Auflösung;
(b) Speichern von Daten einer zweiten Version des Bildes mit geringerer Auflösung, in der der Wert eines jeden Pixels als Durchschnitt einer Anzahl von zugehörigen Pixeln mit der ersten Auflösung berechnet wird; und
(c) Speichern von Daten, aus denen sich die Werte der zugehörigen Pixel durch eine gleichzeitige Gleichungstechnik berechnen lassen.

Claims

1. System zum Editieren von Videomaterial, mit:

(a) einer ersten Vorrichtung zur Bearbeitung digitaler Datezi, die eine Sequenz von Bildframes relativ hoher Qualität empfängt und speichert;

(b) einer Vorrichtung zum Umwandeln der Sequenz von Bildframes in eine entsprechende Sequenz von Bildframes mit relativ niedriger Qualität;

(c) einer zweiten Vorrichtung zur Bearbeitung digitaler Daten, die die Sequenz von Bildframes relativ niedriger Qualität empfängt und speichert;

(d) einer Eingabevorrichtung für einen Bediener, die mit der zweiten Datenbearbeitungsvorrichtung verbunden ist, um eine Manipulation der Sequenz von Bildframes relativ niedriger Qualität zum Treffen von Schnittentscheidungen (sog. "Edit Decisions") zu ermöglichen;

(e) einer zwischen der ersten und der zweiten Datenbearbeitungsvorrichtung geschalteten Kommunikationsvorrichtung, um nach der Manipulation der Bildframes in der zweiten Datenbearbeitungsvorrichtung Schnittentscheidungen an die erste Datenbearbeitungsvorrichtung zu übertragen; und

(f) einer Vorrichtung innerhalb der ersten Datenbearbeitungsvorrichtung zum Erzeugen einer Ausgabesequenz von Bildframes relativ hoher Qualität gemäß den von der zweiten Datenbearbeitungsvorrichtung übertragenen Schnittentscheidungen, über die vorliegende Offenbarung hinaus dadurch gekennzeichnet, daß die Schnittentscheidungen im wesentlichen während diese Entscheidungen getroffen werden an die erste Datenbearbeitungsvorrichtung übertragen werden; und dadurch, daß das System des weiteren folgendes umfaßt:

(g) eine Vorrichtung innerhalb der ersten Datenbearbeitungvorrichtung zur Verarbeitung einer ersten Schnittentscheidung, und zum entsprechenden Manipulieren der Bildframes relativ hoher Qualität, während der Bediener die Bildframes relativ geringer Qualität in der zweiten Datenbearbeitungsvorrichtung manipuliert, um eine zweite Schnittentscheidung zur Übertragung an die ersten Datenbearbeitungsvorrichtung zu treffen.

2. System nach Anspruch 1, wobei die erste Datenbearbeitungsvorrichtung vorzugsweise eine Vorrichtung zur Verringerung der Auflösung der Bilder und/oder zum Komprimieren der Daten aufweist, für die Übertragung an die zweite Datenbearbeitungsvorrichtung.

3. System nach Anspruch 2, wobei

(a) eine Vielzahl verschiedener Bildauflösungen von gegebenem Quellenmaterial bereitgestellt wird, und

(b) Daten bezüglich unterschiedlicher entsprechender Bildauflösungen in unterschiedlichem entsprechenden Umfang komprimiert werden.

4. System nach Anspruch 3, wobei in der ersten Datenbearbeitungsvorrichtung parallele Prozessoren (a) geringfügig komprimierte Dateien mit hoher Auflösung zur Verwendung in der ersten Datenbearbeitungsvorrichtung; und (b) stärker komprimierte Dateien mit geringerer Auflösung zur Verwendung in der zweiten Datenbearbeitungsvorrichtung bearbeiten.

5. System nach Anspruch 2, 3 oder 4, mit folgenden Schritten:

(a) Bereitstellen eines Bildes als Serie von Pixeln mit einer ersten Auflösung;

(b) Speichern von Daten einer zweiten Version des Bildes mit geringerer Auflösung, in der der Wert eines jeden Pixeis als Durchschnitt einer Anzahl von zugehörigen Pixeln mit der ersten Auflösung berechnet wird; und

(c) Speichern von Daten, aus denen sich die Werte der zugehörigen Pixel durch eine gleichzeitige Gleichungstechnik berechnen lassen.