DE19653671C2

DE19653671C2 - Method and device for archiving image templates using digital image data processing, in particular films

Info

Publication number: DE19653671C2
Application number: DE1996153671
Authority: DE
Inventors: Stefan Hilbert; Ralf Reulke; Hans Driescher; Andreas Eckardt; Martin Scheele; Reinhard Schuster; Thomas Terzibaschian
Original assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 1996-12-13
Filing date: 1996-12-13
Publication date: 2000-01-27
Anticipated expiration: 2016-12-14
Also published as: DE19653671A1

Description

Die Erfindung betrifft ein Verfahren zur Archivierung von Bildvorlagen, insbesondere von Filmen, bei dem die Bildvorlage abgetastet wird, die erfaßten Bildpunkte digitalisiert und komprimiert werden, sowie eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for archiving image templates, in particular of films in which the original image is scanned, the captured image points be digitized and compressed, and a device for carrying out the Procedure.

Aufgrund der endlichen Haltbarkeitsdauer von Zelluloid-Filmen und deren aufwendiger Lagerung besteht seit langem ein Bedürfnis, die Bildinformationen einfach und dauerhaft zu archivieren. So sind auch vielfältige Anstrengungen unternommen worden, die Bildvorlagen auf anderen Medien zu speichern.Due to the finite shelf life of celluloid films and their elaborate storage there has long been a need for image information easy and permanent to archive. So are diverse efforts been made to save the artwork on other media.

Aus der EP 0 440 230 A1 ist eine Vorrichtung bekannt, mit der die Bildinformationen eines Kinofilms in ein Videosignal für das Fernsehen umgesetzt werden. Nachteilig an dieser und ähnlichen Vorrichtungen ist, daß bei allen digitalen Video- Aufzeichnungsverfahren eine Datenkompression stattfindet, bei der neue Fehler generiert werden. Bei anschließender Vernichtung der Bildvorlage sind diese Fehler kaum oder gar nicht mehr zu rekonstruieren. Ein weiteres Problem stellen die großen anfallenden Datenmengen, die komprimiert werden müssen, dar, so daß die bisher bekannten Vorrichtungen nur zur Konvertierung einzelner ausgewählter Filme geeignet sind, nicht aber zur Archivierung ganzer Filmarchive.A device is known from EP 0 440 230 A1 with which the image information of a movie can be converted into a video signal for television. Disadvantageous of this and similar devices is that all digital video Recording process a data compression takes place where new errors to be generated. If the image template is subsequently destroyed, these are errors to reconstruct hardly or not at all. They pose another problem large amounts of data that need to be compressed, so that the previously known devices only for converting individual selected films are suitable, but not for archiving entire film archives.

Aus der DE 33 11 898 C2 ist ein Verfahren zur Störsignalunterdrückung bei der Übertragung digitalisierter Bildsignale bekannt, wobei die Bildsignale zur Verringe rung der Datenraten senderseitig komprimiert und empfangseitig dekomprimiert werden. Zur Reduzierung von Störsignalen aufgrund von Quantisierungsfehlern bei der Digitalisierung wird dort vorgeschlagen, für die Dauer eines Fernsehbildes zwischengespeicherte Bildelemente mit neu empfangenen Bildelementen mit einem einzigen Schwellenwert zu vergleichen, wobei unterhalb des Schwellenwerts ein resultierendes Bildelement durch Multiplikation der Differenz mit einem konstanten Faktor und Addition zu dem zwischengespeicherten Bildelement ermittelt wird. Eine Fehlerkorrektur vor der Datenkomprimierung findet nicht statt.DE 33 11 898 C2 describes a method for interference signal suppression in the Transmission of digitized image signals known, the image signals to reduce Data rates are compressed on the transmitter side and decompressed on the receiver side become. To reduce interference signals due to quantization errors digitization is proposed there for the duration of a television picture cached picture elements with newly received picture elements with a compare single threshold, being below the threshold resulting picture element by multiplying the difference by a constant Factor and addition to the temporarily stored picture element is determined. A Error correction before data compression does not take place.

Aus der DE 44 09 283 A1 ist ein Verfahren zur Unterdrückung von Störimpulsen beispielsweise aufgrund von Kratzern oder Rissen einer Originalvorlage beim Abspielen eines von der Originalvorlage erzeugten Videosignals bekannt, bei dem gestörte Bildpunkte des aktuellen Bildes durch die entsprechenden Bildpunkte des vorangegangenen Bildes ersetzt werden. Eine Fehlerkorrektur bei der Erzeugung des Videosignals mit Datenkompression findet dabei nicht statt. Vielmehr werden Fehler der Originalvorlage einfach mit aufgezeichnet, wobei versucht wird, diese beim Abspielen wieder zu unterdrücken. Bei dieser Art der Datenkompression gehen bereits ohne Fehler in der Originalvorlage Informationen unwiederbringlich verloren. Dieser Effekt wird jedoch um ein Vielfaches größer, wenn die Fehler nicht vor der Datenkompression korrigiert werden. Das bekannte Verfahren eignet sich daher nur zur Verbesserung der Abspielqualität hinsichtlich des gewählten Abspielmediums Fernsehen, nicht jedoch zur verlustfreien Archivierung von Bildvorlagen.DE 44 09 283 A1 describes a method for suppressing interference pulses for example due to scratches or tears in an original artwork Play a video signal generated from the original template known in which disturbed pixels of the current image by the corresponding pixels of the previous picture to be replaced. An error correction during generation the video signal with data compression does not take place. Rather be Errors of the original template are simply recorded, trying to do so suppress again when playing. Go with this type of data compression Information is irretrievably lost even without errors in the original template. However, this effect becomes many times larger if the errors do not occur before Data compression can be corrected. The known method is therefore only suitable to improve the playback quality with regard to the selected playback medium Television, but not for lossless archiving of picture templates.

Aus dem Fachartikel "Optimal Edge Detector Design I: Parameter Selection and Noise Effects; W. Lunscher et al.; IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, No. 2, March 1986" ist ein Verfahren zur Kantenerkennung in Bildvorlagen unter zur Hilfenahme der Point Spread Function PSF bekannt.From the technical article "Optimal Edge Detector Design I: Parameter Selection and Noise effects; W. Lunscher et al .; IEEE Transaction on Pattern Analysis and Machine Intelligence, Vol. PAMI-8, No. 2, March 1986 "is a process for Edge detection in image templates using the point spread function PSF known.

Aus der WO 95/28052 A1 ist ein Verfahren und eine Vorrichtung zur digitalen Archivie rung von analogen Bildvorlagen bekannt, bei dem die Bildvorlage mittels einer optischen Vorrichtung mir einem photosensitiven Bauelement abgetastet wird, die erfaßten Bildpunktwerte digitalisiert, komprimiert und in einem Datenmassespeicher abgespeichert werden. Nachteilig an dem bekannten Verfahren ist, daß trotz der Datenkomprimierung die anfallenden Datenmengen, insbesondere bei der Archivie rung ganzer Filme, zu groß sind, so daß einerseits die Verarbeitungszeit und auch die Größe des benötigten Datenmassespeichers zu groß werden. Ein Grund hierfür ist, daß insbesondere ältere Filmvorlagen eine Vielzahl von verschiedenen Defekten aufweisen, die von der Vorrichtung als Bildinformationen aufgefaßt werden würden. Aufgrund dieser Pseudo-Bildinformationen nimmt jedoch der Wirkungsgrad der Da tenkompression erheblich ab, so daß die zuvor beschriebenen Probleme auftreten.WO 95/28052 A1 describes a method and a device for digital archiving tion of analog image templates is known, in which the image template by means of a optical device with a photosensitive component is scanned, the Captured pixel values digitized, compressed and in a mass data storage can be saved. A disadvantage of the known method is that despite the Data compression is the amount of data that arises, especially for archiving tion of entire films are too large, so that on the one hand the processing time and also the size of the required mass data storage become too large. One reason for this is that older movie templates in particular have a variety of different defects have, which would be understood by the device as image information. Because of this pseudo image information, however, the efficiency of the Da increases tenkompression significantly, so that the problems described above occur.

Aus der WO 92/22 141 A1 ist eine Vorrichtung zur Datenkompression bekannt, bei der zur Verarbeitung größerer Datenmengen eine Hierarchie aufgebaut ist. Dabei werden eine Vielzahl von Mikroprozessoren in unterschiedlichen Ebenen angeordnet, wobei jeweils der Mikroprozessor der höheren Ebene nur noch einen Teil der zu komprimierenden Daten übergibt, so daß insbesondere sich von Bildvorlage zu Bildvorlage nur wenig ändernde Datensätze schnell verarbeitet werden können. Nachteilig an der bekannten Vorrichtung ist der sehr aufwendige Aufbau der Vorrichtung und die geringe Verarbeitungsgeschwindigkeit von sich schnell verändernden Bildvorlagen.A device for data compression is known from WO 92/22 141 A1, in which A hierarchy is set up for processing larger amounts of data. Here are a variety of microprocessors in different levels arranged, with the microprocessor of the higher level only one Passes part of the data to be compressed, so that in particular from Image template to image template only slightly changing data records processed quickly can be. A disadvantage of the known device is the very complex Structure of the device and the low processing speed of itself quickly changing image templates.

Der Erfindung liegt daher das technische Problem zugrunde, ein Verfahren und eine Vorrichtung zur Durchführung des Verfahrens zu schaffen, um Bildvorlagen, insbesondere von Filmen, digital zu archivieren und die dabei anfallenden Datenmengen erheblich zu reduzieren.The invention is therefore based on the technical problem, a method and a Device for carrying out the method to create image templates, especially of films, digital archiving and the resulting Significantly reduce data volumes.

Die Lösung des Problems ergibt sich durch die Merkmale der Patentansprüche 1 und 4. Durch die Fehlererkennung und Korrektur vor der Datenkompression werden somit nur gewünschte Änderungen der Bildabfolge digitalisiert und komprimiert. Da durch werden die Datenmengen erheblich reduziert, was eine schnelle Verarbeitung und platzsparende Archivierung ermöglicht. Dabei erfolgt die Fehler- bzw. Fehl stellenerkennung mittels einer Kantenerkennung der mechanischen Fehler durch ihre Point-Spread-Funktion-Abweichung gegenüber der übrigen Bildvorlage, wobei Aliasingeffekte auszuschließen sind. Die Point-Spread-Funktion der übrigen Bildvor lage wird dabei z. B. vorab auf Basis der bekannten Aufzeichnungstechnik und des Materials der Bildvorlage ermittelt. Zur Korrektur der Fehlstellen wird die aktuelle Bildvorlage mit vorausgegangenen und nachfolgenden Bildvorlagen verglichen, wobei durch Bildung von Bewegungsvektoren eine Änderungsgeschwindigkeit der Bildvorlage ermittelt wird. Die Art der Korrektur ist nun abhängig von der Art der erfaßten Fehlstelle und der ermittelten Änderungsgeschwindigkeit der Bildvorlage. The solution to the problem results from the features of patent claims 1 and 4. By error detection and correction before data compression only digitized and compressed desired changes of the image sequence. There through the data volumes are significantly reduced, which means quick processing and space-saving archiving. The error or error occurs by means of edge detection of the mechanical errors their point spread function deviation from the rest of the image, where Aliasing effects are to be excluded. The point spread function of the rest of the image location is z. B. in advance based on the known recording technology and Material of the original image determined. To correct the defects, the current one Image template compared with previous and subsequent image templates, whereby a rate of change of the Image template is determined. The type of correction now depends on the type of detected defect and the determined rate of change of the original image.

Beispielsweise Risse oder Knicke im Filmmaterial müssen nicht zwangsläufig zu einem Fehlen von Bildinformationen führen, sondern können sich als zusätzlicher Strich darstellen. Derartige Fehlstellen werden einfach ignoriert. Fehlstellen bei spielsweise aufgrund des Einflusses von Mikroorganismen müssen hingegen durch ersetzende Bildpunkte korrigiert werden. Aus dem Vergleich mit den vorangegange nen Bildfolgen kann auf den fehlenden Bildinhalt zurückgeschlossen werden, da das Auftreten von Fehlstellen mit gleicher Geometrie in aufeinanderfolgenden Bildvorla gen sehr unwahrscheinlich ist. Aufgrund der ermittelten Änderungsgeschwindigkeit der Bildvorlage können nun die geeignesten Bildpunkte für die Korrektur ermittelt werden. Beispielsweise wird die Fehlstelle bei sehr geringen Änderungsgeschwindig keiten mittels der entsprechenden Bildpunktwerte der vorangegangenen oder der nachfolgenden Bildvortage korrigiert. Bei größeren Änderungsgeschwindigkeiten hingegen müssen mittels der Bewegungsvektoren die fehlenden Bildpunktwerte der Fehlstelle in der vorangegangenen oder nachfolgenden Bildvorlage ermittelt und/oder durch geeignete Signalverarbeitungsalgorithmen aus der Umgebung der Fehlstelle auf den fehlenden Bildinhalt geschlossen werden, indem der gesamte Inhalt eines Bildes und alle jeweils zur Fehlstelle benachbarten Bildpunkte analysiert werden. Bei der Archivierung von Tonfilmen können mechanische Fehler der Tonspur wie zuvor beschrieben erfaßt und korrigiert bzw. ignoriert werden. Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Unteransprüchen.For example, cracks or kinks in the footage do not necessarily have to a lack of image information, but may prove to be additional Show dash. Such defects are simply ignored. Missing parts in due to the influence of microorganisms, for example, must substituting pixels are corrected. From the comparison with the previous ones NEN image sequences can be inferred from the missing image content, because that Occurrence of defects with the same geometry in successive image templates is very unlikely. Based on the determined rate of change The most suitable pixels for the correction can now be determined in the image template become. For example, the flaw becomes speedy with very little change using the corresponding pixel values of the previous or the corrected the following picture days ago. At higher rates of change on the other hand, the missing pixel values of the Defect found in the previous or subsequent image template and / or by suitable signal processing algorithms from the environment of the Fault in the missing image content can be concluded by the entire The content of an image and all the pixels adjacent to the defect were analyzed become. Mechanical errors can occur when archiving sound films Soundtrack can be recorded and corrected or ignored as described above. Further advantageous embodiments result from the subclaims.

In einer weiteren bevorzugten Verfahrensweise werden die Bildvorlagen spektral und radiometrisch erfaßt und Korrekturkurven entsprechend nachgeführt, wobei die Korrekturkurven Veränderungen des Materials der Bildvorlage z. B. aufgrund von Alterungsprozessen berücksichtigen. Dies hat den Vorteil, daß die Qualität der Bildvorlage wieder in ihren ursprünglichen Zustand überführt wird, so daß spätere aufwendige Rekonstruktionen überflüssig werden. Weiter kann sogar die Bildqualität gegenüber der Bildvorlage verbessert werden, indem durch Korrektur der Point- Spread-Funktion Unschärfen des Originals korrigiert werden können. Die ist z. B. durch Kenntnis des Kameraaufbaus, des verwendeten Objektivs und/oder Filters bei der Originalaufnahme der Bildvorlage möglich.In a further preferred procedure, the image templates are spectral and recorded radiometrically and correction curves correspondingly tracked, the Correction curves Changes in the material of the image template z. B. due to Consider aging processes. This has the advantage that the quality of the Image template is restored to its original state, so that later time-consuming reconstructions become superfluous. The image quality can even further compared to the original image by correcting the point Spread function blurring of the original can be corrected. That is e.g. B. by knowing the camera structure, the lens and / or filter used the original picture of the original is possible.

Die Erfindung wird nachfolgend anhand eines bevorzugten Ausführungsbeispiels näher erläutert. Die einzige Figur zeigt ein Blockschaltbild einer Vorrichtung zur Durchführung des Verfahrens.The invention is described below using a preferred exemplary embodiment explained in more detail. The single figure shows a block diagram of a device for Execution of the procedure.

Die Vorrichtung 1 umfaßt ein spektral- und photosensitives Bauelement 2, eine Signalelektronik 3, einen Zwischenspeicher 4, einen Signalprozessor 5 und einen Massen-Datenspeicher 6. Eine abzuspeichernde Bildvorlage 7 wird z. B. von einer nichtdargestellten Lichtquelle durchstrahlt. Die die Bildvorlage 7 transmittierende Strahlung wird vom spektral- und photosensitiven Bauelement 2 detektiert. Das spektral- und photosensitive Bauelement 2 ist z. B. als zeilenförmiges RGB (Rot- Grün-Blau)-CCD-Element ausgebildet, das die Bildvorlage 7 zeilenförmig abtastet. Die erfaßten Daten werden von der Signalelektronik 3 ausgelesen, verstärkt und digitalisiert. Die digitalisierten Daten der Bildvorlage 7 werden anschließend einem jeweiligen Bildpunkt eineindeutig zuordenbar in Zwischenspeicher 4 abgelegt. Gleichzeitig übergibt die Signalelektonik 3 die digitalisierten Daten an den Signal prozessor 5. Im Signalprozessor 5 werden die Daten auf mechanische Fehler wie z. B. Risse, Streifen in Filmlaufrichtung (Scratches), Brüche in der Zelluloid-Schicht mittels eines elektronischen Filteralgorithmus, der nach dem Prinzip der Kantener kennung arbeitet, untersucht. Wird ein solcher mechanischer Fehler festgestellt, so manipuliert der Signalprozessor 5 entsprechend die zugehörigen Daten in Zwischen speicher 4. Zusätzlich werden die Daten im Signalprozessor 5 auf weitere Fehlstel len untersucht. Dazu wird z. B. die Fehlstelle mit benachbarten Bildpunkten ver glichen. Bewirkt die Fehlstelle z. B. einen schwarzen Punkt in einem ansonsten blauen Himmel in der Bildvorlage 7, so kann die Fehlstelle durch einen benachbarten Bildpunkt oder deren Mittelung ergänzt werden. Des weiteren wird die zu bearbeitende Bildvorlage 7 mit einer vorangegangenen und einer nachfolgenden Bildvorlage 7 verglichen und durch Bildung von Bewegungsvektoren eine Änderungsgeschwindigkeit des Bildinhaltes ermittelt. In Abhängigkeit von der ermittelten Änderungsgeschwindigkeit und der Art der Fehlstelle kann dann eine Korrektur der Fehlstelle mittels benachbarter Bildpunkte und/oder vorangegangener und/oder nachfolgender Bildvorlagen durchgeführt werden. Weiter können im Signalprozessor 5 radiometrische und spektrale Korrekturkurven abgelegt sein, mit denen dann die Daten im Zwischenspeicher 4 nachgeführt werden. Da die spektrale und radiometrische Veränderungen der Bildvorlage 7 aufgrund von Alterungsprozessen oder ähnlichen für einen Zelluloid-Film über den ganzen Film nahezu konstant sind, können die Korrekturkurven zu Anfang der Abtastung einmalig ermittelt werden. Die letztendlich im Zwischenspeicher 4 abgelegten Daten werden anschließend herkömmlich komprimiert und in dem Massen-Datenspeicher 6 abgelegt.The device 1 comprises a spectrally and photosensitive component 2 , signal electronics 3 , an intermediate memory 4 , a signal processor 5 and a mass data memory 6 . An image template 7 to be stored is z. B. shines through from a light source, not shown. The radiation that transmits the original 7 is detected by the spectrally and photosensitive component 2 . The spectrally and photosensitive component 2 is, for. B. formed as a line-shaped RGB (red-green-blue) CCD element that scans the original 7 line-shaped. The recorded data are read out, amplified and digitized by the signal electronics 3 . The digitized data of the image template 7 are then stored in a temporary memory 4 in a clearly assignable manner to a respective pixel. At the same time, the signal electronics 3 transfers the digitized data to the signal processor 5 . In the signal processor 5 , the data for mechanical errors such. B. cracks, stripes in the direction of film (scratches), breaks in the celluloid layer by means of an electronic filter algorithm that works on the principle of edge detection, examined. If such a mechanical error is found, the signal processor 5 manipulates the associated data in the intermediate memory 4 . In addition, the data in the signal processor 5 are examined for further errors. For this, z. B. compared the defect with neighboring pixels. Causes the flaw z. B. a black dot in an otherwise blue sky in the image template 7 , the defect can be supplemented by an adjacent pixel or its averaging. Furthermore, the image template 7 to be processed is compared with a previous and a subsequent image template 7 and a rate of change of the image content is determined by forming motion vectors. Depending on the determined rate of change and the type of defect, the defect can then be corrected using adjacent pixels and / or previous and / or subsequent image templates. Furthermore, radiometric and spectral correction curves can be stored in the signal processor 5 , with which the data in the buffer store 4 are then updated. Since the spectral and radiometric changes in the image original 7 are almost constant over the entire film due to aging processes or the like for a celluloid film, the correction curves can be determined once at the beginning of the scanning. The data ultimately stored in the intermediate storage 4 are then conventionally compressed and stored in the mass data storage 6 .

Claims

1. A method for archiving image templates, in particular films, in which the image template is scanned, the captured pixels are digitized and compressed and the compressed digital data are stored in a mass data memory, characterized in that mechanical errors and / or others are present before the data compression Defects in the image original ( 7 ) and any audio track that may be present are detected by means of an edge detection using their point spread function. Deviations from the other image original ( 7 ) are recorded, the digitized pixel values are temporarily stored, from the previous and subsequent image originals ( 7 ) by forming Motion vectors a rate of change of the image content is determined and, depending on the rate of change and the detected errors and / or imperfections, corrected these by means of adjacent pixels and / or previous and / or subsequent image templates ( 7 ) or he will be ignored.

2. The method according to claim 1, characterized in that the image templates ( 7 ) recorded spectrally and radiometrically before the data compression and spectrally or radiometrically adjusted by means of correction curves, the correction curves compensating in particular for material parameters and aging processes of the image template ( 7 ).

3. The method according to claim 1 or 2, characterized in that prior to the data compression unsharpness of the image previous days ( 7 ) are carried out by correcting the point spread function.

4. Device for carrying out the method according to one of the preceding claims, by means of a spectral and photosensitive component, a signal electronics connected to the spectral and photosensitive component, a signal processor and a mass data memory, characterized in that between the signal electronics ( 3 ) and the Mass memory ( 6 ) a buffer ( 4 ) which can be controlled by the signal processor ( 5 ) is arranged, in which previous and subsequent image templates ( 7 ) for an image template ( 7 ) to be processed can be stored and by the signal processor ( 5 ) before transfer to the mass memory ( 6 ) are manipulable.