DE69218656T2

DE69218656T2 - Verfahren zur zeitlichen adaptiven Filterung von verrauschten Bildsequenzen

Info

Publication number: DE69218656T2
Application number: DE69218656T
Authority: DE
Inventors: Sergei V Fogel; Mehmet Ozkan; M Ibrahim Sezan
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1991-05-09
Filing date: 1992-04-30
Publication date: 1997-11-06
Anticipated expiration: 2012-05-01
Also published as: JPH05135170A; EP0512422A3; US5600731A; EP0512422A2; EP0512422B1; DE69218656D1

Description

Gebiet der Erfindung

Die vorliegende Erfindung bezieht sich auf Rauschverringerung bei Digitalbildabfolgen, die aus verschiedenen Videoquellen genau so wie aus Spielfilmen erhalten werden können.

Technischer Hintergrund

Eine Bewegungsabschätzung, die an und für sich auf dem weiten Gebiet der Computervision (Computervisualisierung bzw. -bildverarbeitung) wichtig ist, ist von äußerster Wichtigkeit bei nahezu jedem Aspekt der Bildsequenzverarbeitung. Eine Zwischenbildbewegungsinformation gestattet die Entwicklung von Algorithmen, die Vorteil aus den natürlich bestehenden Redundanzen zwischen den Einzelbildem (frames) einer Bildsequenz erziehen. Die dem Bewegungsabschätzungsproblem innewohnenden Schwierigkeiten und die Entwicklung von neuartigen Strategien zur Verwendung der Zwischenbild- bzw. Interframe-Bewegungsinformation im Zusammenhang mit verschiedenen Verarbeitungsaufgaben stellen Herausforderungen auf dem Gebiet der Bildsequenzverarbeitung dar.
Die Bildsequenzverarbeitung beschäftigt sich mit Problemen, wie beispielsweise der Zwischenbild- bzw. Interframe-Bewegungsabschätzung, der zeitlichen Einzelbildinterpolation, der Rauschfilterung, der Wiedergewinnung und der Datenkompression. Die vorliegende Erfindung beschäftigt sich insbesondere mit zweien dieser Problemen: Bewegungsabschätzung und Rauschfilterung.
Die Wichtigkeit, das Rauschen in den Bildsequenzen zu reduzieren, steigt mit der steigenden Anwendung von Video- und Fernsehsystemen in zahlreichen wissenschaftlichen, kommerziellen und verbraucherorientierten Anwendungen. Ein menschlicher Beobachter kann potentiell mehr Information aus einer Bildsequenz erhalten, wenn das Rauschen verringert wird. In Fällen, wo das Rauschen sichtbar nicht wahrnehmbar ist, steigert die Rauschverringerung die Effizienz bzw. den Wirkungsgrad der darauf folgenden Verarbeitung, die auf die Bildabfolge angewandt werden kann, wie beispielsweise eine Datenkompression.
Es gibt zwei große Zeitbereichansätze zur Bildsequenzfilterung: (1) der Bewegungskompensationansatz, und (2) der Bewegungsdetektionsansatz. Bei der bewegungskompensierten Filterung wird zuerst ein Bewegungsschätzalgorithmus auf die verrauschte Bildsequenz angewandt, um die Bewegungstrajektorien bzw. -bahnen abzuschätzen, d. h. die Stellen der Pixel bzw. Bildpunkte (oder Unterpixel), die einander in einer vorbestimmten Anzahl von aneinander gereihten bzw. folgenden Bildeinzelaufnahmen entsprechen. Dann wird der Wert eines speziellen Pixels in einem gewissen Bild bzw. Einzelbild geschätzt, und zwar unter Verwendung der Bildsequenzwerte, die auf der Bewegungsbahn sind, die das Pixel überquert. Die Schätzung wird entweder unter Verwendung einer unendlichen Impulsantwort- (IIR- = infinite impulse response) oder einer begrenzten Impulsantwort- (FIR- = finite impulse response) Filterstruktur ausgeführt.
Im Gegensatz dazu versuchen Verfahren basierend auf der Bewegungdetektion nicht die Zwischenbildbewegung abzuschätzen. Stattdessen werden direkt Unterschiede von Pixelwerten an identischen räumlichen Stellen von zwei benachbarten Frames bzw. Einzelbildern berechnet, um die Anwesenheit einer Zwischenbildbewegung zu detektieren. Eine Abschätzung des Pixelwertes an einer gewissen Stelle des gegenwärtigen Bildes bzw. Einzelbildes wird bestimmt durch Anwenden einer FIR- oder IIR-Filterstuktur auf Pixel an identischen räumlichen Stellen einer vorbestimmten Anzahl von vergangenen und/oder zukünftigen Bildern bestimmt. Die Filterkoeffizienten sind Funktionen des "Bewegungsdetektionssignals", welches als die Differenz definiert ist zwischen dem Pixelwert, der bei dem gegenwärtigen Einzelbild von Interesse ist, und dem Pixelwert an derselben Stelle des vorherigen Einzelbildes. Gewisse IIR-Filterstrukturen zur zeitlich Filterung auf der Basis der Bewegungsdetektion sind im Stand der Technik vorgeschlagen worden, genau so wie eine Vielzahl von anderen bewegungsdetektionsbasierten Filtermethoden.
Allgemein gesagt, wird die Leistung dieser beiden Ansätze bestimmt durch die Filterstruktur, die Abhängigkeit der Filterstruktur vom Bewegungsdetektionssignal (im Falle des Bewegungsdetektionsansatzes) und die Leistung des Bewegungsschätzalgorithmus (im Falle des Bewegungskompensationsansatzes). Bewegungskompensierte Filterverfahren tendieren dazu, auf Grund der Zwischenbild- bzw. Interframe-Bewegungsabschätzung komplexer zu sein. Auf der anderen Seite sind sie potentiell wirkungsvoller als jene, die auf der Bewegungsdetektion basieren, da die Zwischenbildbewegungsinformation verwenden. In der Praxis jedoch hängt der Erfolg eines bewegungskompensierten Verfahrens stark vom Erfolg der Bewegungsabschätzung ab.
Bei einem idealen Umfeld (Einstellung), wo die Szeneninhalte von einem Frame bzw. einer Einzelaufnahme zu einer weiteren unverändert bleiben, und wo der Bewegungsschätzalgorithmus nicht durch Rauschen verändert wird, sieht die direkte Durchschnittsbildung von Bildwerten über Bewegungsbahnen eine wirkungsvolle Rauschreduzierung vor. Tatsächlich ist unter der Annahme eines unabhängigen weißen Gaus'schen Rauschens der Mittelwert eine Maximalwahrscheinlichkeitsschätzung des Pixel- bzw. Bildpunktwertes. In der Praxis jedoch verändern sich Szeneninhalte von einem Bild zum anderen, beispielsweise auf Grund einer Kameraverschiebung bzw. eines Kameraschwenks und der Existenz von verdeckten/freigelegten Bereichen (Regionen). Daraus folgend müssen Bildwerte über einer geschätzten Bewegungstrajektorie bzw. -bahn nicht notwendigerweise der gleichen Bildstruktur entsprechen, und eine direkte Durchschnittsbildung kann ein Überglätten bzw. ein übermäßiges Glätten von Bilddetails zur Folge haben. Daher sollte der Rauschfilterungsalgorithmus zeitlich anpaßbar sein. Bei einem Extrem sollte er sich der direkten Durchschnittsbildung annähern, wenn die Bewegungseinschätzung genau ist. Beim anderen Extrem sollte er keine Filterung ausführen, wenn die Bewegungsabschätzung ungenau ist. Tatsächlich sollte das Bewegungsschätzverfahren gute Schätzungen in Anwesenheit von Rauschen vorsehen können, genau so wie im Fall von variierenden Szenen, um eine effektive Rauschreduzierung zu gestatten.
Die oben erwähnte Anpassungsanfordernis wird erfüllt, wenn der lokale lineare minimale Mittelquadratfehler- ("LMMSE" = local linear minimum mean square error) Punkt schätzer, der von Kuan und anderen und von Lee abgeleitet wurde, in der Zeitrichtung entlang der Bewegungsbahnen angewandt wird (siehe D. T. Kuan und andere, "Adaptive Noise Smoothing Filter for Images with Signal-Dependent Noise", (Adaptiver Rauschglättungsfilter für Bilder mit signalabhängigem Rauschen), IEEE Trans. Pattern Anal. Machine Intell., PAMI-7, Seiten 165-177, März 1985; und Lee "Digital Image Enhancement and Noise Filtering by Use of local Statistics" (Digitalbildverstärkung und Rauschfilterung durch Anwendung von lokalen Statistiken), IEEE Trans. Pattern Anal. Machine Intell., PAMI-2, Seiten 165- 168, März 1980).
Es wurde von Martinez und anderen ("Implicit Motion Compensated Noise Reduction of Motion Video Scenes" ("Implizite bewegungskompensierte Rauschreduzierung von bewegten Videoszenen") Proc. ICASSP, Seiten 375-378, Tampa, FL 1985) vorgeschlagen, den adaptiven LMMSE- Punktschätzer in Zeitrichtung anzuwenden. Auf Grund des Mangels an Bewegungschätzern, die in Anwesenheit von Rauschen robust bzw. widerstandsähig sind, verwendeten jedoch Martinez und andere eine Kaskade von fünf LMMSE- Schätzern über einen Satz von fünf hypothetisierten bzw. angenommenen Bewegungstrajektorien für jeden Bildpunkt, ohne eine tatsächliche Bewegung zu schätzen. Dieser Ansatz kann eher als ein Bewegungsdetektionsansatz betrachtet werden, als als ein bewegungskompensierter Ansatz, da eine Zwischenbildbewegung nicht geschätzt wird. Eine Bewegungsabschätzung entlang einer hypothetisierten bzw. angenommenen Bahn ist in der adaptiven Natur des Schätzers implizit. Auf Grund der adaptiven Natur des Schätzers ist eine Filterung nur entlang der Trajektorie wirkungsvoll, die nahe an der tatsächlichen liegt. Dieser Ansatz ist in Fällen als erfolgreich erwiesen worden, in denen die angenommenen Bewegungstrajektorien eng an den tatsächlichen liegen.
Die Erfindung bezieht sich auf ein Verfahren zur zeitlichen adaptiven Filterung von Frames bzw. Einzelbildern einer Bildsequenz nach Anspruch 1. Bevorzugte Ausführungsbeispiele sind in den abhängigen Ansprüchen offenbart.

Zusammenfassung der Erfindung

Es besteht eine Notwendigkeit für ein Verfahren zur Reduzierung von Rauschen in Bildsequenzen, welches den lokalen LMMSE-Punktschätzer über Bewegungstrajektorien bzw. -bahnen verwendet, die explizit unter Verwendung eines robusten Bewegungsschätzalgorithmus geschätzt wurden.
Dieses und andere Ziele werden durch die vorliegende Erfindung erreicht, die ein Verfahren zur zeitlichen adaptiven Filterung von Bildern bzw. Einzelaufnahmen einer Bildsequenz vorsieht. Um das k-te Einzelbild zu filtern, werden zuerst die Bewegungsbahnen unter Verwendung eines Bewegungsschätzalgorithmus bestimmt, die die Pixelstellen am k-ten Einzelbild überqueren. Die Bewegungsbahnen laufen durch eine vorbestimmte Anzahl von Einzelaufnahmen bzw. Einzelbildern, die benachbart zum k-ten Einzelbild liegen. Bildwerte in den benachbarten Bildern entlang der Bewegungsbahnen werden dann ausgewertet bzw. berechnet. Zeitliche adaptive lineare minimale Mittelquadratfehler- (LMMSE = linear minimum mean square error-) Schätzungen des Bildwertes an den Pixelstellen des k-ten Einzelbildes werden unter Verwendung von Bildwerten entlang der Bewegungsbahnen bestimmt. Diese Schritte werden für jedes der anderen Bilder der Bildsequenz wiederholt.
Ein spezieller Bewegungsschätzalgorithmus, der bei der vorliegenden Erfindung verwendet werden kann, ist das Thema einer anhängigen Patentanmeldung, Serien-Nr. 275 859, eingereicht am 25. Novembver 1988, die unter US-A-5 241 608 am 31.8.93, veröffentlicht wurde, und die von einem der Erfinder der vorliegenden Erfindung erfunden wurde. Dieser Bewegungsschätzalgorithmus, im folgenden der "Fogel-Algorithmus" ist sehr gut geeignet zur Filterung von verrauschten Bildsequenzen, da (i) er sehr unempfindlich auf Rauschen ist, und (ii) er gute Abschätzungen im Fall von varuerendem Szeneninhalt bietet. Seine Robustheit kommt auf Grund der Tatsache, da er eine direkte Ableitung (Differentiation) der Bildverteilung vermeidet. Er prägt die optischen Fluß- und Richtungsglättungseinschränkungen auf bzw. erfordert sie, und zwar unter adaptiver (wahlweiser) Verwendung eines neuartigen Variationsprinzips. Dieses letztere Merkmal des Fogel- Algorithmus ist verantwortlich für seine gute Leistung im Fall von Situationen mit verdecktem/freigelegtem Bereich (Region) und Kameraschwenk.
Das Verfahren der vorliegenden Erfindung führt eine zeitlich adaptive LMMSE-Filterung entlang von Bewegungstrajektorien aus, die unter Verwendung eines robusten Bewegungsschätzalgorithmus bestimmt werden. Das Rauschen wird als Weißes angenommen. Jedoch kann es signalunabhängig oder signalabhängig sein. Das Verfahren der vorliegenden Erfindung ist einem impliziten Bewegungsdetektionsverfahren genau so wie anderen bewegungskompensierten Verfahren unter Verwendung einer pel-rekursiven (pel = Pixelelement) Bewegungsschätzung überlegen. Auch ist das Verfahren der vorliegenden Erfindung sehr wirkungsvoll beim Unterdrücken des Filmkornrauschens, ohne die Bilddetails zu verschmieren, und zwar für Bildsequenzen, die von einem Spielfilm digitalisiert werden.
Andere Ziele, Vorteile und neuartige Merkmale der vorliegenden Erfindung werden aus der folgenden detaillierten Beschreibung der Erfindung offensichtlich, wenn sie in Verbindung mit den Begleitzeichnungen gesehen wird.

Kurze Beschreibung der Zeichnungen

Fig. 1 zeigt eine Sequenz von Bildeinzelaufnahmen (frames), um ein erstes Ausführungsbeispiel des Verfahrens der vorliegenden Erfindung zu veranschaulichen;
Fig. 2 zeigt eine Sequenz von Bildeinzelaufnahmen, um ein weiteres Ausführungsbeispiel des Verfahrens der vorliegenden Erfindung zu veranschaulichen;
Fig. 3 veranschaulicht eine Darstellung der Natur von c&sub1;(r, α) unter Verwendung eines Satzes von hypothetischen G- und φα-Werten: c&sub1; gegenüber G und φα φür {u=6,0; p=9,4 und q=O,5};
Fig. 4(a) zeigt einen Querschnitt der Kurve in Fig. 3 bei einem gewissen G-Wert, der verglichen wird mit Kurven, die durch individuelles Verändern des Wertes des Paramters p erhalten werden: (u=6,0; p=O,4 und q= O,5) und (u=6,0; p=O,8 und q=O,5);
Fig. 4(b) zeigt einen Querschnitt der Kurve in Fig. 3 bei einem gewissen G-Wert, der mit Kurven verglichen wird, die durch individuelles Variieren des Wertes des Parameters q erhalten werden: (u=6,O; p=O,4 und q=O,5) und (u=6,O; p=0,4 und q=1,0).
Fig. 4(c) zeigt einen Querschnitt der Kurve in Fig. 3, bei einem gewissen G-Wert, verglichen mit Kurven, die durch individuelles Verändern des Wertes des Parameters u erhalten werden: (u= 6,0, p=O,4 und q=O,5) und (u=10,0; p=O,4 und q=O,5).

Detaillierte Beschreibung der bevorzugten Ausführungsbeispiele

Die vorliegende Erfindung sieht einen Algorithmus zur zeitlichen Filterung von verrauschten bzw. rauschbehafteten Bildsequenzen vor, der die Abschätzung der Zwischenbild- bzw. Interframe-Bewegung verwendet. Dieser bewegungskompensierte zeitliche Filteransatz wendet die Zwischenbildbewegungsinformation an. Ein Bewegungsschätzalgorithmus, der zur Anwendung als der Algorithmus der vorliegenden Erfindung angepaßt worden ist, ist der Fogel- Algorithmus, obwohl andere robuste Algorithmen entwickelt werden können, die auch geeignet wären. Der Fogel- Algorithmus ist sehr gut geeignet für Rauschfilteranwendungen, und zwar auf Grund seiner robusten Natur. Die grundlegenden mathematischen Prinzipien des Fogel- Algorithmus sind beschrieben in: S. V. Fogel, "Estimation of velocity vector fields from time-varying image sequences" (Abschätzung von Geschwindigkeitsvektorfeldern aus zeitveränderlichen Bildsequenzen), CVGIP: Image Understanding, Vol 53, Nr. 3, Mai 1991. Für die Zwecke der vorliegenden Ausführung werden die grundlegenden Prinzipien des Fogel-Algorithmus dargelegt und nicht seine mathematischen Details.
Bei der vorliegenden Erfindung wird eine verrauschte bzw. rauschbehaftete Bildsequenz g(x,y,t) modeliert durch:

Gleichgung (1)

g(x,y,t) = f(x,y,t) + v(x,y,t)
wobei f(x,y,t) und v(x,y,t) die jeweiligen tatsächlichen bzw. Ist-Bild- und Rauschverteilungen bezeichnen, und zwar bei den kontinuierlichen räumlichen und zeitlichen Koordinaten (x,y,t). Ein diskretes Modell kann bezüglich der diskreten Koordinaten (m,n,k) definiert werden als g(m,n,k) = f(m,n,k) + v(m,n,k), wobei g(m,n,k), f(m,n,k), v(m,n,k) die gesampelten bzw. aufgenommenen Versionen der entsprechenden Größen in Gleichung (1) bezeichnen.
Es sei hier angenommen, daß das Einzelbild zur Zeit k einer gegebenen Bildsequenz gefiltert wird unter Verwendung seiner N benachbart liegenden Einzelbilder einschließlich ihm selbst gefiltert wird. Ohne die Allgemeingültigkeit zu verlieren, sei auch angenommen, daß N=2M+1 und daß die Einzelbilder zu den Zeiten k-M, ... k-1, k+1, ..., k+M verwendet werden, um das Einzelbild zur Zeit k zu filtern. (Siehe Fig. 1 für eine Veranschaulichung der Einzelbilder.)
Beim ersten Schritt der vorliegenden Erfindung werden Bewegungstrajektorien bzw. -bahnen, die die Pixelstellen im k-ten Einzelbild überqueren, unter Verwendung des Bewegungsschätzalgorithmus bestimmt. Eine Bewegungsbahn wird für jedes Pixel im k-ten Einzelbild definiert. Für einen Bildpunkt bzw. ein Pixel, das bei (m,n) im k-ten Einzelbild gelegen ist, wird die Bewegungsbahn τm,n,k definiert als ein Satz von Stellen, der (m,n) enthält, genau so wie die versetzten Stellen, die (m,n) in den N-1 benachbart liegenden Einzelbildern zu den Zeiten k-M, ... k-1, k+1,..., k+M entsprechen. Die Verschiebungsvektoren werden durch den Bewegungsschätzalgorithmus geschätzt. Im allgemeinen sind die Komponenten der Verschiebungsvektorschätzungen real-wertig und somit weisen die Trajektorien bzw. Bahnen auch Unterpixelstellen auf, an denen die Bildwerte über Interpolation bestimmt werden.
Im zweiten Schritt des Verfahrens der vorliegenden Erfindung werden Bildwerte, die bei den Bewegungsbahnen ausgerechnet bzw. berechnet wurden, verwendet, um die zeitlich adaptiven LMMSE-Schätzungen der Pixelwerte im k-ten Einzelbild zu bestimmen. Diese zweistufige Prozedur wird dann für andere Bilder bzw. Einzelaufnahmen der Sequenz wiederholt.
Im folgenden wird zuerst der Bewegungsschätzschritt genauer besprochen, und zwar gefolgt von einer Besprechung der zeitlich adaptiven Filterung.
Bewegungsschätzalgorithmen können in drei Hauptklassen eingeteilt werden: (i) Merkmal/Bereich-Übereinstimmungsverfahren, (ii) Fourier-Transformationsbereichsverfahren; und (iii) raumzeitgradienten-basierte Verfahren. Bei den Merkmal/Bereich-Übereinstimmungsverfahren wird die Bewegung abgeschätzt durch Übereinstimmungsmerkmale (beispielsweise Kanten) oder Bereiche (beispielsweise Pixelblöcke), und zwar von einem Einzelbild zum anderen. Die Verschiebungsvektoren werden nur auf Grund eines spärlichen bzw. unvollständigen Satzes von Bildpunkten abgeschätzt. Die Fourier-Transformationsverfahren nützen die Beziehung zwischen den Fourier-Transformationen von zweidimensionalen Signalen aus, die mit Bezug aufeinander verschoben sind. Die raumzeitgradienten-basierten Verfahren schätzen die Bewegung durch Verwendung der räumlichen und zeitlichen Veränderungen (Gradienten) der Bildverteilung ab, genau so wie das Verschiebungsvektorfeld. Der Fogel-Algorithmus, der bei gewissen Ausführungsbeispielen der vorliegenden Erfindung als der Bewegungsschätzalgorithmus verwendet wird, ist ein raumzeitliches Verfahren.
Es gibt vier Hauptideen des Fogel-Algorithmus: (1) Bildung einer mehrfachauflösenden Darstellung bzw. Darstellung mit mehreren Auflösungen der gegebenen Bildsequenz, (2) die Anwendung von optischen Fluß- und Richtungsglättungseinschränkungen auf die Verschiebungsvektorfeldschätzung, (3) Formulierung bzw. Aufstellung eines neuartigen Variationsprinzips, welches verwendet wird, um die Verschiebungsvektorfeldschätzung zu erhalten, und (4) Lösung des Variationssprinzipes. Zum Zwecke der Ausführung wird mehr auf die Konzepte des Fogel-Algorithmus Betonung gelegt, statt auf seine mathematischen Details. Weiter wird aus Gründen der Vereinfachung eine andere Bezeichnung (Schreibweise) verwendet als die, die in dem früher erwähnten technischen Bericht enthalten ist. Auch ist die folgende Ausführung auf kontinuierliche räumliche und zeitliche Variablen eingeschränkt.
Eine Mehrauflösungs-Darstellung bzw. Darstellung mit mehreren Auflösungen der gegebenen Bildsequenz, die von gα(x,y,t) bezeichnet wird, wird bestimmt indem sie mit einem Kern korreliert wird in der Form von Gleichung (2)
Das heißt, gα(x,y,t) Ωg(µ,η,t)h((µ-x)/α, (η-y)/α))dµdη. Hier bezeichnet Ω die Bildunterstützung bzw. den Bildsupport, A, B, C und D sind vorbestimmte Konstanten und α ist der Auflösungsparameter. Man kann sehen, daß die räumliche Auflösung von gα(x,y,t) sinkt, wenn α steigt. Es ist wichtig zu bemerken, daß die räumlichen partiellen Ableitungen von gα einfach berechnet werden können durch Korrelieren von g mit partiellen Ableitungen des Korrelationskerns, der unbegrenzt ableitbar ist. Eine Bewegungsabschätzung wird hierarchisch ausgeführt, und zwar beginnend von der niedrigsten Auflösung und endend bei der Originalauflösung der Bildsequenz.
Der Fogel-Algorithmus prägt optische Fluß- und Richtungsglättungseinschränkungen bei der Verschiebungsvektorfeldschätzung auf. Diese zwei Einschränkungen werden im Folgenden eingeführt. Die Abschätzung des Verschiebungsvektorfeldes an der Stelle r, die die Bewegung zwischen den Einzelbildern bei t und t+Δt bei einem Auflösungsniveau bzw. -grad α beschreibt, wird wie folgt bezeichnet: Gleichung (3)
wobei r = [x y]T Dann wird die Verschiebungseinzelbilddifferenzfunktion φα für diese beiden Bilder beim Auflösungsniveau α wie folgt definiert: Gleichung (4)
Die Verschiebungseinzelbilddifferenzfunktion kann verwendet werden, um die optische Flußeinschränkung einzuführen. Die Effekte bzw. Auswirkungen von Rauschen, möglichen Veränderungen der Szenenbeleuchtung usw. werden im Augenblick ignoriert, und die Punkte einer sich bewegenden Struktur werden so angesehen, daß sie den gleichen Graupegel bzw. die gleiche Graustufe in benachbarten Einzelbildern erreichen. In diesem Fall, wenn die Schätzung α gleich dem wahren Verschiebungsvektor wäre, würde die Verschiebungseinzelbilddifferenzfunktion den Wert von Null an dieser Stelle erreichen. Die optische Flußeinschränkung wird als vom Verschiebungsvektor erfüllt angenommen, wenn die Verschiebungseinzelbilddifferenzfunktion den Wert Null erreicht. Daher wird eine optische Flußeinschränkung aufgeprägt, wenn der (absolute) Wert der Verschiebungseinzelbildfunktion gesenkt wird.
Es ist wichtig zu bemerken, daß die optische Flußeinschränkung nicht ausreichend ist, um eindeutig den Verschiebungsvektor zu bestimmen. In anderen Worten hat die Gleichung φα (r, α) =0 im allgemeinen mehr als eine Lösung. Insbesondere führt die optische Flußeinschränkung eine Begrenzung nur bei der Komponente des Verschiebungsvektors ein, die in der Richtung des räumlichen Gradientenvektors an der Stelle r ist. Es werden jedoch keine Einschränkungen an der Komponente in der Richtung senkrecht zum Gradientenvektor aufgeprägt. Der Lösungsraum für die Verschiebungsvektorschätzung enthält daher mehr als ein Element.
Die Größe der Lösung für die Verschiebungsvektorschätzung kann verringert werden durch Verwendung von Multispektralcharakteristiken eines Bildes, falls verfügbar. Wenn beispielsweise die Bildsequenz in Farbe verfügbar ist, kann eine optische Flußeinschränkung in den roten, grünen und blauen Kanälen aufgeprägt bzw. eingeführt werden. Da die Richtung des räumlichen Gradientenvektors auf jedem Farbkanal im allgemeinen unterschiedlich ist, wird der Verschiebungsvektor in drei unterschiedlichen Richtungen sozusagen (effektiv) eingeschränkt. Dies kann angesehen werden als steigende Anzahl von "Bekannten", während die Anzahl der Unbekannten gleich bleibt.
Der Lösungsraum für die Verschiebungsvektorschätzung kann weiter reduziert werden durch Verwendung von zusätzlichen Einschränkungen, wie beispielsweise die Glättungseinschränkung, die die Erfordernisse aufprägt, daß die Verschiebungsvektoren sanft entlang gewisser räumlicher Richtungen variieren. Im Folgenden wird die Richtungsglättungsfunktion α auf dem Auflösungsniveau α zur Einführung der Richtungsglättungseinschränkung definiert.
Die Richtungsglättungsfunktion ist bezüglich der Richtungsableitungen des Verschiebungsvektors definiert. Die Richtungsableitungen der x- und y-Komponenten des Verschiebungsvektors in Richtung des Vektors s = [sxsy]T sind wie folgt definiert: Gleichung (5)
Die Richtungsglättungsfunktion wird definiert durch Gleichung (6)
Die Glättungseinschränkung in Richtung von s wird eingeführt, wenn der Wert dieser Funktion gering ist.
Es ist wichtig, zu erkennen, daß die optischen Fluß- und Glättungseinschränkungen des Verschiebungsvektorfeldes nicht notwendigerweise bei allen Bildpunkten gültig sind. Beispielsweise gilt die optische Flußeinschränkung nicht nahe bei Ausschluß- bzw. Verschlußgrenzen, wo Gebiete verdeckt oder freigelegt werden. Die Glättungseinschränkung andererseits gilt nicht nahe bei Ausschluß- bzw. Verschlußgrenzen in der Richtung senkrecht zu den Verschlußgrenzen, wo das Verschiebungsfeld sich plötzlich verändert.
Frühere raumzeitliche Verfahren des Standes der Technik verwendeten die optischen Fluß- und Glättungseinschränkungen global auf dem gesamten Bild, was Algorithmen zur Folge hatte, die im allgemeinen nicht zufriedenstellende Verschiebungsschätzungen vorsahen. Spätere Verfahren prägen selektiv die Glättungseinschränkung auf. Diese Verfahren erfordern das Detektieren von Objektgrenzen. Die Glättungseinschränkung wurde dann nur entlang der Grenzen, jedoch nicht senkrecht zu den Grenzen aufgeprägt (ohne Unterscheidung zwischen Verschluß- bzw. Ausschluß- und Nicht-Verschlußgrenzen; die Glättungseinschränkung gilt in der Richtung senkrecht zu einer Nicht-Verschlußgrenze). Der Fogel-Algorithmus besitzt die neuheitliche Fähigkeit, sowohl die optischen Fluß- als auch die Richtungsglättungseinschränkungen adaptiv in geeigneter Weise aufzuprägen (Differenzierung zwischen Verschluß- und Nicht-Verschlußgrenzen), und zwar innerhalb des Rahmens eines neuen Variationsprinzipes, wie unten erklärt.
Um in geeigneter Weise die optischen Fluß- und Richtungsglättungseinschränkungen aufzuprägen, sollte man eine gewichtete Summe (oder ein Integral) der verschobenen Bilddifferenz- und Richtungsglättungsfunktionen minimieren, die oben definiert wurden, wobei die Gewichtungen mit Bezug auf die Gültigkeit jeder Einschränkung eingestellt bzw. angepaßt werden. Die Gewichtung der Verschiebungseinzelbilddifferenzfunktion sollte an Punkten verringert werden, wo eine optische Flußeinschränkung verletzt wird. In ähnlicher Weise sollte die Gewichtung bzw. das Gewicht der Richtungsglättungsfunktion in Richtungen verringert werden, wo die Glättungseinschränkung verletzt wird. Idealerweise sollten diese Gewichte (Gewichtungen) Funktionen des Verschiebungsvektorfeldes sein, da das Verschiebungsvektorfeld der beste Indikator für die Gültigkeit dieser Einschränkungen ist. Beispielsweise signalisiert eine plötzliche Veränderung des räumlichen Gradienten des Verschiebungsvektors, die Anwesenheit einer Ausschluß- bzw. Verschlußgrenze. (Dies wird genauer unten erklärt, wenn die expliziten Formen dieser Gewichtungen besprochen werden.) Wenn man dies im Kopf behält, sollte die Verschiebungsfeldschätzung das folgende Variationsprinzip erfüllen: Die Schätzung α beim Auflösungsniveau α sollte derart sein, daß die Funktion Gleichung (7)
mit Bezug auf δ α minimiert wird, wenn δ α = 0. Der erste Term bzw. Ausdruck auf der rechten Seite der Gleichung (7) ist eine gewichtete Integration des Quadrates der Verschiebungseinzelbilddifferenzfunktion über das gesamte Bild. Im zweiten Ausdruck bezeichnet die Bezeichnung s(.) ds die Integration über einen vorbestimmten Satz s von Richtungen (im bevorzugten Ausführungsbeispiel des Algorithmuses werden acht Richtungen in Betracht gezogen); das gewichtete Integral der Glättungsfunktion wird dann über das gesamte Bild integriert.
Die Gewichtungen, die von der Verschiebungsvektorschätzung abhängen, sind wie folgt gegeben: Gleichung (8)
wobei
die räumlichen Gradienten des Verschiebungsvektors bezeichnen, und wobei folgendes gilt: Gleichung (9)
wobei s der Richtungsableitungsoperator ist, der in Gleichung (5) definiert wird. Die Parameter p, q, u, v, w, z werden heuristisch bestimmt, und zwar unter Verwendung einer Anzahl von Bildsequenzen. Ihre Werte sind im allgemeinen robust und müssen nicht von einer Bildsequenz zur anderen eingestellt bzw.verändert werden.
Das Folgende ist eine Beschreibung der adaptiven Gewichtung der optischen Fluß- und Richtungsglättungseinschränkungen. Die Gewichtsfunktion c&sub1; (r, α), die mit der Verschiebungseinzelbilddifferenzfunktion assoziiert ist, wird zuerst in Betracht gezogen. An irgendeiner Stelle r sollte der Wert der Gewichtsfunktion monoton mit steigenden Werten der Verschiebungseinzelbilddifferenzfunktion abnehmen, wodurch daher der Effekt der optischen Flußeinschränkung (an der Stelle r) auf die Lösung der Gleichung (7) geschwächt wird. Dies erklärt die Anwesenheit des Ausdruckes p²(φα(r, α))² im Nenner der in Gleichung (8) gegebenen Gewichtsfunktion. Das Einschließen des Ausdrucks
in den Nenner der Gleichung (8) ist primär durch die Tatsache motiviert, daß die Schwächung der optischen Flußeinschränkung am signifikantesten nahe der Verschlußgrenzen sein sollte. Nahe den Verschlußgrenzen erreichen sowohl der Gradiententerm
als auch die Verschiebungseinzelbilddifferenzfunktion φα(r, α) hohe Werte auf Grund der plötzlichen Veränderung des Verschiebungsvektorfeldes bzw. auf Grund der verdeckten/freiliegenden Bildstrukturen. Daher verringert der zusammenwirkende Effekt des Produktes dieser zwei Größen signifikant das Gewicht bzw. die Gewichtung, was eine signifikante Schwächung der optischen Flußeinschränkung zur Folge hat. Als eine Konsequenz ist die Schwächung der optischen Flußeinschränkung auf Grund des Verschlusses strenger bzw. schwerer als auf Grund von Zwischeneinzelbilddifferenzen, die durch Rauschen und/oder isolierte Objekte bzw. Artefakte (beispielsweise Kratzer auf dem Film, von dem die Bildsequenz digitalisiert wird), erzeugt werden.
Der Zweck der Parameter p und q ist es, die relativen Effekte der Ausdrücke G(r, α), (φα(r, α))² und (φα(r, α))² auf den Wert der Gewichtsfunktion einzustellen. Der Parameter u bestimmt den Wert der Gewichtsfunktion, wenn die anderen zwei Ausdrücke im Nenner geringe Werte erreichen, insbesondere wenn die optische Flußeinschränkung starkt aufgeprägt wird.
Mehr Einsicht in die Gewichtsfunktion kann erreicht werden durch Aufzeichnen ihrer Werte gegenüber der Verschiebungseinzelbilddifferenzfunktion und des Verschiebungsfeldgradienten. Fig. 3 zeigt Kurven bzw. Graphiken, die durch die Anwendung einer Anordnung (Array) von hypothetischen G(r, α) - und φα(r, α)-Werten erzeugt werden, und zwar unter Verwendung von {u=6,O; p=O,4 und q=O,5}. Man kann in Fig. 3 beobachten, daß der Wert von c&sub1;(r, α) mit steigenden φα-Werten fällt, und daß die Abfallrate mit steigenden G(r, α)-Werten steigt. Das Gewicht bzw. die Gewichtung erreicht sehr kleine Werte, wenn beide dieser Größen große Werte erreichen. Ein Querschnitt der Graphik in Fig. 3 bei einem gewissen G(r, α)-Wert (G(r, α)=10) wird in Fig. 4 mit Kurven verglichen, die erhalten werden durch individuelles Variieren der Werte der Parameter p, q und u von denen, die in Fig. 3 verwendet werden. Die Kurven für (u=6,0; p=O,4 und q=O,5) und (u=6,0; p=O,8 und q=O,5) werden in Fig. 4(a) verglichen. Die Fig. 4(b) und 4(c) vergleichen diese Kurven jeweils für (u=6,O; p=O,4 und q=O,5) und (u=6,0; p=O,4 und q=1,O) und (u=O,6; p=O,4 und q=O,5) und (u=10,0; p=O,4 und q=O,5).
Die Abfallrate der Gewichts- bzw. Gewichtungsfunktion steigt mit steigenden Werten von p und/oder q. Größere Werte von u haben im allgemeinen kleinere Werte der Gewichtsfunktion zur Folge (siehe Fig. 4 (c)) . Es kann gezeigt werden, daß der Wendepunkt der Gewichtsfunktion auftritt bei
und zwar für einen festen Wert von G(r, α). Die Gewichtsfunktion c&sub2;(r, α), die mit der Richtungsglättungseinschränkung assoziiert ist, ist in der Form identisch mit der Gewichtsfunktion c&sub1;(r, α). Die Rollen, die von sgα(r) und in c&sub2;(r, α,s) übernommen werden, sind ähnlich jenen, die von G(r, α) bzw. (φα(r, α))² in c&sub1;(r, α) übernommen bzw. gespielt werden.
Wenn der Wert der Richtungsglättungsfunktion α(r, α,s) an der Stelle r steigt, sinkt der Wert der Gewichtungsfunktion, wodurch somit die Glättungseinschränkung an der Stelle in der Richtung von s geschwächt wird. Nahe den Verschlußgrenzen können sowohl α(r, α,s) als auch sgα(r) hohe Werte erreichen, wenn s parallel zum räumlichen Gradientenvektor ist. In diesem Fall sinkt auf Grund des Produktausdruckes
im Nenner von (9) der Wert des Gewichtes beträchtlich, wodurch somit der Effekt der Richtungsglättungseinschränkung auf die Lösung der Gleichung (7) geschwächt wird. Der Effekt der Parameter v, w und z auf den Wert von c&sub2; ist identisch mit den Effekten der Parameter u, p und q auf den Wert von c&sub1;. Man kann sich daher auf die Fig. 2 und 3 beziehen, um Einsicht in die Effekte dieser Paramter auf die Gewichtsfunktion zu gewinnen, die mit der Richtungsglättungseinschränkung assoziiert ist.
Das Folgende ist eine Ausführung einer Multispektralerstreckung. Der Vorteil der Verwendung von unterschiedlichen Spektralkanälen einer gegebenen Bildsequenz bei der Zwischeneinzelbildbewegungsschätzung wurde oben dargelegt. Es sei angenommen, daß die Rot-(r), Grün-(g) und Blau(b)-Datensätze (Aufzeichnungen) der Bildsequenzdaten verfügbar sind. Indem man alle drei Kanäle in Betracht zieht, wird die Kostenfunktion in Gleichung (7) zu folgendem: Gleichung (10)
wobei die Gewichtsfunktionen gegeben werden durch: Gleichung (11)
und durch Gleichung (12)
Die Lösung des Variationsprinzips kann über eine Differentiation/Integration bzw. Berechnung von Variationen erhalten werden, was in diesem Fall die notwendige Bedingung liefert, die die Lösung erfüllen sollte:
Diese Bedingungen lassen eine nicht-lineare Gleichung entstehen, die dann bei jedem Lösungsniveau unter Verwendung eines Quasi-Newton-Verfahrens gelöst wird. Die bei einem Auflösungsniveau erhaltene Schätzung wird als die Anfangsschätzung für das näahsthöhere Auflösungsniveau verwendet.
Die zeitlich adaptive LMMSE-Filterung, die von der vorliegenden Erfindung ausgeführt wird, wird nun beschrieben. Die bei der vorliegenden Erfindung verwendete Filterstuktur zur Ausführung der zeitlich Filterung wurde ursprünglich von Kuan und anderen und Lee abgeleitet (wie früher besprochen), und zwar im räumlichen Bereich zur Entfernung von Rauschen aus Standbildern. Kuan und andere und Lee verwendeten unterschiedliche Annahmesätze in ihren Ableitungen. Die Annahmen, die von Kuan und anderen verwendet wurden, werden nun in Betracht gezogen, da sie für die vorliegenden Anwendungen geeigneter sind als die von Lee. Beispielsweise gestattet anders als die von Lee gegebene die von Kuan und anderen vorgesehene Ableitung ein signalabhängiges Rauschen. Dies ist wichtig im Falle der Verarbeitung von Sequenzen, die aus einem Spielfilm (motion picture) digitalisiert wurden, wobei das Rauschen auf Grund der Anwesenheit von Filmkörnung bzw. Filmkörnern signalabhängig ist.
Kuan und andere sprechen das Problem des Auffindens einer LMMSE-Schätzung des Originalsignals aus ihren verrauschten bzw. verrauschten Beobachtungen g(m,n)=f(m,n)+v(m,n) an, wobei das Rauschen signalabhängig oder signalunabhängig sein kann. Das signalabhängige Rauschen kann im allgemeinen wie folgt modeliert werden v(m,n)=γ(m,n)fα(m,n), wobei γ(m,n) im weiten Sinne stationär ist, und zwar mit einem Null-Mittelwert und einer Einheitsvarianz und unabhängig vom Bildsignal. Der Paramter α ist eine Realzahl; das Filmkörnungsrauschen kann modeliert werden mit α = 1/3. Es wird angenommen, daß (i) das Bild einen nicht stationären Mittelwert besitzt, der mit µf(m,n) bezeichnet wird, und das residuelle (m,n) f(m,n)-µf(m,n) ein weißer Prozeß mit einer nicht-stationären Varianz f(m.n) ist (auf dies wird Bezug genommen als das "Nicht-stationärer-Mittelwert-Nicht-stationäre-Varianz-Bildmodell" ("nonstationary mean nonstationary variance image model")); und (ii) daß das Rauschen ein Null-Mittelwertweißer Prozeß ist. Bei Kuan und anderen wird das Nichtstationärer-Mittelwert-Nicht-stationäre-Varianz-Modell experimentell im Falle von im echten Leben auftretenden Bildern unter Verwendung von lokalen Statistiken verifiziert. Es wird beobachtet, da das Residualsignal wie weißes Rauschen erscheint, inbesondere in den gleichförmigebn Bildgebieten bzw. -regionen.
Die LMMSE-Schätzung f(m,n) besitzt die folgende Form: Gleichung (13)
wobei v²(m,n) die Rauschvarianz bezeichnet. Wenn die Gesamtstatistiken durch lokale Statistiken ersetzt werden, (auf der Basis einer lokalen Ergodizitätsannahme), die aus dem beobachteten Bild berechnet wurde, ergibt sich die folgende lokale LMMSE-Schatzung: Gleichung (14)
(Die Bezeichnung " ^ " bezeichnet die lokalen Statistiken.) Wenn wir die Proben- bzw. Abtastwertvarianz und das Proben- bzw. Abtastwertmittel von g(m,n) berechnet über eine lokale Region mit (m,n) als Mitte mit g²(m,n) bzw. g(m,n) bezeichnen, dann gilt
und µf(m,n) = g(m,n), wobei v²(m,n) die Sample- bzw. Abtastwert- oder Abtastvarianz des Rauschprozesses bezeichnet. Es sei bemerkt, daß auf Grund der Berechnung der Abtastvarianzen innewohnenden Nicht-Linearität die lokale LMMSE-Schätzung eine nicht-lineare Schätzung wird.
Beim Verfahren der vorliegenden Erfindung wird die räumlich lokale LMMSE-Filterstruktur der Gleichung (14) im zeitlichen Bereich bzw. Zeitbereich entlang der Bewegungstrajektorien bzw. -bahnen verwendet. Beim Ersetzen der räumlich lokalen Statistiken durch ihre zeitlichen Gegenstücke wird die zeitlich lokale LMMSE-Schätzung des Bildwertes an der Stelle (m,n) des Einzelbildes (frame) zur Zeit k gegeben durch: Gleichung (15)
wobei
gilt. Die Größen g²(m,n;k) und f(m,n;k)= g(m,n;k) bezeichnen die Abtastvarianz bzw. den Mittelwert der degradierten Bildsequenz, und zwar berechnet über die Bewegungsbahn τ m,n,k. Es sei bemerkt, daß die "weiße residuelle Annahme" entlang der Bewegungsbahnen geeignet bzw. zulässig ist, auf denen die Signalstatistiken den Signalstatistiken über ein gleichförmiges räumliches Gebiet ähneln, insbesondere an Punkten bzw. Stellen, wo eine gute Schätzung des Verschiebungsfeldes erhalten wird.
Man sollte beachten, daß der LMMSE-Schätzer der vorliegenden Erfindung, der in Gleichung (15) definiert wird, die früher dargelegte Adaptivitätsanforderung erfüllt. Wenn die Verschiebungsschätzungen, die verwendet werden, um die Bewegungsbahn zu bestimmen, genau sind, dann sinkt die zeitliche Signalvarianz und die Schätzung nähert sich einer direkten Durchschnittsbildung an. Wenn die Genauigkeit der Verschiebungsschätzung sinkt, weicht der Schätzer von der direkten Mittelwertbildung ab und als Extrem nähert sich die Schätzung dem Rauschwert, wenn die zeitliche Signalvarianz viel größer ist als die Rauschvarianz.
In der Praxis kann die Rauschvarianz a priori nicht bekannt sein. In diesem Fall kann eine Schätzung der Rauschvarianz aus der Abtastvarianz der Pixelwerte bei einem gleichförmigen Gebiet des k-ten Einzelbildes erhalten werden. Dies unter der Annahme, daß das Rauschen lokal ergodisch ist, und zwar sowohl im Raum als auch in der Zeit, und identische Statistiken zweiter Ordnung besitzt.
Zwei unterschiedliche Ausführungsbeispiele des Verfahrens der vorliegenden Erfindung werden durch die Fig. 1 und 2 veranschaulicht, wobei N=5 und die Einzelbilder bei k= -2, -1, O, 1, 2 verwendet werden, um das Einzelbild bei k = 0 zu filtern, und zwar bezeichnet durch f(m,n,0). Im Ausführungsbeispiel des Verfahrens, welches in Fig. 1 abgebildet ist, werden die Verschiebungsvektoren des Einzelbildes f(m,n,0) auf die anderen geschätzt. Das Pixel an der Stelle a in f(m,n,0) wird auf (mögliche) Unterpixelstellen c, b, d, e verschoben, und zwar in f(m,n,-2) bzw. f(m,n,-1) bzw. f(m,n,1) bzw. f(m,n,2). Für das bei a gelegene Pixel wird die Trajektorie bzw. Bahn τa = {a,b,c,d} bei der LMMSE-Filterung verwendet. Klar gesagt, wenn N groß ist und es eine beträchtliche Interframebzw. Zwischenbildbewegung (und daher einen Ausschluß bzw. Verschluß oder Okklusion (occlusion)), wird die Präzision der Bewegungsschätzung wahrscheinlich in diesem Ausführungsbeispiel des Verfahrens sinken. Im idealen Fall einer perfekten Verschiebungsabschätzung und in Anwesenheit eines signalunabhängigen Rauschens verringert dieses Verfahren die Rauschvarianz um einen Faktor N.
Ein weiteres Ausführungsbeispiel der vorliegenden Erfindung, welches in Fig. 2 abgebildet ist, ist präziser im Hinblick auf die Schätzung der Bewegungsbahnen. In diesem Fall werden die Verschiebungsvektoren von einem Einzelbild auf seine zwei benachbarten Einzelbilder geschätzt. Die Filterung wird in M = (N-1)/2 = 2 Schritten durchgeführt. Im ersten Schritt werden die Einzelbilder (frames) [f(m,n,-2), f(m,n,-1), f(m,n,0)]; [f(m,n,m-1), f(m,n,0), f(m,n,1)]; und [f(m,n,0), f(m,n,1), f(m,n,2)] gefiltert, und zwar unter Verwendung der Trajektorien bzw. Bahnen τb = {c,b,a"}, τa = {b',a,c'} und τc = {a',c,d}, um die drei Zwischenbilder zu erzeugen. Im letzten Schritt werden diese drei Einzelbilder gefiltert, und zwar unter Verwendung der Bahn τa = {b',a,c'} um die Abschätzung f(m,n,0) zu bestimmen.
Im zweiten beschriebenen Ausführungsbeispiel wird die Filterung eines gewissen Einzelbildes unter Verwendung von N = 2M+1 Einzelbildern in M Schritten ausgeführt, und die LMMSE-Schätzung wird auf Gruppen von drei Einzelbildem angewandt. Das Verfahren kann effizient für die anderen Einzelbilder der Sequenz ausgeführt werden. Beispielsweise muß bei der Filterung f(m,n,1) nur eine LMMSE-Schätzung im ersten Schritt ausgeführt werden, da die anderen zwei Zwischenbilder, die im zweiten Schritt erforderlich sind, schon während der Filterung des vorherigen Einzelbildes f(m,n,0) gebildet worden sind.
Es kann verifiziert werden, daß im idealen Fall einer perfekten Verschiebungsabschätzung, wo b = b', a = a' = a" und c = c' und in Anwesenheit von signalunabhängigem Rauschen das zweite Ausführungsbeispiel der vorliegenden Erfindung die Rauschvarianz um einen Faktor von F = 3(M+1)³/2M(M+2)+3 verringert (beispielsweise F = 81/19 = 4,3 für N = 5). Schließlich sei bemerkt, daß diese beiden Implementationen für N = 3 identisch sind.
Modifikationen des Verfahrens der vorliegenden Erfindung sind möglich ohne eine Abweichung vom Geiste und Umfang der Erfindung. Andere Verfahren als die oben besprochene LMMSE-Filterung, wie beispielsweise eine Medianfilterung können entlang der Bewegungstrajektorien bzw. -bahnen verwendet werden, um eine zeitliche Rauschfilterung auszuführen. Tatsächlich können fast alle bekannten "kantenbewahrenden" räumlichen Filtertechniken vom Fachmann auf bewegungskompensierte zeitliche Filterung erweitert werden. (Die Beschreibungen der kantenbewahrenden räumlichen Filtertechniken werden hier nicht im Detail besprochen, da sie wohlbekannt sind.) Die Kantenbewahrungseigenschaft eines räumlichen Filters ermöglicht es dem entsprechenden bewegungskompensierten zeitlichen Filter, die früher erwähnte Adaptivitätsanforderung zu erfüllen, d. h. daß eine geringere Glättung zusammen mit den Bewegungsbahnen ausgeführt werden sollte, wenn die Verschiebungsvektorschätzung ungenau ist, um zu verhindern, daß Schmier- bzw. Verwischungsobjekte bzw. -artefakte auftreten.
Die LMMSE-Filterstruktur der vorliegenden Erfindung, die in Gleichung (15) gegeben wird, kann modifiziert werden, um die Rauschreduzierung in Fällen zu verbessern, wo der Szeneninhalt sich abrupt von einem Einzelbild zum anderen ändert. Es sei beispielsweise die in Fig. 2 dargestellte Implementierung bzw. Ausführung betrachtet. Im ersten Schritt wird die Filterstruktur auf die Einzelbilder f(m,n,-2), f(m,n,-1) und f(m,n,O) angewandt, um ein Zwischenbild zu erzeugen. Es sei angenommen, daß die Einzelbilder f(m,n,-2), f(m,n,-1) eine Innenraumszene enthalten, daß jedoch die folgenden Einzelbilder eine Freilandszene enthalten, die im wesentlichen anders als die Innenraumszene ist. In diesem Fall wird erwartet, daß die Verschiebungsfeldschätzung von f(m,n,-1) auf f(m,n,-2) genauer ist als die Schätzung von f(m,n,-1) auf f(m,n,O). Daher kann es vorteilhaft sein, den Abtastmittelwert µf in Gleichung (15) durch einen gewichteten Proben- bzw. Abtastmittelwert zu ersetzen, welcher mehr Betonung auf die Bildwerte an den Stellen der Bilder zu den Zeiten k = -2 und k = -1 legt, deren Verschiebungschätzungen genauer sind, und weniger Wert legt auf den entsprechenden Bildwert des Einzelbildes zur Zeit k = O. Allgemein gesagt, sollte der gewichtete Abtastmittelwert die Genauigkeit der Zwischenbildbewegungsabschätzung berücksichtigen, und zwar durch Zuordnen von größeren Gewichten zu Bildwerten, deren Verschiebungsabschätzungen genauer sind. (Es sei bemerkt, daß die Filterstruktur, die durch das Ersetzen von µf durch einen gewichteten Mittelwert erhalten wird, nicht tatsächlich optimal ist im Sinne des minimalen mittleren Quadratfehlers.)
Ein "bewegungsadaptiver" gewichteter Abtastmittelwert kann mathematisch wie folgt definiert werden: Es sei zur Vereinfachung angenommen, daß N = 1, d. h. die Einzelbilder zu den Zeitpunkten k-1, k und k+1 werden verwendet, um das Einzelbild zur Zeit k zu filtern. Dann ist der gewichtete Abtastmittelwert entlang der Bewegungsbahn τm,n,k , die durch die Pixelstelle (m,n) im k-ten Einzelbild hindurchläuft, bezeichnet durch µfa(m,n;k) die Minimierung der folgenden Funktion ist Gleichung (16)
und zwar bei X = fa(m,n;k). Die Größen a (a > O) und &epsi; sind feste Parameter; wir werden später beschreiben, wie sie den gewichteten Mittelwert beeinflussen. Eine Differenzierung von I(X) mit Bezug auf X und das Gleichsetzen des Ergebnisses mit Null ergibt folgendes: Gleichung (17)
wobei die Gewichtsfunktion gegeben wird durch: Gleichung (18)
und die Konstante K wird wie folgt definiert Gleichung (19)
Der Größe β (i,j,l) bezeichnet den nennerausdruck in Gleichung (16), d.h. β(i,j,l) 1+a²/max[&epsi;², g(m,n,k)- g(i,j,l))²]).
Der daraus resultierende gewichtete Mittelwert wird nun analysiert, wobei verschiedene Anmerkungen angebracht sind. Das Gewicht, das mit dem Wert g(m,n,k) des zentralen bzw. mittleren Einzelbildes assoziiert ist, ist fest: w(m,n,k) = K/(1+a²&epsi;²). Daher ist der Beitrag des mittleren Wertes g(m,n,k) zum gewichteten Mittel immer der gleiche. Wenn die Differenz zwischen den entsprechenden Werten g(m,n,k) und g(i,j,k-1) (oder g(m,n,k) und g(i,j,k+1)) groß ist (größer als &epsi;²), dann ist der Beitrag von g(i,j,k-1) (oder g(i,j,k+1)) zum gewichteten Mittel klein. Der Parameter a bestimmt die Empfindlichkeit des Gewichtswertes auf die Differenzausdrücke (g(m,n,k) - g(i,j,k-1))² und (g(m,n,k) - g(i,j,k+1))². Wenn die Differenzen zwischen den entsprechenden Werten nur auf Grund des Rauschens bestehen, ist es wünschenwert, daß die gewichtete Mittelwertbildung sich auf eine direkte Mittelwertbildung verringert bzw. vereinfacht. Es ist daher plausibel, &epsi;² der geschätzten Rauschvarianz gleichzusetzen. In dem Fall, wo (g(m,n,k)- g(i,j,k-1))² und (g(m,n,k) - g(i,j,k+1))² beide geringer als &epsi;² sind, erreichen die Gewichte den Wert K/(1+a²&epsi;²) und fa(m,n,k) vereinfacht sich auf die direkte Mittelwertbildung, d.h. fa(m,n;k) = f(m,n;k).
In einem Ausführungsbeispiel der vorliegenden Erfindung wird der bewegungsadaptive Mittelwert verwendet als der gefilterte Pixelwert bei der Filterung der Bildsequenzen. In anderen Worten ist der Filter definiert als (m,n,k) = fa(m,n,k).
Die verschiedenen Ausführungsbeispiele des Verfahrens der vorliegenden Erfindung, wie oben beschrieben, können unter Verwendung von herkömmlicher physikalischer Bildverarbeitungsausrüstung implementiert bzw. eingerichtet werden, wie beispielsweise einer Kamera, einer Bilddigitalisiervorrichtung, eines Computers und einer Anzeige, die als solche im Detail nicht gezeigt sind, um die vorliegende Erfindung nicht in den Hintergrund treten zu lassen.

Claims

1. Verfahren zum zeitlichen adaptiven Filtern von Einzelbildern (frames) einer Bildsequenz, in der jedes Bild der Sequenz Pixelstellen aufweist, wobei die folgenden Schritte vorgesehen sind:

(a) Bestimmung von Bewegungsbahnen, die die Pixelstellen am k-ten Einzelbild (frame) traversieren bzw. überqueren unter Verwendung eines Bewegungsschätzlgorithmus, wobei für ein bei (m,n) im k-ten Einzelbild angeordnetes Pixel, die Bewegungsbahn τm,n,k als ein Satz von Stellen definiert ist, der die Stelle (m,n) eines Pixels in dem k-ten Einzelbild und auch versetzte Stellen entsprechend zu (m,n) in N-1 Nachbareinzelbildern enthält, und zwar zu Zeiten k-M, ... k-1, k+1, ... k+M, wobei N gleich 2M+1 ist; und

(b) Bestimmung der Bildwerte an den Bewegungsbahnen;

(c) Bestimmung der Abschätzungen der Bildwerte der Pixelstellen am k-ten Einzelbild; und

(d) Wiederholung der Schritte a, b und c für jedes der anderen Einzelbilder (frames) der Bildsequenz; dadurch gekennzeichnet, daß die Abschätzungen zeitlich adaptive lineare minimale mittlere Quadratfehler (LMMSE) Abschätzungen sind.

2. Verfahren nach Anspruch 1, wobei ferner folgender Schritt vorgesehen ist:

(e) Abschätzen der Versetzungsvektoren mit dem Bewegungsschätzalgorithmus.

3. Verfahren nach Anspruch 2, wobei die Komponenten der Versetzungsvektorschätzungen real-wertig sind, derart, daß die Bahnen Subpixelstellen aufweisen und wobei ferner folgendes vorgesehen ist:

(f) Bestimmung der Bildwerte an den Subpixelstellen durch Interpolation.

4. Verfahren nach Anspruch 1, wobei der Bewegungsschätzalgorithmus ein raum-zeitliches Gradientenverfahren ist.

5. Verfahren nach Anspruch 1, wobei der Schritt (a) folgende Schritte aufweist:

(a) (1) Bildung einer Mehrfachauflösungsdarstellung bzw. einer Darstellung mit mehreren Auflösungen der Repräsentation der Bildsequenz;

(a) (2) Einschränken einer Versetzungsvektorfeldschätzung unter Verwendung von optischen Fluß- und Richtungsglättungseinschränkungen;

(a) (3) Erhalt einer Versetzungsvektorfeldschätzung unter Verwendung eines Variationsprinzips; und

(a) (4) Lösung des Variationsprinzips.

6. Verfahren nach Anspruch 1, wobei die zeitliche lokale LMMSE-Abschätzung des Bildwertes an der Pixelstelle (m,n) des k-ten Einzelbildes bestimmt wird gemäß der folgenden Gleichung:

wobei gilt

und wobei g²(m,n;k) die Abtastvarianz ist, und

wobei g²(m,n;k) der Abtastmittelwert eioner degradierten Bildsequenz ist, und zwar berechnet über die Bewegungsbahn τm,n,k, wobei v²(m,n) die Abtastvarianz eines Rauschverfahrens bezeichnet, und wobei g(m,n,k) eine als Probe bzw. Abtastwert genommene oder abgetastete Version einer verrauschten bzw. rauschbehafteten Bildsequenz g(x,y,t) bezeichnet.

7. Verfahren nach Anspruch 1, wobei der Schritt (a) die Abschätzung der Bewegungsbahnen umfaßt, und zwar vom k- ten Einzelbild (frame) in eine vorbestimmte Anzahl von aneinandergereihten Einzelbildern (frames) in der Bildsequenz.

8. Verfahren nach Anspruch 7, wobei die vorbestimmte Anzahl aneinandergereihter Einzelbilder (frames) verwendet wird, um das k-te Einzelbild zu filtern.

9. Verfahren nach Anspruch 1, wobei der Schritt (a) die Abschätzung der Bewegungsbahnen umfaßt, und zwar aus dem k-ten Einzelbild zu einem k-1-Einzelbild und einem k+1- Einzelbild.

10. Verfahren nach Anspruch 9, wobei die k-1-, k- und k+1-Einzelbilder (frames) gefiltert werden, um drei Zwischenbilder zu erzeugen, wobei diese Zwischenbilder sodann gefiltert werden, um eine Abschätzung (m,n,k) des Bildwertes in Schritt (c) zu bestimmten.

11. Verfahren nach Anspruch 1, wobei das k-te Einzelbild unter Verwendung von N = 2M+1 Einzelbildern gefiltert wird und wobei das Filtern in M Schritten ausgeführt wird und wobei die LMMSE-Abschätzung des Schrittes (c) auf Gruppen von drei Einzelbildern angewandt wird, wobei N eine vorbestimmte Anzahl von Einzelbildern ist.

12. Verfahren nach Anspruch 1, wobei die zeitlich lokale LMMSE-Abschätzung des Bildwertes an der Pixelstelle (m,n) des k-ten Einzelbildes gemäß der folgenden Gleichung bestimmt wird:

wobei gilt

und wobei

die Abtastvarianz ist, und wobei

ein bewegungsadaptiver Abtastmittelwert ist, wobei die Gewichtungsfunktion gegeben ist durch:

wobei &epsi; und a(a> o) feste Parameter sind, und wobei die Konstante K wie folgt definiert ist:

wobei die Größe β gegeben ist durch:

13. Verfahren nach Anspruch 1, wobei die zeitlich lokale LMMSE-Abschätzung des Bildwertes an der Pixelstelle (m,n) des k-ten Einzelbildes bestimmt wird gemäß der Gleichung (m,n,k) = fa(m,n,k) wobei fa(m,n,k) ein bewegungsadaptiver Abtastmittelwert ist und wobei (m,n,k) ein gefilterter Pixelwert ist.

14. Verfahren nach Anspruch 1, wobei der Schritt (c) die Medianwertfilterung umfaßt, und zwar längs der Bewegungsbahnen, um die zeitliche Rauschfilterung auszuführen.

15. Verfahren nach Anspruch 1, wobei der Schritt (c) eine kantenbewahrende räumliche Filterung aufweist.