DE19616440A1

DE19616440A1 - Verfahren und Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter

Info

Publication number: DE19616440A1
Application number: DE19616440A
Authority: DE
Inventors: Ulrich Dr Mutze
Original assignee: Eastman Kodak Co
Current assignee: Eastman Kodak Co
Priority date: 1996-04-25
Filing date: 1996-04-25
Publication date: 1997-10-30
Also published as: US5889554A; EP0804037A2; EP0804037A3

Description

Die Erfindung betrifft ein Verfahren zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik- Farbfilter wobei eine Optik eine Szene auf einen CCD-Bildsensor abbildet, der nach einem periodisch Grundmuster mit einem Mosaikfilter überzogen ist.

Ferner betrifft die Erfindung eine Vorrichtung zur Gewinnung eines vollen Farbbildes oder Multispektralbildes aus Bilddaten eines CCD-Bildsensors mit Mosaik-Farbfilter mit einer Optik zum Abbilden einer Szene auf einen CCD-Bildsensor wobei der CCD-Bildsensor nach einem periodischen mit einem Mosaikfilter überzogen ist und ein Analog/Digital-Wandler zum Erzeugen digi taler Signale von allen Pixeln des CCD-Bildsensors ist vorgesehen.

Elektronische Kameras, die zur Bildaufnahme nur mit einem Matrix-Bildsensor (z. B. einem CCD-Bildsensor) ausgestattet sind und dennoch mit einer einzi gen Belichtung ein Farbbild erzeugen, sind sowohl als Videokameras (Laufbild) als auch als elektronische Digitalkameras (Stehbild) bekannt. Die Fähigkeit Farben zu unterscheiden, wird dabei durch ein Mosaikfilter (CFA = color filter array) erzeugt, das direkt auf die Oberfläche des CCD-Bildsensors aufgebracht ist, und dabei ist jede Zelle (Pixel) des CCD-Bildsensors mit einem Filterelement (Pixelfilter) von geeignet gewählter spektraler Durchläs sigkeit überzogen.

Das Dokument "The Seybold Report on Publishing Systems"; Dezember 12, 1994, offenbart eine digitale Kamera, die mit einer einzigen Belichtung eines CCD-Bildsensors Bilder aufnehmen kann. Die einzelnen Zellen des CCD-Bildsensors sind mit vier verschiedenen Filterelementen abgedeckt, und die Filterelemente sind direkt auf den einzelnen Zellen des CCD-Bildsensors an gebracht. Die vier für die Bildaufnahme verwendeten Filterelemente sind Rot, Grün, Blau und Grünblau. Die Filterelemente sind auf dem CCD-Bilsensor nach einem mathematischen Muster angeordnet. Zur Bestimmung der Farbe eines jeden Pixels des CCD-Bildsensors werden zuerst mittels eines Algo rithmus die Farbwerte über eine Fläche von 64 Pixeln bestimmt und anschlie ßend wird jedes Pixel mit dem nächsten Nachbarn verglichen. Reicht dies zur Bestimmung der Farbe nicht aus, so wird der Vergleich mit den nächsten Nachbarn auf eine größere Fläche ausgedehnt. An Übergangsbereichen von einer Farbe zur anderen werden bis zu tausend Berechnungen für ein Pixel benötigt. Da die Daten nicht im Standard RGB-Format vorliegen muß noch eine Umrechnung durchgeführt werden, die auf einem Hochleistungscomputer etwa sieben Minuten pro Bild beansprucht.

Bei Videokameras findet man auch Kombinationen aus additiven und subtrak tiven Filtersätzen, wie z. B. Grün, Türkis, Purpur, Gelb oder Grün, Weiß, Türkis, Gelb (siehe EP-A-0 570 204). Mit einer solchen Kombination soll eine bessere Abstimmung der räumlichen Abtastfrequenzen für Luminanz- und Chrominanzsignale auf die Bandbreiten des Videosystems und damit eine Verringerung der Farb-Moire′-Effekte erreicht werden. Es wird damit aber weder eine Verbesserung der Farbtreue noch eine Verbesserung der spektra len Selektivität der Aufnahme angestrebt oder erreicht. Die Signalverarbeitung bei den in EP-A-0 570 204 betrachteten Videosystemen verläuft ′real time′ ohne Zwischenspeicherung von Bildern. Somit hat man völlig andere techni schen Rahmenbedingungen als bei digitalen Stehbildkameras, auf die sich das hier vorgeschlagene Verfahren bezieht.

Die meisten elektronischen Farbkameras haben Mosaikfilter aus drei ver schiedenen Farben. Bei fast allen elektronischen Kameras sind diese ver schiedenen Farben in einem sich in Zeilen- und Spaltenrichtung periodisch wiederholenden Musters angeordnet. Das durch Wiederholung einer (2,2)- Matrix mit identischen Diagonalelementen entstehende Muster wird als Bayermuster bezeichnet und ist als Mosaik-Farbfilter weit verbreitet. Hoch entwickelte Verfahren zur Farbinterpolation bei Mosaikfiltern mit RGB-Filtern im Bayermuster (US-A-5,373,322 und US-A-5,382,976 ) nützen in entschei dender Weise die Besonderheiten dieses Musters, wie die Dominanz von Grün und die geringe Auffälligkeit von Unschärfe bei Rot und Blau. Ferner sind die in US-A-5,373,322 und US-A-5,382,976 offenbarten Verfahren so angelegt, daß sie abhängig vom Bildinhalt eine Entscheidung treffen, ob mehr von der zeilenweisen oder der spaltenweisen Korrelationen der Bilddaten Gebrauch gemacht werden soll. Das ergibt bei detaillosen aber verrauschten Bildbereichen texturähnliche Artefakte.

Eine elektronische Kamera muß Bilddateien in einem üblichen Format, etwa TIFF oder TARGA, erzeugen können. Dazu gehört, daß für jedes Pixel und jede zum Dateityp gehörige Farbe ein Wert vorliegt. Für eine RGB-Datei muß also für jedes Pixel ein R-Wert, ein G-Wert und ein B-Wert vorhanden sein. Die Rohdaten der Kamera, die für ein Pixel immer nur einen Farbwert enthal ten und zwar für eine von Pixel zu Pixel wechselnde Farbe, erfüllen diese Forderung offensichtlich nicht. Die Kamera muß also ein Mittel enthalten, das diese fehlenden Farbwerte aus den Rohdaten berechnet. Jedes Verfahren dies zu tun, heißt ein Verfahren zur Farbinterpolation für Mosaikfilter oder kurz ein Verfahren zur Farbinterpolation.

Die Absicht dabei ist, möglichst die Werte zu treffen, die man erhielte, wenn man mit beliebig kleinem zeitlichen Abstand entsprechend der Zahl der ver schiedenen Filterelemente nF Aufnahmen ohne Mosaikfilter machen würde und dabei ein Filterrad verwendet, das die nF Filterfarben als Ganzflächenfil ter enthält.

Die Qualität eines solchen Verfahrens ist ein komplexer Begriff. Weil objektiv fehlende Information bestenfalls durch plausible, nie aber durch gesicherte, Annahmen ersetzt werden kann, ist es stets möglich Bildbeispiele zu konstru ieren die zu offensichtlichem Versagen des Verfahrens führen. Beispielsweise ist leicht zu sehen, daß es zu jedem Satz von Rohdaten eine Verteilung wei ßen Lichts gibt, die diese Rohdaten erzeugen würde. Hingegen gibt es oft plausible Gründe dafür, daß man mit solchen Fällen nicht zu rechnen habe. Die auffälligsten Artefakte (′aliasing′) treten bei Bildern auf, bei denen sich das Bildsignal von Pixel zu Pixel sehr stark ändert. Bei den meisten elektronischen Kameras mit relativ wenigen Pixeln sorgt man durch ein ′blurr filter′ dafür, daß in der Sensorebene keine so fein strukturierten Lichtverteilungen auftreten können.

Man unterscheidet folgende, sich teilweise überlappende, Qualitätskomplexe:

1. Detailtreue:
Die Fähigkeit feine Strukturen, die sich nur über wenige Pixel erstrecken, ohne grobe Formänderung wiederzugeben. In einem Vergleich zweier Systeme zeigt sich bessere Detailtreue exemplarisch durch bessere Lesbarkeit von Text, dessen Zeichen nur wenige Pixel groß abgebildet werden.
2. Artefakte:
Darunter faßt man alle Bildstrukturen zusammen, von denen man ohne tiefere Einsicht in die Funktionsweise der Kamera sagen kann, daß sie mit hoher Wahrscheinlichkeit nicht dem Original eigen sind. Beispiele sind:
a) Farbkantenartefakte: stark farbige Streifenmuster in der Übergangszone zwischen gleichmäßig aber verschieden gefärbten Flächen.
b) Farbmoire′: halbregelmäßige, meist streifige, Farbschwankungen auf periodisch strukturierten Flä chen.
c) flat field artifacts: Texturen, Flecken und Intensitäts sprünge längs Linien auf solchen Bildflächen, die offen sichtlich außerhalb der Schärfenzone der optischen Abbildung liegen und damit keine steilen Intensitätsge fälle aufweisen können.
3. Farbtreue:
hier betrachtet für einfarbige Flächen, die sich in alle Rich tungen über viele Pixel erstrecken.

Aufgabe dieser Erfindung ist es, die unerwünschte Texturerzeugung der ge nannten Verfahren zu vermeiden und dabei die hohe Bildschärfe und die Unterdrückung von Farbkantenfehlern beizubehalten.

Eine weitere Aufgabe ist es, ein Verfahren und seine Realisierung in einer Vorrichtung so zu gestalten, daß Weiterentwicklungen, wie zum Beispiel die Einführung zusätzlicher Filterfarben - ohne Änderungen in der Hardwarearchi tektur und der Softwarearchitektur - möglich sind.

Weiter soll das Verfahren mit ähnlich guten Eigenschaften auf allgemeinere periodische und pseudozufällige Verteilungen der Filter anwendbar sein. Ins besondere soll die Farbtreue verbessert und die Umrechnung der Aufnahme in eine Lichtart mit anderer spektraler Zusammensetzung ermöglicht werden.

Erfindungsgemäß wird dies durch ein Verfahren erreicht, bei dem ein Grund muster aus mindestens fünf verschiedenem Farb-Filterelementen aufgebaut ist, und das folgende Schritte umfaßt:

- Ablegen der vom CCD-Bildsensor erfaßten und von einem nachgeschalte ten Analog/Digital-Wandler in digitale Daten umgewandelten Werte eines jeden Pixels des CCD-Bildsensors in einen dafür vorgesehenen Bereich eines Bildspeichers;
- Ermitteln eines ′unscharfen Bildes′ daß für jede Farbe f und jedes Pixel p die Nachbarpixel der Farbe f bestimmt, ihre Werte aus B₀ gelesen und zu einem gewichteten Mittelwert verarbeitet werde;
- Ablegen der Werte für alle auf dem CCD-Bildsensor vorhandenen unter schiedlichen Filterelemente in dafür zugeordnete Bildspeicherbereiche;
- Berechnen der endgültigen Farbwerte gemäß der additiven Bildschärfung; und
- Speichern der endgültigen Farbwerte in die dafür zugeordneten Bildspei cherbereiche.

Desweiteren ist erfindungsgemäß eine Vorrichtung vorgesehen, bei der das Grundmuster aus mindestens fünf verschiedenen Filterelementen aufgebaut ist.

Vorteile des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung liegen darin, daß die Bildaufnahme durch den CCD-Bildsensor mit einer einzigen Belichtung erfolgt und dabei eine größere Farbtreue als bei einer RGB-Aufnahme erzielt wird. Die Pixel des CCD-Bildsensors sind mit mindestens fünf verschiedenen Filterelementen überzogen. Gemäß einer be vorzugten Ausführungsform besteht das sogenannte Mosaikfilter aus einem periodischen Grundmuster.

Besonders vorteilhaft in Verbindung mit der Vorrichtung ist das Verfahren. Hier werden zur Erzeugung eines Vollfarbenbildes die Werte der einzelnen Pixel des CCD-Bildsensors in einem elektronischen Speicher abgelegt. An Hand dieser Daten werden die Pixel ermittelt, die mit einem Filterelement einer bestimmten Farbe versehen sind. Die Farbwerte der einzelnen Pixel werden unter Verwendung von entsprechenden Gewichtungsfaktoren der nächsten Nachbarn ermittelt. Die endgültigen Farbwerte werden mit additiver Bildschärfung bestimmt.

Ferner ist es durch das Verfahren und die dazugehörige Vorrichtung möglich auf einfache Weise von einer Beleuchtungssituation bei der Bildaufnahme in eine andere spektrale Zusammensetzung der Beleuchtung umzurechnen.

Die gegenwärtige Erfindung wird an Hand der in der Zeichnung offenbarten Ausführungsform näher erläutert.

Es zeigen:

Fig. 1 einen schematischen Aufbau der erfindungsgemäßen Vor richtung,

Fig. 2 eine Draufsicht eines Teils des CCD-Bildsensors, bei dem die Verteilung der Filterelemente auf der Oberfläche des CCD-Bildsensors zu erkennen ist,

Fig. 3 eine Draufsicht eines Teils des CCD-Bildsensors, bei dem eine andere Verteilung der Filterelemente auf der Oberfläche des CCD-Bildsensors gewählt ist und

Fig. 4a und 4b ein Flußdiagramm des angewendeten Verfahrens.

Die in Fig. 1 schematisch dargestellte erfindungsgemäße Vorrichtung besteht aus einer Optik 3 , die eine Szene oder einen Gegenstand auf einen CCD- Bildsensor 2 abbildet. Der CCD-Bildsensor 2 ist in mehrere Pixel p_ÿ unterteilt, wobei i von 1 bis l läuft und die Anzahl der Spalten auf dem CCD-Bildsensor 2 angibt, und j von 1 bis m läuft und die Anzahl der Zeilen des CCD-Bildsensors 2 angibt. Die von den einzelnen Zellen des CCD-Bildsensors 2 gesammelten Signale werden über eine elektrische Leitung 4 an einen Analog/Digital- Wandler 5 geleitet. Anschließend werden die digitalen Signale in einen Bildspeicher 6 abgelegt. Der Bildspeicher 6 ist in mehrere Bildspeicherebenen B₀, B₁ bis B_nF gegliedert, wobei nF die Zahl der unterschiedlichen, auf dem CCD-Bildsensor angebrachten Filterelemente ist. Die einzelnen Bildspei cherebenen B₀, B₁ bis B_nF sind mit einem Prozessor 8 verbunden, mit dem die zur Erzeugung eines vollständigen Farbbildes notwendigen Daten ermittelt werden. Desweiteren ist der Prozessor 8 mit einem zusätzlichen elektroni schen Mittel zur Signalverarbeitung und Speicherung verbunden.

Mit zunehmender Zahl an sich hinsichtlich der spektralen Durchlässigkeit unterscheidenden Filterelemente erzielt man eine Verbesserung der Farb treue. Eine Bestimmung CIE konformer Farbwerte für das den CCD-Bildsen sor 2 treffende Licht erfordert, daß die spektrale Empfindlichkeit der Pixel sich als Linearkombination der entsprechenden Funktionen des CIE Normalbeob achters darstellen läßt. Das ist eine technisch schwer realisierbare Forderung und ist bei elektronischen Kameras herkömmlicher Bauart grob verletzt. Die Folge ist, daß auch bei bester Kalibrierung eines Systems aus Kamera und Display keine getreue Wiedergabe von Farbnuancen möglich ist. Genauer gesagt, es wird immer beleuchtete Gegenstände geben, die dem Betrachter verschiedenfarbig erscheinen, für die eine RGB-Kamera aber gleiche Signale liefert. Jede denkbare Signalverarbeitung führt dann zu gleichen Wiedergabe farben - im Gegensatz zur visuellen Wahrnehmung am Original. Der umge kehrte Effekt kann natürlich auch auftreten; visuell gleichfarbige Gegenstände werden als verschiedenfarbig wiedergegeben. Enthält ein auf dem CCD-Bild sensor angebrachter Mosaikfilter mehr als drei verschiede Filter, so kann man durch Bildung geeigneter Linearkombinationen der Kamerasignale neue Signale gewinnen, die den visuellen Signalen weit genauer entsprechen als RGB. Für vier Filter ist dieses Prinzip in dem schon im "Seybold Report on Publishing Systems", Ausgabe 12. Dezember 1994 genannten Kameramodell realisiert.

Ferner ist eine Umrechnung von einer beleuchtenden Lichtart auf eine andere ohne weiteres möglich. Will man zuverlässig von der Farbe eines beleuchte ten Körpers auf seine Farbe bei einer Beleuchtung mit anderer spektraler Zusammensetzung schließen, so muß man sowohl vom reflektierten Licht als auch vom beleuchtenden Licht den spektralen Verlauf kennen. Durch geeig nete Rechenverfahren (spectral reconstruction) kann man den spektralen Verlauf abschätzen wenn man die Signale kennt, die das Licht nach einem Durchgang durch Filter von bekannter spektraler Transmission liefert. Dabei wird die Abschätzung um so zuverlässiger, je mehr Filterelemente zur Analyse des Lichts zur Verfügung stehen. Schon fünf geeignete Filterelemente bringen im Vergleich zu den üblichen drei oder vier Filterelementen eine erhebliche Verbesserung der Zuverlässigkeit dieses Verfahrens. Es kann zum Beispiel dazu benützt werden unter preiswertem Halogen-Glühlicht zu fotografieren und dann auf Tageslicht umzurechnen. Die spektrale Zusammensetzung der Beleuchtung kann man dabei ohne Hilfseinrichtungen bestimmen, indem man einen weißen Referenzkörper mit bekanntem spektralen Reflexionsgrad unter der gegebenen Beleuchtung aufnimmt, oder diesen Referenzkörper stets der aufzunehmenden Szene hinzufügt.

Bei der bevorzugten Ausführungsform der erfindungsgemäßen Vorrichtung sind fünf verschiedene Filterelemente nach einem bestimmten Muster auf dem CCD-Bildsensor 2 verteilt (siehe Fig. 2).

Bei einer bevorzugten Ausführungsform wird z. B. ein System aus fünf Filter elementen verwendet, deren Maximum der spektralen Durchlässigkeit bei fol genden Wellenlängen (Tabelle 1).

Tabelle 1

B = 445 nm
G′ = 494 nm
G = 545 nm
G′′ = 570 nm
R = 595 nm

liegt, wobei die spektrale Durchlässigkeit der einzelnen Filterelemente B, G′, G, G′′ und R derart gewählt ist, daß eine möglichst gleichmäßige Überlappung der einzelnen Wellenlängenbereiche erzielbar ist. Die fett gedruckten Wellen längen charakterisieren ein zum menschlichen Auge äquivalentes Sensor system. Die zwei dazwischen liegenden Wellenlängen werden als G′ (für 495 nm) und G′′ (für 570 nm) bezeichnet.

Die einzelnen Filterelemente sind auf dem CCD-Bildsensor 2 in einem sich wiederholenden Muster angeordnet (siehe Fig. 2). Nach diesem Muster wird die gesamte Fläche des CCD-Bildsensors 2 überzogen (siehe Tabelle 2).

Tabelle 2

Fig. 2 zeigt die Anordnung der einzelnen Filterelemente auf den einzelnen Pixeln p₁₁, p₁₂, . . . p_ÿ des CCD-Bildsensors 2, wobei i die Zahl der Zeilen und j die Zahl der Spalten darstellt. Hier ist nur ein Teil des CCD-Bildsensors 2 dargestellt, da sich das in Tabelle 2 dargestellte Muster über den gesamten CCD-Bildsensor 2 erstreckt. So sind z. B. das Pixel p₁₁ der ersten Zeile und ersten Spalte mit dem Filterelement R, das Pixel p₁₂ der ersten Zeile und zweiten Spalte mit dem Filterelement G′, das Pixel p₁₃ der ersten Zeile und dritten Spalte mit dem Filterelement B, das Pixel p₂₁ der zweiten Zeile und ersten Spalte mit dem Filterelement B, das Pixel p₂₂ der zweiten Zeile und zweiten Spalte mit dem Filterelement R, das Pixel p₂₃ der zweiten Zeile und dritten Spalte mit dem Filterelement G, das Pixel p₃₁ der dritten Zeile und ersten Spalte mit dem Filterelement G′′, das Pixel p₃₂ der dritten Zeile und zweiten Spalte mit dem Filterelement B und das Pixel p₃₃ der dritten Zeile und dritten Spalte mit dem Filterelement R überzogen. Dieses Grundmuster GM (Tabelle 2) setzt sich über den gesamten CCD-Bildsensor hinweg fort, was am besten der Fig. 2 zu entnehmen ist. Eine weitere mögliche Form des Grund musters GM ist der Tabelle 3 zu entnehmen. Fig. 3 zeigt explizit die Zuord nung der einzelnen Filterelemente zu den einzelnen Pixeln p₁₂, . . . p_ÿ des CCD-Bildsensors 2.

Tabelle 3

Die Grundmuster GM aus Fig. 2 und Fig. 3 sind Ausführungsformen von mul tispektralen Mosaikfiltern. Desweiteren ist es ebenfalls denkbar, multispektrale Mosaikfilter zu entwerfen, die IR-empfindliche oder gar UV-empfindliche Fil terelemente enthalten. Dann ist es zweckmäßig, den gesamten Spektralbe reich, für den der "nackte" CCD-Bildsensor 2 empfindlich ist, möglichst gleichmäßig in Transmissionsbänder zu zerlegen und für jedes Band einen Filtertyp eines Mosaikfilters vorzusehen. Eine solche multispektrale Mosaikfil terkamera wirkt als abbildendes Spektrometer mit hoher flächiger und mäßiger spektraler Auflösung.

Wie in Fig. 1 gezeigt besitzt die Vorrichtung einen digitalen Bildspeicher 6 mit wahlfreiem Zugriff (RAM). Der Bildspeicher 6 ist in Abhängigkeit von der Anzahl nF der im Grundmuster GM verwendeten verschiedenen Filter elemente in Bildspeicherebenen B₀, B₁ bis B_nF organisiert. Die Zahl der Bildspeicherebenen B₀, B₁ bis B_nF ist um eins größer als die Zahl der zum Aufbau des Grundmusters GM verwendeten, verschiedenartigen Filter elemente. In der hier beschriebenen Ausführungsform wird die erste Ebene B₀, nach der Belichtung des CCD-Bildsensors 2 direkt mit dessen Pixelwerten beschrieben, auf die für jedes Pixel p_ÿ als Wert wert[i][j][0] zugegriffen werden kann. Damit ist der Anfangszustand für das erwähnte Verfahren gegeben. Die weiteren nF Bildspeicherebenen B₁, B₂, bis B_nF stehen zur Aufnahme von be rechneten Daten wert[i][i][f] sogenannten ′Farbwerten′, im Laufe des Verfah rens zur Verfügung, wobei nF, wie bereits oben erwähnt, die Anzahl der unterschiedlichen Filterelemente ist. In den hier beschriebenen Ausführungs formen beträgt die Zahl der verschiedenen Filterelemente fünf. Nach Ab schluß des Verfahrens enthalten die Bildspeicherebenen B₁, B₂, bis B_nF ein ′vollständiges Bild′. Weiterhin besitzt die Vorrichtung einen Prozessor 8, der Daten aus dem Bildspeicher 6 in eigene Register (nicht dargestellt) liest, um mit den Inhalten seiner Register Berechnungen durchzuführen und die Er gebnisse in den Bildspeicher 6 zu schreiben.

Fig. 4a und 4b zeigt ein Flußdiagramm des erfindungsgemäßen Verfahren. Die Aufnahme einer Szene oder eines Bildes erfolgt über den CCD-Bildsensor 2. Anschließend werden die von den einzelnen Pixeln p_ÿ des CCD-Bildsensors 2 erfaßten Werte durch den Analog/Digital-Wandler 5 in digitale Datenwerte wert[i][j][0], überführt. Diese Daten werden im Bildebenenspeicher B₀ zur wei teren Verwendung abgelegt. Damit man ein vollständiges Farbbild erhält, müssen allen Pixeln p₁₁, p₁₂, bis p_lm digitale Werte bezüglich jeder der nF Filterfarben zugewiesen werden. Dies geschieht in einer doppelten Schleife. Die äußere Schleife läuft über die Farben f und die innere Schleife über die Pixel p_ÿ des CCD-Bildsensors 2 (siehe Fig. 4a). Die Pixel des CCD-Bildsen sors 2 werden ermittelt, die mit dem Filterelement der Farbe f versehen sind und in der Nachbarschaft von p_ÿ liegen. Dies erfolgt durch eine Nachbar schaftsbestimmung, wie sie nachstehend im Detail erläutert wird. Ferner wird den nächsten Nachbarn ein Gewichtungsfaktor zugewiesen, der von Abstand zum Ausgangspixel p_ÿ abhängt. An Hand dieser Daten werden dann die Werte wert[i][j][f] als gewichtete Mittelwerte ermittelt. Diese Werte wert[i][j][f] werden in der dafür vorgesehenen Bildspeicherebene B₁, B₂, bis, B_nF, zur weiteren Verwendung abgelegt. Wie schon festgestellt, werden die Schritte, Ermitteln der Farbe, Ermitteln der nächsten Nachbarn und Ermitteln der Farbwerte aller Pixel werden für alle der auf den CCD-Bildsensor 2 vorhandenen verschiede nen Filterelemente durchgeführt. Mittels eines geeigneten Verfahrens (nachstehend beschrieben) werden die endgültigen Farbwerte ermittelt und ebenfalls zur weiteren Verarbeitung in einem geeigneten Speicher abgelegt.

Wie bereits vorstehend erwähnt, so ist zu beachten, daß zur Ermittlung des vollständigen Bildes alle Farbwerte C₁ = wert[i][j][1], C₂ = wert[i][j][2] bis C_nF = wert[i][j][f] eines jeden Pixels p₁₁, p₁₂ bis p_lm auf dem CCD-Bildsensor 2 für jede verwendete Filterfarbe ermittelt werden müssen. Wie an Hand der in Fig. 2 und Fig. 3 dargestellten bevorzugten Ausführungsformen ersichtlich ist, nicht jedes Pixel des CCD-Bildsensors 2 bei der Belichtung ein Signal für jede der verwendeten Filterfarben liefert, müssen die fehlenden Farbwerte für be stimmte Pixel ermittelt werden. Geht man von dem in Fig. 2 dargestellten Mosaikfilter aus, und werden aus der Bildspeicherebene B₀ durch den Pro zessor 8 diejenigen Pixel ausgelesen, die einen Wert für z. B. den Farbwert R besitzen, so müssen folglich die Pixel, für die kein gemessener Wert vorliegt berechnet werden. Laut Fig. 2 liegt für die Pixel p₁₁, p₂₂, p₃₃, p₁₄, p₂₅, p₃₆, p₁₇, . . . p₄₁, p₅₂, p₆₃, p₄₄, p₅₅ usw. ein Wert für den Farbwert R vor. Der Farbwert wert[i][j][R] muß für die fehlenden Pixel p₁₂, p₁₃, p₁₅, P₁₆ . . . p₂₁, p₂₃, p₂₄, p₂₆, . . . p₃₁, p₃₂, p₃₄, p₃₅, . . . p₄₂, p₄₃, p₄₅, usw. mit einem geeigneten Verfahren berechnet werden. Mit den anderen Filterfarben G, G′, G′′ und B wird in ana loger Weise verfahren.

Der Prozessor 8 führt zur Berechnung Farbwerte wert[i][j][f] für jedes Pixel p_ÿ, wobei i=1, . . ., l; j=1, . . ., m, und f=1, . . ., nF sind, folgendes Verfahren durch:

In einem ersten Schritt wird für jede Farbe f (durchnumeriert als 1, 2, . . . nF) und für jedes Pixel p_ÿ wie folgt verfahren:
Lade unter Anwendung einer Nachbarschaftsfestlegung (siehe nach stehende Beschreibung) alle Pixelwerte wert[i′][j′][0] aus der Bildspei cherebene B₀, die zur Farbe f gehören und deren Pixel p_i′j′ in der nähe ren Umgebung von Pixel p_ÿ liegen zusammen mit ihren Gewichtsfakto ren (siehe Beschreibung der Nachbarschaftsfestlegung).
Berechnen des gewichteten Mittels dieser Daten bezüglich der genann ten Gewichtsfaktoren w_i′j′f.

Speichern des gewichteten Mittels als Farbwert wert[i][j][f] in der zur Farbe f gehörigen Bildspeicherebene B₁, B₂, . . . B_nF.

Somit erhält man ein vollständiges Bild, das aber erst ein Zwischenergebnis ist und hier als ′unscharfes Bild′ bezeichnet wird. Die Intention bei der Kon struktion des Bildes ist folgende: Es soll ein von feinem Details freies Bild sein, dessen Farbe in Bereichen, in denen sich diese nicht rasch ändert, zu verlässig ist. Damit die Detailfreiheit tatsächlich vorliegt muß die Nachbar schaftsfestlegung so gewählt werden, daß sie nie nur ein Pixel als nähere Umgebung liefert. Nur dann sind die im Verfahren auftretenden gewichteten Mittelwerte nicht lokal und erzeugen die gewünschte Reduktion der Schärfe. Es hat sich gezeigt, daß ein Mittelwert über vier oder fünf Punkte ideal ist.

Stellen der Rechenaufwand und die Rechenzeit kein Problem dar, so kann man das ′unscharfe Bild′ auch noch durch eine glättende Filteroperation in seiner Unschärfe homogenisieren.

Anschließend berechnet der Prozessor 8 das endgültige Bild nach einem Verfahren, für das hier zwei alternative Ausführungsformen angegeben sind:

Zuerst werden für jedes Pixel p_ÿ

aus dem Bildspeicher 6 und dort aus der Bildspeicherebene B₀
S = wert[i][i][0];
aus der Bildspeicherebene B₁
C₁ = wert[i][j][1],
aus der Bildspeicherebene B₂,
C₂ = wert[i][j][2] und
. . .
aus der Bildspeicherebene B_nF
C_nF = wert[i][j][nF] geladen.

Bestimme die Farbe f des Pixels p_ÿ nach der Farbbestimmung wie sie nachstehend im Detail erläutert wird.

Die endgültigen Farbwerte C₁, C₂, . . . C_nF werden nach der Vorschrift (additive Bildschärfung

C_k = C_k+S-C_f für k=1, . . . nF.

oder multiplikative Bildschärfung

ermittelt.

Wenn das Ergebnis den kleinsten sinnvollen digitalen Signalwert (in der Regel 0) unterschreitet oder den größten sinnvollen digitalen Signalwert (häufig 255) überschreitet, so werden diese Grenzwerte als Ergebnis festge setzt. Noch besser ist es, in diesem Fall die additive Korrekturgröße S - C_f oder die multiplikative Korrekturgröße S/C_f auf einen solchen Wert zu reduzie ren, daß die Bereichsüberschreitung gerade vermieden wird.

Die berechneten endgültigen Farbwerte C₁, C₂, C_nF werden in den Spei cherebenen B₁, B₂, . . . B_nF abgelegt. Es sind:

wert[i][j][1] = C₁,
wert[i][j][2] = C₂
. . .
wert[i][j][nF] = C_nF.

Mit diesem Verfahren ist es möglich, die Farbe des unscharfen Bildes kaum (bei der additiven Methode) oder nicht (bei der multiplikativen Methode) zu verändern, und den aktuellen Signalwert S zur Luminanzanpassung zu ver wenden. Bei der additiven Methode geschieht dies durch Hinzufügen von Weiß oder Schwarz, ist also mit einer farblichen Entsättigung verbunden. Damit werden eventuell vorhandene Kantenfarbartefakte unauffälliger, wes halb die additive Methode im allgemeinen vorzuziehen ist. Überdies ist sie rechnerisch einfacher.

Wegen der Bestimmung der Farbe durch gemittelte Größen und der mit jeder Addition von Licht einhergehenden Entsättigung der Farbe ist zu erwarten, daß das Verfahren geringe Neigung zu Farbkantenartefakten zeigt. Weil die Helligkeit ohne Mittelung ′pixelgenau′ angepaßt wird, kann man eine gute Detailtreue erwarten. Beides hat sich durch Versuche bestätigt.

Hingegen gibt es ein Artefakt, das man bei anderen Verfahren nicht kennt. Längs der Linien an denen stark farbige Flächen aneinanderstoßen entsteht eine farblose Musterung, die die Geometrie von Teilen des Mosaikfilters nachzeichnet. Sie ist in der Regel nicht sehr auffällig.

Im folgenden werden die Farbbestimmung und die Nachbarschaftsfestlegung für die bevorzugten Ausführungsformen explizit angegeben.

Farbbestimmung: (Bestimmung der Farbe der einzelnen Pixel p_ÿ des CCD-Bildsensors)

Für ein periodisches Mosaikfilter (Grundmuster GM), wie sie in Fig. 2 oder Fig. 3 dargestellt sind, ergibt sich das gesamte auf dem CCD-Bildsensor 2 aufgebrachte Mosaikfilter durch periodische Wiederholung des Grundmusters GM. Die Spaltenzahl des Grundmusters wird mit nVert und die Zeilenzahl mit mHor bezeichnet. Für das erfindungsgemäß vorgeschlagene pentaspektrale Muster gilt also nVert = mHor = 3. Die Verteilung der Farben auf die nVer, mHor Positionen des Grundmusters GM wird als eine zahl-wertige (nVert, mHor)-Matrix angegeben. Für das pentaspektrale Mosaikfilter besitzt das Grundmuster GM z. B. die in Tabelle 3 dargestellte Form (wobei zur Ver deutlichung die in Fig. 3 dargestellte Anordnung der Filterelemente gewählt wurde):

Tabelle 3

Die Zahlen der Matrix sind wie folgt den einzelnen Farben der Filterelemente des Grundmusters zugeordnet: B ≅ 1 G′ ≅ 2 G ≅ 3 G′′ ≅ 4 und R ≅ 5.

An Hand der in Tabelle 3 dargestellten Matrix erfolgt die Ermittlung desjenigen Pixels p_ÿ, das eine bestimmte Farbe f = C_ÿ: besitzt. Bei beliebigen i und j ergibt sich die Farbe f des Pixels p_ÿ mit Hilfe des nachstehenden Gleichungen, wo bei i_lokal und j_lokal die zeilenmäßige bzw. spaltenmäßige Position des Pixels auf dem Grundmuster GM darstellen, die z. B. die Farbe Rot R besitzen.
i_Lokal: =1 + Rest bei der Division (i-1)/nVert,
j_Lokal: =1 + Rest bei der Division (j-1)/nHor,
C_ÿ: = GM[i_Lokal][j_Lokal].

Für ein pseudo-zufälliges Mosaikfilter wird die Farbe C_ÿ des Pixels p_ÿ bei ge gebenem i und j wie folgt festgelegt:

r: = 50000·sin(i) + 30000·sin(j).
z1: = größte ganze Zahl, die kleiner oder gleich r ist.
r1: = r-z1, für diese Zahl gilt nun 0 < r1 < 1.

Um die Bedeutung dieses Ausdrucks zu verdeutlichen, betrachten wir y:=5 _* sin(i) + 3 _* sin(j) als Dezimalbruch und nehmen der Einfachheit halber an, daß y positiv ist:
y=d1, d2 d3 d4 d5 d6 d7 d8.

Die Zahl r1 hat dann die Dezimalbruchentwicklung
0, d6 d7 d8 . . .
r1 wird also durch die ′höheren Dezimalstellen′ von y gegeben, von denen es evident ist, daß sie von i und j pseudozufällig abhängen. In einem letzten Schritt wird r1 an den gewünschten Wertebereich (1, . . . nF) angepaßt (nF ist die Zahl der verschiedenen Filterfarben):

r2: = nF _* r1
z2: = größte ganze Zahl, die kleiner oder gleich r2 ist.
C_ÿ: = 1 +r2 -2.

Dies ist nur eins von vielen Verfahren einer Klasse, die darauf beruhen, daß die höheren Dezimalstellen transzendenter Funktionen pseudozufällig vom Funktionsargument abhängen, wenn dieses in großen Schritten im Vergleich zu der Größenordnung variiert, die von der betrachteten Dezimalstelle festge legt ist. Insbesondere können die Konstanten 50 000 und 30 000 durch andere Zahlen ähnlicher Größenordnung ersetzt werden und statt sin() könnte auch cos() stehen. Diese reine Zufallsverteilung der Farben ist neigt zur Klumpenbildung, d. h. es treten häufig Pixelbereiche auf, in denen eine Farbe viel häufiger vorkommt, als es bei Gleichverteilung der Fall wäre. Ebenso gibt es überraschend große Bereiche, wo eine Farbe völlig fehlt. Durch Variatio nen des Verfahrens kann ähnlich wie bei den Verfahren zum ′digital half toning′ dafür gesorgt werden, daß die Farbverteilung gleichmäßiger wird ohne aber lokal konstante Muster auszubilden, wie sie im Fall periodischer Mosaikmuster stets vorliegen. Eine naheliegende Methode besteht darin, in einem relativ großen Feld von etwa 64 _* 64 Pixeln eine solche ′uniformisierte Zufallsverteilung′ der Pixelfarben gestützt auf optimierende Versuche zu ent wickeln und dieses Pseudo-Zufallsmuster dann periodisch zu wiederholen. Damit werden die Vorteile periodischer Muster, die in Rechenvereinfachungen beim Nachbarschaftsalgorithmus liegen, auch in diesem Fall wirksam.

Der Nachbarschaftsfestlegung: (Festlegung der Zahl der Pixel p_ÿ, die sich in der nächsten Umgebung eines bestimmten Pixels befinden, die die gleiche Farbe besitzen wie das Ausgangspixel).

Da nicht alle Pixel p_ÿ des CCD-Bildsensors 2 die Information für eine einzige Farbe liefern, müssen die fehlenden Pixel p_ÿ berechnet werden, um ein farbi ges Bild daraus zu erhalten. Das zur Berechnung vorgeschlagene Verfahren enthält mehrere - in Grenzen frei wählbare - Bestimmungsstücke. Zunächst wird ein Abstandsbegriff zwischen Pixeln festgelegt. Der Abstand d eines Pixels p_i1j1 zum Pixel p_i2j2 ist wie folgt bestimmt.

d(i1,j1;i2,j2): = |i1-i2|+|j1-j2|

oder, für schnelles Rechnen weniger gut geeignet, der geometrische Abstand der Pixel p_i1j1 und p_i2j2.

Weiter muß für jedes Pixel p_ÿ die maximale in Betracht zu ziehende Umge bung U(p_ÿ) festgelegt werden; diese setzt eine Obergrenze für die Zahl der ′Nachbarpixel′ und bestimmt die Anzahl der Rechenschritte, welche zur Aus wahl dieser Nachbarpixel nötig sind. Das geschieht durch Festsetzen einer Zahl d_Max, mit der dann die in Betracht zu ziehende Umgebung U(p_ÿ) bestimmt ist.

U(p_ÿ) · = {p_i′j′ | |i-i′| d_Max,_*|j-j′| d_Max}

Für jedes Pixel p_ÿ und jede Farbe f wird die Teilmenge von U(p_ÿ), aus denjeni gen Pixeln gebildet, deren Farbe f ist:

U(p_ÿ _*f) · = {p_i′j′| |i-i′| d_Max;;|j-j′| d_Max;C_ÿ=f}.

Auch für die am seltensten vorkommende Farbe sollte diese Menge minde stens 2, besser aber 4-6 Elemente haben. Das kann durch Wahl eines hinrei chen großen d_Max erreicht werden. Dann kann aber für die am häufigsten vor kommende Farbe die Menge U(p_ÿ; f) mehr Pixel enthalten als benötigt werden. Um dies zu berücksichtigen werden die Pixel nach ihrem Abstand (s. o.) vom Bezugspixel p_ÿ geordnet und die am entferntesten werden weggelassen.

Es wird wie folgt vorgegangen: Zwei Pixel aus dieser Menge werden als äqui valent definiert, wenn sie gleichen Abstand vom Bezugspixel p_ÿ haben. Damit wird U(p_ÿ; f) in Äquivalenzklassen eingeteilt. Nach wachsendem Abstand ge ordnet werden diese Äquivalenzklassen wie folgt bezeichnet:

U₁(p_ÿ; f); U₂(p_ÿ; f); . . .; U_k(p_ÿ; f)

und die Zahl ihrer Elemente werden mit

u₁(p_ÿ; f), u₂(p_ÿ; f), . . . u_k(p_ÿ; f) bezeichnet.

Die oben angesprochene Möglichkeit einen Teil dieser Elemente wegzulassen wird konkretisiert durch die Wahl einer natürlichen Zahl k0 mit

1 k0 k

derart, daß

Nach Definition liefert dann

die Pixel p_ÿ der Farbe f, die in der näheren Umgebung von Pixel p_ÿ liegen. Nun muß bestimmt werden mit welchem Gewicht die Pixel p_ÿ berücksichtigt werden. Eine Möglichkeit besteht darin, daß dieses Gewicht nur vom Abstand zum Bezugspixel abhängt, und somit alle Pixel einer Äquivalenzklasse das selbe Gewicht haben. Das wird erreicht indem eine Zahlenliste ω von k0 posi patdt25tiven Zahlen gewählt wird für die gilt:

ω(k0) . . . ω(1)

Damit ist das Gewicht eines Pixels p_ÿ ∈ NU(p_ÿ; f) durch

wobei der Klassenindex p so gewählt ist, daß

(p_ÿ) = U_p(p_ÿ;f).

Damit wird der im ersten Schritt des Verfahrens benötigte gewichtete Mittelwert definiert wird als

In diese Form ist der Nachbarschaftsfestlegung für jede Farbbestimmung durchführbar. Allerdings ist die Bildung der auftretenden Äquivalenzklassen eine relativ rechenintensive Operation. Im periodischen Fall kann die Rechen zeit durch Vorberechnen und Speichern entscheidend reduziert werden. In Gleichung (B1) kann man i und j außerhalb von eckigen Klammern durch i_Lokal und j_Lokal aus dem obigen Abschnitt über die Farbbestimmung ersetzen und i′, j′ durch i+s, j+t, wobei (s,t) durch entsprechende Bedingungen eingeschränkt sind wie (i′, j′):

mit

NU_rel (p_ÿ;f): = {(s,t)| (i+s, j+t) ∈ NU(ÿ;f)}.

Damit muß man für die nVert_*nHor_*nF Werte (i_Lokal, j_Lokal, f) die Listen

NU_rel (p_iLokaljLokal;f) = ((s1,t1),(s2,t2) . . .)

und

w(p_iLokaljLokal;f) = (w₁, w₂, . . .)

berechnen, deren Länge typischerweise (s. o.) nur 4 bis 6 beträgt. Diese Listen werden einmal als Teil der Softwareentwicklung des Systems berech net und im ROM gespeichert. Bei der Durchführung des Verfahrens in der Kamera werden bei gerade aktuellen Werten (p_ÿ; f) in Abhängigkeit von (p_iLokaljLokal;f) die entsprechenden Listen geladen und der gewichtete Mittelwert einfach berechnet als:

wert[i][j][f] = w1_*wert[i+s1][j+t1][0] + w2_*wert[i+s2][j+t2][0] +. . .

Die vorliegende Erfindung wurde in bezug auf eine bevorzugte Ausführungs form beschrieben, aber selbstverständlich können im Rahmen des handwerk lichen Könnens eines Fachmanns Abwandlungen vorgenommen werden, ohne dabei den Schutzbereich der nachstehenden Ansprüche zu verlassen.

Claims

1. Verfahren zum Erzeugen von Farbbildern und/oder multispektralen Bil dern wobei eine Optik (3) eine Szene auf einen CCD-Bildsensor (2) ab bildet, der nach einem periodischen Grundmuster (GM) mit einem Mosaikfilter überzogen ist, dadurch gekennzeichnet, daß das Grund muster (GM) aus mindestens fünf verschiedenen Farb-Filterelementen aufgebaut ist, und das Verfahren folgende Schritte umfaßt:

- Ablegen der vom CCD-Bildsensor (2) erfaßten und von einem nach geschalteten Analog/Digital-Wandler (5) in digitale Daten umgewan delten Werte (wert[i][j][0]) eines jeden Pixels (p_ÿ) des CCD-Bildsensors (2) in einen dafür vorgesehenen Bereich B₀ eines Bildspeichers (6);
- Ermitteln eines ′unscharfen Bildes′ dadurch, daß für jede Farbe f und jedes Pixel p die Nachbarpixel der Farbe f bestimmt, ihre Werte aus B₀ gelesen und zu einem gewichteten Mittelwert verarbeitet werde;
- Ablegen der Werte (wert[i][j][f]) für alle auf dem CCD-Bildsensor vor handenen unterschiedlichen Filterelemente in dafür zugeordnete Bildspeicherbereiche (B₁, B₂, . . ., B_nF);
- Berechnen der endgültigen Farbwerte (C₁, C₂, . . ., C_nF) gemäß der additiven Bildschärfung; und
- Speichern der endgültigen Farbwerte (C₁, C₂, . . ., C_nF) in die dafür zuge ordneten Bildspeicherbereiche (B₁, B₂, . . ., B_nF).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Berech nung der endgültigen Farbwerte (C₁, C₂, . . ., C_nF) mittels multiplikativer Bildschärfung erfolgt.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die bei der Aufnahme einer Szene vorherrschende Beleuchtung in eine Beleuchtung anderer spektraler Zusammensetzung umformbar ist.

4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß bei der Auf nahme einer Szene ein weißer Referenzkörper mit bekanntem spektra len Reflexionsgrad der aufzunehmenden Szene hinzugefügt wird.

5. Verfahren nach einem der Ansprüche 3 oder 4, dadurch gekennzeichnet, daß im einem Datenspeicher eines Prozessors (8) die Daten für ver schiedene Beleuchtungen gespeichert sind, die je nach gewählter Beleuchtungssituation aus den Speicher abrufbar sind, oder daß der Prozessor (8) an Hand der vom beleuchteten Referenzkörper gewonne nen Daten die für die Umwandlung in eine andere spektrale Beleuch tungssituation notwendigen Daten ermittelt und in dem Speicher des Prozessors (8) ablegt.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das verwen dete Grundmuster (GM) aus einem pentaspektralen Muster besteht.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß ein Ab standsmaß von einem Ausgangspixel derart festgelegt wird, daß in der durch das Abstandsmaß festgelegten Umgebung sich mindestens zwei Pixel der am seltensten vorkommenden Farbe f eines Filterelements be finden.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß sich in der Umgebung des Ausgangspixels vier bis sechs Pixel mit der am selten sten vorkommenden Filterfarbe befinden.

9. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Pixel mit gleichem Abstand vom Ausgangspixel einer Äquivalenzklasse zugeord net werden, und daß diese Pixel den gleichen Gewichtungsfaktor w be sitzen.

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, daß zur Reduzie rung der Zeit für den Erhalt eines endgültigen farbigen Bildes die Äquivalenzklassen und die Gewichtungsfaktoren bei periodischem Grundmuster (GM) in einem Speicher des Prozessors (8) abgelegt sind.

11. Vorrichtung zum Erzeugen von Farbbildern und/oder multispektralen Bildern mit einer Optik (3) zum Abbilden einer Szene auf einen CCD- Bildsensor (2), wobei der CCD-Bildsensor (2) nach einem periodischen Grundmuster (GM) mit einem Mosaikfilter überzogen ist und einen nach geschalteten Analog/Digital-Wandler (5) zum Erzeugen digitaler Signale von allen Pixeln p_ÿ des CCD-Bildsensors (2) aufweist, dadurch gekenn zeichnet, daß das Grundmuster (GM) aus mindestens fünf verschiede nen Filterelementen aufgebaut ist.

12. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß ein digita ler Bildspeicher (6) mit wahlfreiem Zugriff vorgesehen ist, der in Abhän gigkeit von der Anzahl der verschiedenen Filterelemente des Grund musters (GM) in ebensoviele Bildspeicherebenen (B₁,B₂, . . . B_nF) organi siert ist und zusätzlich eine Bildspeicherebene B₀ besitzt, die die vom Analog/Digital-Wandler (5) erzeugten digitalen Signale aller Pixel p_ÿ des CCD-Bildsensors (2) beinhaltet.

13. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß ein Pro zessor (8) zur Steuerung der Vorrichtung, Organisation und Zugriff des Bildspeichers (6) und Ermittlung digitaler Bilddaten vorgesehen ist.

14. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß das Grundmuster (GM) ein pentaspektrales Muster ist.

15. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß das pen taspektrale Muster aus drei Pixelzeilen und drei Pixelspalten aufgebaut ist, und daß die Pixel p₁₁, p₂₂ und p₃₃ mit einem roten Filterelement R die Pixel p₁₃, P₂₁ und p₃₂ mit einem blauen Filterelement B, das Pixel P₂₃ mit einem grünen Filterelement G, das Pixel p₁₂ mit einem grünen Filter element G′ und das Pixel p₃₁ mit einem grünen Filterelement G′′ verse hen sind, wobei das Maximum der spektralen Durchlässigkeit von G′ kleiner als von G′′ ist.

16. Vorrichtung nach Anspruch 11, dadurch gekennzeichnet, daß das pen taspektrales Bayermuster aus drei Pixelzeilen und drei Pixelspalten auf gebaut ist, und daß die Pixel p₂₂ und p₃₃ mit einem roten Filterelement R, die Pixel p₂₁ und p₁₃ mit einem blauen Filterelement B, die Pixel p₁₂ und p₂₃ mit einem grünen Filterelement G, das Pixel p₃₂ mit einem grünen Filterelement G′ und das Pixel p₁₁ mit einem grünen Filterelement G′′ versehen sind, wobei das Maximum der spektralen Durchlässigkeit von G′ kleiner als von G′′ ist.

17. Vorrichtung nach einem der Ansprüche 15 oder 16, dadurch gekenn zeichnet, daß das Maximum der spektralen Durchlässigkeit das roten Filterelements R bei 595 nm, das der blauen Filterelements B bei 445 nm, das des grünen Filterelements G bei 545 nm, das der grünen Filter elements G′ bei 494 nm und das des grünen Filterelements G′′ bei 570 nm liegt.

18. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, daß je eine der Bildspeicherebenen (B₁, B₂,. . .B_nF) jeweils nur Daten eines bestimmten Farbwerts wert[i][j][f] speichert, und daß die Farbwerte wert[i][j][f] aus den digitalen Daten der Farbwerte der Pixel p_ÿ des CCD-Bildsensors (2) be stehen, die mit Filterelementen der bestimmten Farbe f versehen sind, und daß die digitalen Daten für die Pixel p_ÿ des CCD-Bildsensors (2), die nicht mit dem Filterelement der bestimmten Farbe f versehen sind, durch den Prozessor (8) ermittelbar sind.

19. Vorrichtung nach Anspruch 18, dadurch gekennzeichnet, daß ein Ab standsmaß von einem Ausgangspixel vorliegt, daß in der durch das Ab standsmaß festgelegten Umgebung mindestens zwei Pixel der am sel tensten vorkommenden Farbe eines Filterelements befinden.

20. Vorrichtung nach Anspruch 19, dadurch gekennzeichnet, daß in der Um gebung des Ausgangspixels vier bis sechs Pixel mit der am seltensten vorkommenden Filterfarbe vorliegen.

21. Vorrichtung nach Anspruch 20, dadurch gekennzeichnet, daß die Pixel mit gleichem Abstand vom Ausgangspixel einer Äquivalenzklasse zuge ordnet sind, und daß diese Pixel einen konstanten Gewichtungsfaktor besitzen.

22. Vorrichtung nach Anspruch 21, dadurch gekennzeichnet, daß die Äqui valenzklassen und die Gewichtungsfaktoren bei periodischem Grund muster (GM) in einem Speicher des Prozessors (8) abgelegt sind.