DE19936615A1 - Verfahren zur Verbesserung der Kontrastwiedergabe bei digitalisierten Bildern - Google Patents

Abstract

Die optimale Wiedergabe von kontrastreichen Motiven in der digitalen Bildtechnik ist durch die begrenzte Dynamik der heutigen Bildaufnehmer eingeschränkt. Mit Hilfe von Active Pixel Bildsensoren soll die Wiedergabe kontrastreicher Motive verbessert werden. DOLLAR A Durch eine analog zur unscharfen Helligkeitsverteilung im Motiv gesteuerte Empfindlichkeitsanpassung der Sensorpixle wird erreicht, daß auch die dunklen bzw. hellen Bildregionen des Motivs ohne Verlust an Detailkontrast gut belichtet wiedergegeben werden. Dadurch wird ein besonders natürlicher und ausgewogener Bildeindruck erreicht. DOLLAR A Dieses Verfahren kann auf zahlreichen Gebieten der digitalen Bildverarbeitung (Image Processing) eingesetzt werden.

Description

Die Erfindung betrifft ein Verfahren, das eine wesentliche Verbesserung bei der Aufzeichnung und Wiedergabe von digitalen Bildern hinsichtlich ihres Hell/Dunkel-Kontrastes erlaubt. Damit ist die Erfindung für die digitale Bildverarbeitung (Imaging) von wesentlichem Interesse.

Zum besseren Verständnis der nachfolgenden Ausführungen soll zunächst der typische Bildverarbeitungsprozeß in einem Ablaufdiagramm erläutert werden. Dabei wird das digitale Imaging in drei Blöcke gegliedert (Abb. 1). Wie aus der Beschriftung der Abbildung unschwierig hervorgeht, vollzieht sich in Block 1 das Abtasten der abzubildenden Vorlage mittels eines Bildaufnehmers oder Scanners. In einem nächsten Schritt (Block 2) werden die so gewonnenen Bilddaten bearbeitet. Hierbei können zwei verschiedene Verfahren eingesetzt werden:

• 1. das interaktive Imageprocessing, bei dem das Bild durch manuelle Bearbeitung des Datensatzes an einem Bildschirm beliebig korrigiert oder verändert werden kann und/oder
• 2. das automatische Imageprocessing, bei dem standardisierte Rechenabläufe möglich sind, was wiederum kürzeste Prozeßzeiten erlaubt. Auf diese Weise können Bildeigenschaften wie Farbneutralität, Helligkeit und Bildkontrast optimiert werden.

Die nach dem einen oder anderen Verfahren verbesserten Bilddatensätze werden schließlich abgespeichert und stehen dann zur Bildausgabe über verschiedene, punktweise arbeitende Abbildungsysteme bereit (Block 3). Zu diesen gehören z. B. der CRT-Bildschirm, das punktweise Belichten von Fotomaterialien, die Kinoprojektion von digital aufbereiteten "Filmen" mittels Laserprojektoren oder Spiegelchips (DLP), der Zeitungsdruck oder der Ausdruck von Inkjet-Printern, um nur einige zu nennen.

Während die Scantechnik bei der Aufnahme bzw. bei der punktweisen Bildwiedergabe den jeweiligen Einsatzzwecken angepaßt werden muß, kann bei den dazwischen liegenden Bildbearbeitungsvorgängen (Image processing) weitgehend einheitlich vorgegangen werden. So kommt das zeitintintensive interaktive Imageprocessing vorwiegend bei Einzelbildern aller Art (so z. B. im Werbebereich) zum Einsatz, während das vollautomatische Imageprocessing z. B. bei der fotografischen Massenkopie, im TV- oder Amateurvideobereich oder bei der Bearbeitung von digitalisierten Filmen zunehmend an Bedeutung gewinnen wird. Dabei spielt neben einer Anpassung der Bildhelligkeit und der Farbwiedergabe vor allem die automatische Kontrastanpassung eine wichtige Rolle.

Letztere wird besonders deshalb erforderlich, weil einer natürlichen Bildwiedergabe vor allem zwei Kontrastprobleme entgegenstehen: Zum einen können die meisten Wiedergabemedien wie z. B. Fotopapier, bedrucktes Papier oder auch der Bildschirm größere Vorlagenkontraste nicht immer befriedigend wiedergeben, und zum anderen muß oft schon bei der Aufnahme unter den jeweils gerade verfügbaren Lichtverhältnissen (available light) gearbeitet werden, also Lichtverhältnissen, die unausgewogen sind und sich u. U. rasch ändern. Beide Probleme können bei der Bildwiedergabe zu Szenen mit z. B. überbelichteten Himmelspartien und/oder schwarzen Schatten ohne Durchzeichnung führen.

Seit einigen Jahren sind Verfahren bekannt, die geeignet sind, solche Bildmängel durch eine nachträgliche Bilddatenbearbeitung zu reduzieren. So kann durch die Verknüpfung der Bilddaten mit Datensätzen, die nur niedere Ortsfrequenzen der Vorlage enthalten (= unscharfe Maskierung) erreicht werden, daß in den bearbeiteten Bilddatensätzen der Vorlage zu helle Bildteile gedämpft bzw. Schattenbereiche aufgehellt wiedergegeben werden. Damit wird - als eine Grundregel der kontrastmäßigen Bildverbesserung - der Kontrast der großflächigeren Bildanteile (= der niederen Ortsfrequenzen) herabgesetzt, während der (für die Bildbrillanz wichtige) Detailkontrast unangetastet bleibt.

Durch die Überlagerung von mehreren Ortsfrequenzauszügen mit jeweils verschiedenem Kontrast in einer Maske kann sogar die Sehweise des Auges in etwa kopiert werden. Dieser mit dem Namen charakterisierte unscharfe Maskentyp ist in gleicher Weise bei der Vorlagenwiedergabe korrigierend, einsetzbar. Er ermöglicht - angewendet auf den vom Bildaufnehmer gelieferten Bilddatensatz - Abbildungen mit einem noch natürlicheren Kontrasteindruck.

Das unscharfe Maskieren mit Hilfe von LCD's bei der Massenkopie von fotografischen Vorlagen ist in der OS DE 40 40 498 bekannt gemacht. - Ebenfalls mit dem Ziel, die Belichtungsprobleme bei besonders kontrastreichen Vorlagen besser in den Griff zu bekommen, wurden für den Fotobereich auch Verfahren beschrieben, die es ermöglichen, die Empfindlichkeit von flächigem Fotomaterial analog zur groben Helligkeitsverteilung der abzubildenden Vorlage zu schwächen respektive anzuheben. Mit einer solchen Methode könnten dann auch die Details in den Schattenbereichen und in den Lichtern deutlicher, d. h. hinreichend gut belichtet wiedergegeben werden (DE 196 32 429).

Der Einsatz unscharfer Masken (incl. der oben erwähnten Multilayermaske) sowohl im Videosektor als auch in Zusammenhang mit einer bereichsweisen, maskenanalogen Empfindlichkeitsbeeinflussung von Bildaufnehmern wurde in der Patentschrift DE 197 13 648 offengelegt.

Die in den oben genannten Veröffentlichungen beschriebene digitale Kontrastanpassung arbeitet meist in der Weise, daß man versucht, die vom Bildaufnehmer abgenommenen Bildsignale der hellen und dunklen Bildbereiche noch nachträglich bereichsweise zu schwächen oder zu verstärken. Es liegt auf der Hand, daß solche Bildbearbeitungsverfahren nur dann zu wirklich guten Ergebnissen führen, wenn die in den Bilddatensätzen eventuell vorhandenen Licht- und Schattenbereiche ordentlich belichtet und gut durchzeichnet sind. Dies wäre, wie übrigens schon in der letztgenannten Patentschrift (DE 197 13 648) angesprochen, am ehesten dadurch zu gewährleisten, daß Bildaufnehmer zum Einsatz kommen, deren Lichtempfindlichkeit bereichsweise an die Helligkeitsverhältnisse in den Licht- bzw. Schattenzonen angepaßt werden kann.

Solche, inzwischen eine akzeptable Auflösung aufweisende Bildaufnehmer sind nun vor einiger Zeit unter der Bezeichnung CMOS Active Pixel Sensor vorgestellt geworden. Die Empfindlichkeit (bzw. die Belichtungszeit) der Pixel dieser Bildaufnehmer kann einzeln programmiert werden. Ihr Einsatz verspricht die Möglichkeit, durch automatische Prozesse zu Bilddatensätzen mit bisher nicht gekannter Qualität zu gelangen. Zugleich würde die "Arbeit" der Image Processing Station (Abb. 1, Block 2) zu einem erheblichen Teil bereits von der Active Pixel Digitalkamera erledigt werden.

Ziel der vorliegenden Anmeldung ist es daher, für solche Bildaufnehmer (nachfolgend kurz als AP- Bildsensor bezeichnet) geeignete Logik- und Ansteuerprinzipien aufzuzeigen, mit denen man kontrastmäßig ausgewogene Bilddatensätze erhalten kann. Nachfolgend werden 3 verschiedene Lösungswege beschrieben.

Beim ersten Verfahren (Abb. 2), auch kurz 1-Chip Lösung genannt, wird zunächst die Vorlage (1) auf den AP-Bildsensor (2) scharf abgebildet. Dabei soll die Verteilung von dessen Pixelempfindlichkeit eine in etwa gleichmäßige sein. Die digitalisierten Bilddaten dieser Abbildung werden dann gemäß Schritt 1 einem Rechner (3) zugeführt, in welchem durch Verunschärfungsalgorithmen ein - grob gesagt - unscharfes monochromes Positiv der Vorlage berechnet wird. Bei diesem unscharfen Bilddatensatz der Vorlage ("Tiefpaß") handelt es sich im einfachsten Fall um einen niederfrequenten Ortsfrequenzbereichs- Auszug der Vorlage. Dessen korrigierende Wirkung hängt neben dem Unschärfegrad auch von dem ihm bei der Berechnung erteilten Kontrast ab, d. h. der Dichtedifferenz zwischen seinem hellsten und dunkelsten Bereich. Man nennt diesen Datensatz auch vereinfacht eine "positive unscharfe Maske".

Da für die weitere Verwendung der Maske nur der Kontrast und der Unschärfegrad von Bedeutung sind, nicht aber ihre absoluten Helligkeitswerte, muß die Maske noch auf einen bestimmten Helligkeitswert, vorzugsweise den Mittelwert des Helligkeitslogarithmus, normiert werden. Die Maske besteht dann aus Helligkeitswerten größer bzw. kleiner als der Mittelwert. Natürlich kann im Maskenrechner diese Einteilung noch durch spezielle Randbedingungen zusätzlich gestaltet werden. (Siehe auch DE 197 13 648, Abb. 2, Kurven 7e und 7f).

Schließlich wird die Empfindlichkeit eines jeden Pixels des AP-Bildsensors analog zu den normierten Maskenwerten in der Weise programmiert, daß (eine positive Maske vorausgesetzt) in den helleren Bereichen der unscharfen Maske die Empfindlichkeit der Pixel gegenüber der mittleren Empfindlichkeit reduziert und in den dunkleren Bereichen angehoben wird, während bei der - ebenfalls möglichen - Generierung einer negativen Maske in deren helleren Bereichen die Empfindlichkeit angehoben bzw. in deren dunkleren Bereichen reduziert wird.

Mit der so programmierten Empfindlichkeitsverteilung am AP-Bildsensor wird schließlich - bei weiterhin auf dem Chip scharf abgebildeter Vorlage - im Schritt 2 (Abb. 2) das verbesserte Videobild der Vorlage ausgelesen und z. B. für eine weitere Bearbeitung oder die Wiedergabe abgespeichert.

Der beschriebene Ablauf beinhaltet demnach ein zeitlich abwechselndes Auslesen von Bilddaten einmal auf Basis einer (quasi) homogenen Verteilung der Empfindlichkeit aller Pixel und darauffolgend einer masken-analogen Verteilung.

Eine bildtechnisch optimale Lösung, bei der die Vorteile des AP-Bildsensors voll genützt werden, besteht darin, daß der Kontrast der Maske und die daraus resultierende Empfindlichkeitsverteilung auf dem AP-Bildsensor so dimensioniert wird, daß im ausgelesenen Bilddatensalz der Vorlage die ursprünglich hellen bzw. dunklen Vorlagenbereiche ein in etwa gleich hohes mittleres Helligkeitsbildsignal annehmen. Dies kann als eine Kontrastkompression im Bereich der niederen Ortsfrequenzen des Motivs angesehen werden.

In Abb. 3 ist dieser Prozess abbildungstechnisch dargestellt. Durch die Verknüpfung der Helligkeitswerte der Vorlage (1) mit dem Empfindlichkeitsverlauf der normierten Maske am Bildaufnehmer wird, sozusagen virtuell, der Großflächenkontrast aus dem Motiv herausgenommen (2). Damit kann der volle Detailkontrast aus allen Helligkeitsbereichen der Vorlagenabbildung über den (begrenzten) optimalen Bereich der Kennlinie (3) übertragen werden. Eine anschließende rechnerische Daten-Dekompression (4) bringt in den Datensatz den primär angestrebten, gegenüber dem Original leicht abgesenkten Großflächenkontrast zurück (5).

Schaltungstechnisch gesehen muß daher, ausgehend von den Bildsignalen (Abb. 2, Schritt 2), in einer anschließenden Rechenoperation (Abb. 2, Schritt 3 bzw. Rechner 4) mit Hilfe des vom Motiv eingangs im Rechner (3) erstellten und abgespeicherten normierten Maskendatensatzes besagte Dekompression des zuvor eingeebneten Kontrastes der niederen Ortsfrequenzen vorgenommen werden, um neben den jetzt durchgängig gut übertragenen Bilddetails der Vorlage auch noch eine möglichst natürliche Wiedergabe der Licht/Schattenkontraste zu erreichen.

Damit nähert man sich der Leistungsfähigkeit des Auges weiter an, die u. a. besonders dadurch gekennzeichnet ist, daß auch in z. B. reichlich beschatteten Motivpartien alle Details deutlich wahrgenommen werden.

Neben diesem speziellen, auf ein optimales Imageprocessing-Ergebnis ausgerichteten Prozeßablauf sind auch eine Vielzahl von einfacheren, dafür aber weniger Rechenarbeit erfordernden Standardlösungen denkbar. Z. B. kann man die normierte Maske, mit dem die Empfindlichkeit der Pixel des AP-Bildsensors abgeglichen wird, kontrastmäßig so einstellen, daß die gegenüber den Ausgangsdaten gewünschte Absenkung des niederortsfrequenten Bildkontrastes unmittelbar erreicht wird. Die dabei resultierende (und in jedem Fall verbesserte) Qualität der Detailinformation in den Schatten bzw. den Lichtern müßte dann so akzeptiert werden, wie sie sich fallweise ergibt. Bei diesem Verarbeitungsschema, Abb. 2, Signalausgang (5), kann somit auf den Arbeitsgang der rechnerischen Rückanhebung des Kontrastes verzichtet werden. - Alle aufgeführten Verfahrensschritte gelten auch uneingeschränkt für Farbkameras, da die Empfindlichkeitssteuerung sich auf alle farb-gefilterten Pixel gleichermaßen erstreckt.

Diese im obigen Absatz dargestellten Bildverarbeitungsprozesse können trotz ihrer scheinbaren Kompliziertheit vollautomatisch erfolgen. Die Kontrastkorrektur orientiert sich nämlich grundsätzlich am Großflächenkontrast des Vorlagendatensatzes und sie fällt damit um so geringer aus, je geringer dieser Kontrast ist. Weiters haben Großversuche im Fotobereich ergeben, daß jede maßvolle prozentuale Erniedrigung des Großflächenkontrastes (nicht aber des Detailkontrastes) die Natürlichkeit des Bildeindruckes verstärkt.

In Abb. 4 wird eine Variante zum vorherigen Verfahren, die 2-Chip Lösung, beschrieben. Bei der 2- Chip Lösung wird dem AP-Bildsensor (3) ein Hilfs-Bildaufrehmer (2) zur Seite gestellt, der die Funktion der Maskenbereitstellung für den Abgleich der Pixelempfindlichkeit im AP-Bildsensor (3) übernimmt. Der Hilfs-Bildaufnehmer (2) kann z. B. ein normaler CCD-Bildaufnehmer sein, auf den abbildungskonform zum AP-Bildsensor (3) die Vorlage (1) scharf abgebildet wird. Anschließend wird dieses Bild ausgelesen und in einem Rechner (4) in den Maskendatensatz umgerechnet. Diese normierte Maske wird analog zur 1-Chip Lösung auf den AP-Bildsensor (3) zur masken-analogen Einstellung der Empfindlichkeit von dessen Pixeln übertragen. Der weitere Ablauf unterscheidet sich dann nicht mehr von der Prozedur bei der 1-Chip Lösung. Der Vorteil dieses Verfahrens besteht darin, daß der AP- Bildsensor sozusagen ständig mit einer unscharfen Maske versorgt wird und nicht alternierend den Ausgangsdatensatz für die Maskenerstellung selbst erzeugen muß. Eine höhere Bildfrequenz wird dadurch möglich.

Eine optische Maskenerzeugung, z. B. bei billigen Stillvideo Kameras denkbar; kann als weitere Variante zur Bildung eines Maskendatensatzes in Betracht gezogen werden. Hierzu ist bei einer 1-Chip Lösung (als Abbildung nicht dargestellt) die Installation eines in den Abbildungsstrahlengang einbringbaren, lichtstreuenden Mediums erforderlich, durch das die Vorlage unscharf auf den AP- Bildsensor oder - bei der 2-Chip Lösung - auf den Hilfs-Bildaufrehmer (2), Abb. 5, abgebildet wird. Dabei entfällt die rechnerische Generierung der Maske. Allerdings muß im Falle der Verwendung einer 1-Chip-Lösung das streuende Medium nach der Belichtung wieder aus dem Abbildungsstrahlengang entfernt werden. Bei Verwendung zusammen mit einem Hilfsbildaufnehmer (2) kann das streuende Medium (4) fest im Strahlengang verbleiben. Der mit diesem Verfahren unter Umgehung der Maskenberechnung auf direktem Wege erzeugte Datensatz der unscharfen Maske wird, wie in den zuvor beschriebenen Fällen, zur Ansteuerung der Empfindlichkeit der Pixel des AP-Bildsensors (3) etc. weiterverwendet.

Abschließend sei noch bemerk, daß oft der Fall eintritt, daß z. B. durch eine Fassungsvignettierung des Abbildungsobjektives das Bildfeld in den Bildecken erheblich abgedunkelt wird. Eine zusätzliche vorteilhafte Eigenschaft des AP-Bildsensors besteht nun darin, daß solche Ungleichmäßigkeiten in der Bildebenenausleuchtung mittels eines dauerhaft einprogrammierten Empfindlichkeitsvorhaltes signalmäßig ausgeglichen werden können. Es ist nämlich wichtig, daß Abdunkelungen, die z. B. vom Kameraobjektiv erzeugt werden, eigenständig kompensiert weiden, damit sie nicht in das Motiv- Imageprocessing mit eingehen.

Claims (6)

1. Verfahren zur Kontraststeuerung bei digital aufzunehmenden Bildern durch den Einsatz eines elektronischen Bildaufnehmers/Scanners, der aus lichtempfindlichen und in ihrer effektiven Empfindlichkeit (z. B. Belichtungszeit) individuell programmierbaren Pixeln besteht (auch Active Pixel Bildsensor genannt, nachfolgend AP-Bildsensor abgekürzt), deren Empfindlichkeit zwecks Erzeugung eines Bilddatensatzes einer abzubildenden Vorlage in Abhängigkeit von den Helligkeitswerten eines ausgewählte Ortsfrequenzbereiche umfassenden Bilddatensatzes der Vorlage (nachfolgend als "Maske" bezeichnet) verändert wird, dadurch gekennzeichnet,
daß die Erzeugung eines Ausgangsdatensatzes von der Vorlage, der zur Berechnung der zugehörigen Maske bestimmt ist, am AP-Bildsensor erfolgt, wobei die Verteilung der Pixelempfindlichkeit eine in etwa homogene sein soll,
daß der so gewonnene Datensatz nach einer mit rechnertechnischen Mitteln vorgenommenen Umrechnung in eine Maske dem AP-Bildsensor vorzugsweise in Form einer auf ihren Durchschnittswert normierten Maske zugeleitet wird und
daß zwecks Erzeugung des verbesserten Datensatzes der Vorlage am AP-Bildsensor vor der Belichtung die Empfindlichkeit von dessen einzelnen Pixeln in der Weise umprogrammiert wird, daß - bei positiver Maske - dort wo der Maskendatensatz der Vorlage in Bezug auf den Durchschnitt und abhängig von einer vorgebbaren Schwelle hellere Bereiche aufweist, die Empfindlichkeit der Pixel gegenüber der mittleren Empfindlichkeit reduziert und/oder dort, wo entsprechend der Maskendatensatz der Vorlage dunklere Bereiche aufweist, die Empfindlichkeit der Pixel gegenüber der mittleren Empfindlichkeit angehoben wird und
daß beim Arbeiten mit einer negativen Maske entsprechend umgekehrt verfahren wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
daß der Kontrast der Maske so dimensioniert wird, daß die daraus resultierende Verteilung der Pixelempfindlichkeit nach der anschließenden Belichtung mit der Vorlage zu einem Vorlagendatensatz führt, in welchem diejenigen Bildregionen, die bildmäßig den hellen bzw. den dunklen Maskenbereichen entsprechen, nahezu die gleichen integralen Helligkeitswerte aufweisen (Kontrastkompression) oder in dem diese Bildregionen nur solche Helligkeitsunterschiede aufweisen, daß die Bildregionen zumindest im Bereich des annähernd geraden Teiles der Kennlinie des AP- Bildsensors abgebildet werden und
daß dieser so erzeugte Bilddatensatz, wenn erforderlich, anschließend mit vorzugsweise rechnertechnischen Mitteln (z. B. über eine Anwendung der eingangs erstellten Maske) in der Weise modifiziert wird, daß sein Großflächenkontrast auf einen Umfang reduziert wird, der einen natürlichen Bildeindruck vermittelt.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die mittlere Pixelempfindlichkeit (z. B. Belichtungszeit) für das gemäß Anspruch 1 und 2 erfolgende Belichten der Vorlage am AP-Bildsensor aus den Helligkeitswerten der Bildpunkte der Maske abgeleitet wird.

4. Verfahren nach Anspruch 1 und 2, dadurch gekennzeichnet,
daß der Ausgangsdatensatz der abzubildenden Vorlage zur Generierung der Maske an einem beliebigen zweiten Bildaufnehmer oder Scanner abbildungskonform gewonnen wird und
daß aus diesem Datensatz in einem Rechner die Maske der Vorlage berechnet und zur Empfindlichkeitseinstellung der Pixel an den AP-Bildsensor weitergeleitet wird.

5. Verfahren nach den Ansprüchen 1, 2 und 4, dadurch gekennzeichnet, daß zur Erzeugung der Maske für die Empfindlichkeitssteuerung der Pixel am AP-Bildsensor anstelle des rechnerischen Weges das unscharfe optische Abbilden des Motivs mittels eines optisch streuenden Mediums auf die jeweiligen Bildempfänger und das anschließende Abspeichern der normierten Maskenwerte in einem Bildspeicher gewählt wird.

6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß nicht vom Vorlageninhalt herrührende Helligkeitsabweichungen in der Bildebene des AP- Bildsensors (z. B. ein durch das Objektiv bedingter Helligkeitsrandabfall) nicht in die Berechnung der Vorlagenmaske einbezogen, sondern ständig durch einen fest programmierten Empfindlichkeitsvorhalt egalisiert werden.