DE69718090T2

DE69718090T2 - Verfahren und Vorrichtung zum Kodieren und Dekodieren von Bildern

Info

Publication number: DE69718090T2
Application number: DE69718090T
Authority: DE
Inventors: Choong Seng Boon; Shinya Kadono; Jun Takahashi
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 1996-03-15
Filing date: 1997-03-14
Publication date: 2003-11-06
Anticipated expiration: 2017-03-15
Also published as: ES2189899T3; US6347151B2; US6067320A; ES2202245T3; DE69723325T2; EP1134983A1; EP0796003A2; DE69718090D1; EP0796003B1; EP1134983B1; US6292513B1; US20020009225A1; DE69723325D1; EP0796003A3

Description

HINTERGRUND DER ERFINDUNG

1. Gebiet der Erfindung

Die vorliegende Erfindung betrifft eine Vorrichtung zum Kodieren und Dekodieren eines Bildsignals, verwendet zur effizienten Bildsignalübertragung oder Speicherung, und ein Verfahren dafür.

2. Beschreibung des Standes der Technik

Ein Verfahren zum Trennen bewegter Bilder in diskrete Schichten, die jede eines von normalerweise mehreren Objekten in einem Bewegtbild mit einer bestimmten Zeit-Instanz enthalten, wurde vorgeschlagen, um eine effiziente Übertragung und Speicherung von Bildsignalen zu ermöglichen, und insbesondere Bewegtbild- (Video)-Signale, in welchem Objektbilder als Zusammensetzungen (Sammlungen) von Pels (picture elements = Bildelemente) ausgedrückt werden. Wenn zum Beispiel ein Personen und Hintergrund umfassendes Bild nach diesem Verfahren kodiert wird, trennt die Bild-Kodierungsvorrichtung das Bild in zwei Schichten, eine Personen-Schicht und eine Hintergrund-Schicht, und kodiert und überträgt jede Schicht separat.
Am Empfangsende dekodiert die Bild-Dekodierungsvorrichtung das für jede Schicht kodierte Signal und kombiniert dann die Bilder aus jeder der dekodierten Schichten unter Verwendung eines spezifizierten Verfahrens zum Darstellen eines einzelnen, integrierten Bildes. Dieses Verfahren muss daher ebenfalls für jeden Pel in jeder Schicht Informationen bereitstellen, die angeben, ob das Pel das Hintergrundbild verdeckt oder nicht verdeckt. Die Information, die somit verwendet wird, um anzugeben, ob das Pel das Hintergrundbild verdeckt oder nicht verdeckt, wird als "Signifikanz-Information" bezeichnet, und Pels, die den Hintergrund verdecken, werden als "signifikant" bezeichnet.
Diese Signifikanz-Information kann ebenfalls verwendet werden, um die Inter-Pel- Korrelationsinformation in Bildern anzugeben, die als eine einzelne Schicht statt als in mehrere Schichten segmentiert aufgezeichnet sind. Signifikante Pels sind jedoch Pels, die in einem gegebenen Objekt enthalten sind, und nicht signifikante Pels sind Pels, die außerhalb eines gegebenen Objektes angeordnet sind. Ein hoher Signifikanz-Informationswert bedeutet daher, dass das Verhältnis eines gegebenen Pels zu den anderen Pels an der gleichen Position hoch ist und das Pel visuell wichtig ist. Umgekehrt bedeutet ein niedriger Signifikanz-Signalwert, dass das entsprechende Pel einen geringen Einfluss auf das Erscheinen des ausgegebenen Pels aufweist, das heißt, es fast transparent ist.
Das Signal mit der Signifikanz-Information für eine bestimmte Gruppe von Pels in dem Bildsignal wird als Signifikanz-Signal bezeichnet. Wenn mehrere in verschiedenen Schichten des Bildsignals enthaltene Bildobjekte überlagert sind, um ein Bild darzustellen, kann das Signifikanz-Signal verwendet werden, um zu klären, ob ein bestimmtes Pel den Hintergrund verdeckt oder nicht verdeckt. Ein Nicht-Null- Signifikanz-Signalwert bedeutet in diesem Fall, dass das Pel signifikant ist und den Hintergrund verdeckt. Es gibt jedoch keinen Signifikanz-Signalwert für nicht signifikante Pels und nicht signifikante Pels sind somit transparent und werden für Bild- Synthese nicht benötigt. Als Ergebnis beschreibt das Signifikanz-Signal die Form von Objekten in dem Bild und nur signifikante Pels beeinflussen die Qualität des synthetisierten Bildes.
Mit anderen Worten, nicht signifikante Pels haben keinen Bezug zur Bildqualität und die Kodierungs-Effizienz kann daher verbessert werden durch Kodieren nur der sig¬ nifikanten Pels.
Beim Kodieren von Bildsignalen mit Luminanz, Farbdifferenz, Transparenz und anderen Pel-Informationen für jedes Pel in dem Bild führen konventionelle Bildsignal- Kodierungsvorrichtungen die gleiche Frequenzumwandlungs-Operation während einer Pel-Unterabtastung und Pel-Interpolationsverarbeitung aus, ungeachtet der Pel-Signifikanz. Als ein Ergebnis beeinflussen nicht signifikante Pel-Werte, das heißt, bedeutungslosen Pel-Werte, signifikante Pels, resultierend in einer Bildqualitäts-Verschlechterung.
Während die Auflösung der Luminanzsignalkomponente des Bildsignals gleich der Signifikanz-Signal-Auflösung ist, kann die Auflösung der Farbdifferenz verschieden von der Signifikanz-Signal-Auflösung sein. In solchen Fällen ergeben sich keine Probleme beim Kodieren des Luminanzsignals basierend auf dem Signifikanz- Signal. Wenn jedoch das Farbdifferenzsignal basierend auf dem Signifikanz-Signal kodiert ist, muss die Auflösung beider Signale die gleiche sein. Das bedeutet, dass die Auflösung des Signifikanz-Signals in die Farbdifferenzsignal-Auflösung umgewandelt werden muss, bevor das Farbdifferenzsignal kodiert wird. Wie oben be¬ schrieben, wendet die Auflösungs-Umwandlung des Signifikanz-Signals jedoch die gleiche Auflösungs-Umwandlung auf jedes Pel an, ungeachtet dessen, ob jedes Pel signifikant ist oder nicht, und das Signifikanz-Signal wird somit in der gleichen Weise verschlechtert, wie Kodieren das obige Bildsignal verschlechtert.
Die Kodierungs-Effizienz fällt ebenfalls mit der konventionellen Bildsignal- Kodierungsvorrichtung und Bildsignal-Dekodierungsvorrichtung, da es ebenfalls erforderlich ist, Pel-Werte fast transparenter Pels zu kodieren, weil auch diese fast transparenten Pels, die keine visuelle Wirkung auf das ausgegebene Bild haben, als signifikante Pels gehandhabt werden infolge von Kodierungsfehlern oder kleinen Rauschkomponenten in dem Eingangssignal.

ZUSAMMENFASSUNG DER ERFINDUNG

Die Aufgabe der vorliegenden Erfindung ist es daher, ein Bildsignal- Umwandlungsverfahren anzugeben, welches diese Probleme löst. Die Aufgabe der vorliegenden Erfindung wird verwirklicht durch ein Bildsignal- Umwandlungsverfahren zum Umwandeln eines Signifikanz-Signals in ein Bildsignal, welches ein Luminanzsignal, ein Farbdifferenzsignal mit einer von einer Auflösung des Luminanzsignals abweichenden Auflösung und ein erstes Signifikanz-Signal beinhaltet, welches anzeigt, ob jedes Pel des Luminanzsignals innerhalb oder außerhalb einer beliebigen Form positioniert ist, wobei das Verfahren umfasst: Erzeugen eines zweiten Signifikanz-Signals, das anzeigt, ob jedes Pel des Farbdifferenzsignals innerhalb oder außerhalb der beliebigen Form positioniert ist, durch Umwandeln des ersten Signifikanz-Signals, wobei die Umwandlung von dem ersten Signifikanz-Signal in das zweite Signifikanz-Signal basierend auf dem logischen OR für das erste Signifikanz-Signal eines verarbeiteten Ziel-Pel und dem verarbeiteten Ziel-Pel benachbarten Pels ausgeführt wird.

KURZBESCHREIBUNG DER ZEICHNUNGEN

Diese und andere Aufgaben und Merkmale der vorliegenden Erfindung werden deutlich aus der folgenden Beschreibung in Verbindung mit deren bevorzugten Ausführungsformen anhand der beigefügten Zeichnungen, in welchen gleiche Teile mit gleichen Bezugszeichen bezeichnet sind. Dabei zeigen:
Fig. 1 ein Blockschaltbild einer ersten erfindungsgemäßen Ausführungsform einer Bildsignal-Kodierungsvorrichtung EC,
Fig. 2 ein Flussdiagramm, welches zum Beschreiben der Operation der in Fig. 1 gezeigten Bildsignal-Kodierungsvorrichtung EC verwendet wird,
Fig. 3 eine erläuternde Darstellung, verwendet zum Beschreiben des Verfahrens, durch welches die Bildsignal-Kodierungsvorrichtung EC der Erfindung die Auflösungs-Umwandlungs-Eigenschaft bestimmt,
Fig. 4 eine Tabelle, welche die Funktionen entsprechend der in Fig. 3 gezeigten Auflösungs-Umwandlungs-Eigenschaft zeigt,
Fig. 5 eine erläuternde Darstellung, verwendet zum Beschreiben der Bildwiedergabeverarbeitung einer auf der vorliegenden Erfindung basierenden Bild-Auflösungs-Umwandlungsvorrichtung,
Fig. 6 eine erläuternde Darstellung, verwendet zum Beschreiben einer Signifikanz-Signal-Interpolation eines Farbdifferenzsignals durch eine Bild-Auflösungs-Umwandlungsvorrichtung, basierend auf der vorlie¬ genden Erfindung,
Fig. 7 ein Flussdiagramm, verwendet zum detaillierteren Beschreiben der Operation der in Fig. 2 gezeigten Bildsignal-Kodierungsvorrichtung EC,
Fig. 8 ein Flussdiagramm, verwendet zum Beschreiben einer alternativen Ausführungsform der Operation der in Fig. 7 gezeigten Bildsignal- Kodierungsvorrichtung.

DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN

In den folgenden Beschreibungen der bevorzugten Ausführungsformen wird das eingegebene Bildsignal beschrieben als ein zweidimensionales Farbsignal mit Pel- Werten und ein Signifikanz-Signal umfassend, welches für jedes Pel in dem Farbsignal angibt, ob der Pel-Wert signifikant ist oder nicht. Es ist jedoch anzumerken, dass das Bildsignal andere Informationen als das Farbsignal enthalten kann und das Bildsignal soll nicht auf zweidimensionale Bilder beschränkt sein und kann eine n-dimensionale Bildinformation ausdrücken.

Ausführungsform 1

Die Struktur einer ersten Bildsignal-Kodierungsvorrichtung EC1 gemäß der vorliegenden Erfindung wird zuerst unten anhand von Fig. 1 beschrieben. Diese Bildsignal-Kodierungsvorrichtung EC1 umfasst einen ersten Eingabeanschluss Ti1, einen zweiten Eingabeanschluss Ti2, einen Auflösungs-Umwandlungs-Eigenschafts- Auswähler 103, einen Auflösungs-Umwandler 105 und einen Ausgabeanschluss To.
Der erste Eingabeanschluss Ti1 ist an eine externe Bildsignalquelle (in den Figuren nicht dargestellt) angeschlossen, von welcher das Bildsignal Si geliefert wird. Der zweite Eingabeanschluss Ti2 ist vergleichbar an eine externe Signifikanz- Signalquelle (ebenfalls in den Figuren nicht dargestellt) angeschlossen, von welcher das Signifikanzsignal Ss geliefert wird. Es ist anzumerken, dass, wie oben beschrieben, dieses Signifikanz-Signal Ss Signifikanz-Informationen für jedes Pel in dem Bildsignal Si enthält. Es ist weiterhin anzumerken, dass, während das Signifikanz- Signal Ss normaler Weise ein Mehrfachpegel-Signal ist, das die Korrelation zwischen Pels in dem Bildsignal Si durch zwei oder mehr Werte anzeigt, es in der nachfolgenden Offenbarung primär der Einfachheit halber als ein Zwei-Pegel-Signal beschrieben ist, das angibt, ob ein gegebener Bildpunkt signifikant ist oder nicht, durch Einstellen des Signifikanz-Signals Ss auf einen von zwei Zuständen für jedes Pel.
Wenn z. B. das Signifikanz-Signal Ss ein Zwei-Pegel-Signal ist, drückt es aus, ob das Pel in der vorderen Schicht (Vordergrund-Pel) transparent ist oder nicht und daher das Hintergrund-Pel an der gleichen Position verdeckt oder nicht verdeckt. Wenn das Signifikanz-Signal Ss ein Mehrfach-Pegel-Signal ist, ist es jedoch möglich, die relative Transparenz jedes Pel anzugeben, um dadurch die Transparenz des Vordergrund-Pel zu variieren und zu ermöglichen, dass das Hintergrund-Pel in einem höheren oder geringeren Grad dargestellt wird.
Eine effiziente Kodierung kann ebenfalls verwirklicht werden durch Steuern der Ziel- Bildpunktkodierung basierend auf der Signifikanz-Information des Ziel-Bildpunktes und der umgebenden Bildpunkte während der Bildkodierung.
Der Auflösungs-Umwandlungs-Eigenschafts-Auswähler 103 ist an den zweiten Eingabeanschluss Ti2 angeschlossen, durch welchen er das Signifikanz-Signal Ss empfängt. Durch Bezugnahme auf Werte des eingegebenen Signifikanz-Signals Ss für die Pels neben dem verarbeiteten Pel wählt der Auflösungs-Umwandlungs- Eigenschafts-Auswähler 103 die besten Frequenz-Umwandlungs-Eigenschaften zur Auflösungs-Umwandlung des Bildsignals Si unter Verwendung nur signifikanter Pels aus und erzeugt ein Auflösungs-Umwandlungs-Eigenschaft-Auswahlsignal SL, welches angibt, welche Auflösungs-Umwandlungs-Eigenschaften ausgewählt wurden. Das Verfahren, durch welches der Auflösungs-Umwandlungs-Eigenschafts- Auswähler 103 die Auflösungs-Umwandlungs-Eigenschaften bestimmt, wird unten anhand von Fig. 3 und Fig. 4 weiter beschrieben.
Der Auflösungs-Umwandler 105 ist an den ersten Eingabeanschluss Ti1 und den Auflösungs-Umwandlungs-Eigenschafts-Auswähler 103 angeschlossen und empfängt entsprechend davon das Bildsignal Si und das Auflösungs-Umwandlungs- Eigenschafts-Auswahlsignal SL.
Der Auflösungs-Umwandler 105 speichert intern die Auflösungs-Umwandlungs- Eigenschafts-Daten für jeden durch das Signifikanz-Signal Ss ausdrückbaren Signifikanz-Pegel für jedes signifikante Pel. Unter Verwendung der Auflösungs- Umwandlungs-Eigenschafts-Daten für die durch das Auflösungs-Umwandlungs- Eigenschafts-Auswahlsignal SL spezifizierten Auflösungs-Umwandlungs- Eigenschaften wandelt der Auflösungs-Umwandler 105 dann die Bildauflösung durch Pel-Unterabtastung oder Interpolation des Bildsignals Si um und gibt das Ergebnis als Auflösungs-umgewandeltes Bildsignal Sr vom Ausgabeanschluss To aus.
Die somit ausgeführte Auflösungs-Umwandlungsverarbeitung der vorliegenden Ausführungsform ist daher in der Lage, die Auflösung eines Bildsignals Si umzuwandeln durch Pel-Herab-Abtastung oder Interpolation, ohne dass das Ergebnis durch nicht signifikante Pels in dem Bild-Eingabesignal beeinflusst wird. Als ein Ergebnis kann eine Bildverschlechterung, resultierend aus der Auflösungs-Umwandlungs- Verarbeitung, verhindert werden. Die durch den Auflösungs-Umwandler 105 ausgeführte Auflösungs-Umwandlungs-Verarbeitung wird detailliert unten anhand von Fig. 5, Fig. 6, Fig. 7 und Fig. 8 beschrieben.
Anhand von Fig. 2 wird unten zuerst die primäre Bildsignal-Kodierungsoperation der Bildsignal-Kodierungsvorrichtung EC1 beschrieben.
Wenn die Bildsignal-Kodierungsoperation beginnt, werden das Bildsignal Si und das Signifikanz-Signal Ss entsprechend durch die externe Bildsignalquelle und die externe Signifikanz-Signal-Quelle erzeugt.
Wenn das Bildsignal Si durch den ersten Eingabeanschluss Ti1 in den Auflösungs- Umwandler 105 in Schritt #100 eingegeben wird, wird das Signifikanz-Signal Ss ebenfalls in den Auflösungs-Umwandlungs-Eigenschafts-Auswähler 103 durch den zweiten Eingabeanschluss Ti2 eingegeben.
In dem Schritt #200 bestimmt der Auflösungs-Umwandlüngs-Eigenschafts- Auswähler 103, ob die Signifikanz-Information in dem eingegebenen Signifikanz- Signal Ss anzeigt, dass jedes Pel in dem Bildsignal Si signifikant ist oder nicht.
In der vorliegenden Ausführungsform ist das Signifikanz-Signal Ss ein Zwei-Pegel- Signal. Wenn der Signifikanz-Informationswert in dem Signifikanz-Signal Ss für ein bestimmtes Pel in dem Bildsignal Si ein Nicht-Null-(das heißt, 1)-Wert ist, wird das entsprechende Pel in dem Bildsignal als signifikant bestimmt, aber wenn der Signifikanz-Informationswert Null ist, ist das entsprechende Pel nicht signifikant.
Wenn sämtliche Signifikanz-Informationswerte in dem Signifikanz-Signal Ss Nicht- Null-(1)-Werte in diesem Beispiel sind, das heißt, signifikante Pels anzeigen, gibt der Schritt #200 JA zurück, der Auflösungs-Umwandlungs-Eigenschafts-Auswähler 103 erzeugt ein Auflösungs-Umwandlungs-Eigenschafts-Auswahlsignal SL, welches die normalen Auflösungs-Umwandlungs-Eigenschaften spezifiziert und die Prozedur geht weiter zu Schritte #300.
Ein Beispiel dieser normalen Auflösungs-Umwandlungs-Eigenschaften wird später unten anhand von Fig. 4 beschrieben.
In Schritt #300 holt der Auflösungs-Umwandler 105 die normalen Auflösungs- Umwandlungs-Eigenschaften aus den intern gespeicherten Auflösungs- Umwandlungs-Eigenschafts-Daten basierend, auf dem in Schritt #200 erzeugten Auflösungs-Umwandlungs-Eigenschafts-Auswahlsignal SL und steuert dann die Fortschritte zu Schritt #500.
Wenn jedoch in Schritt #200 ein Nein zurückgegeben wird, welches anzeigt, dass wenigstens ein nicht signifikantes Pel durch das Signifikanz-Signal Ss als in dem Bildsignal Si enthalten angegeben wird, erzeugt der Auflösungs-Umwandlungs- Eigenschafts-Auswähler 103 ein Auflösungs-Umwandlungs-Eigenschafts- Auswahlsignal SL, welches die Auflösungs-Umwandlungs-Eigenschaften entsprechend den Zuständen der signifikanten Pels spezifiziert, welche durch die Signifikanz-Informationswerte in dem Signifikanz-Signal Ss angegeben werden, so dass die Auflösungs-Umwandlung unter Verwendung nur der signifikanten Pels ausgeführt wird. Der Ablauf geht dann weiter zu Schritt #400.
In Schritt #400 holt der Auflösungs-Umwandler 105 die Auflösungs-Umwandlungs- Eigenschaften entsprechend dem gegenwärtigen Signifikanz-Signal-Zustand aus den intern gespeicherten Auflösungs-Umwandlungs-Eigenschafts-Daten basierend auf dem in Schritt #200 erzeugten Auflösungs-Umwandlungs-Eigenschafts- Auswahlsignal SL. Die Steuerung geht dann weiter zu Schritt #500.
In Schritt #500 wird die auf den in Schritt #300 oder #400 ausgewählten Auflösungs- Umwandlungs-Eigenschaften basierende Auflösungs-Umwandlung auf das eingegebene Bildsignal Si angewendet, um das Auflösungs-umgewandelte Bildsignal Sr zu erzeuge. Das durch den Auflösungs-Umwandler 105 erzeugte Auflösungs- umgewandelte Bildsignal Sr wird dann von dem Ausgabeanschluss To in Schritt #600 ausgegeben und die Verarbeitung endet.
Durch ein solches Umwandeln der Auflösung des Bildsignals Si basierend auf einem begleitenden Signifikanz-Signal Ss kann die Auflösung des Bildsignals Si umgewandelt werden, ohne durch nicht signifikante Pels in dem Bildsignal Si beeinflusst zu werden. Als ein Ergebnis kann eine Bild-Verschlechterung verhindert werden und die Bildsignal-Kodierungseffizienz kann verbessert werden. Es ist anzumerken, dass es durch Anwenden der Auflösungs-Umwandlungsverarbeitung auf das Bildsignal Si und das Signifikanzsignal Ss in Schritt #400 oben möglich ist, die Auflösung des Signifikanz-Signals Ss ebenso wie das Bildsignal Si umzuwandeln.
Anhand von Fig. 3 und Fig. 4 wird die Auflösungs-Umwandlungs-Operationen des in Fig. 1 gezeigten Auflösungs-Umwandlers 105 als nächstes beschrieben, obwohl die Mittelwert-Technik, wie unten beschrieben, nicht der beanspruchten Erfindung entspricht, sondern als lediglich zugehörige technische Information enthalten ist.
Wie oben beschrieben, enthält das Bildsignal Si ein zweidimensionales Farbsignal Sc und ein Signifikanz-Signal Ss entsprechend dem gleichen Farbsignal Sc und das Farbsignal Sc und das Signifikanz-Signal Ss sind beide in Fig. 3 gezeigt. Das Pel P0 in dem Farbsignal Sc stellt die Farbsignal-Abtastung (Pel) bei Koordinaten (X, Y) dar und P1 stellt die Farbsignal-Abtastung (Pel) benachbart zu Pel P0 dar. Die Werte α0 und α1 indem zweidimensionalen Signifikanz-Signal Ss sind die Signifikanz- Signal-(Signifikanz-Informations)-Werte für die entsprechenden Pels p0 und p1.
Beispiele möglicher Auflösungs-Umwandlungs-Eigenschafts-Funktionen für die Sig¬ nifikanz-Informationswerte α0 und α1 sind in Fig. 4 gezeigt. Die möglichen Kombinationen von Signifikanz-Informationswerten α0 und α1 sind in Bedingungen C1, C2, C3 und C4 in der ersten Spalte in Fig. 4 aufgeteilt. Die zweiten und dritten Spalten zeigen die möglichen Werte für die Signifikanz-Informationswerte α0 und α1, wobei ein Wert von 1 bedeutet, das entsprechende Pel ist signifikant, und 0 bedeutet nicht signifikant. Die vierte Spalte zeigt die Auflösungs-Umwandlungs- Eigenschaft Fc für die Signifikanz-Informationswerte α0 und α1 in der gleichen Reihe, ausgedrückt als die Funktion Pf = fα0, α1 (P0, P1), wobei P0 und P1 die gleichen Pel-Werte von dem in Fig. 3 gezeigten Farbsignal Sc sind.
Es ist anzumerken, dass beide Signifikanz-Informationswerte α0 und α1 unter der Bedingung C1 1 sind und somit angeben, dass die entsprechenden Farb-Pels P0 und P1 beide signifikant sind. Die Auflösungs-Umwandlungs-Eigenschafts-Funktion ist daher durch Gleichung 1 definiert.
Pf = (P0 + P1)//2 [1]
Als ein Ergebnis wird die Auflösungs-Umwandlung unter Verwendung des Mittelwerts beider Pel-Werte verwirklicht. Es ist anzumerken, dass diese in Gleichung 1 gezeigte Umwandlungs-Funktionen den in Schritt #300 in Fig. 2 ausgewählten normalen Auflösungs-Umwandlungs-Eigenschaften entspricht.
Nur der Signifikanz-Informationswert α0 ist unter der Bedingung C2 1, mit der Bedeutung, dass nur das entsprechende Farb-Pel P0 signifikant ist. Als ein Ergebnis ist die Auflösungs-Umwandlungs-Eigenschafts-Funktion durch Gleichung 2 definiert.
Pf = P0 [2]
Mit anderen Worten, Pel P1 wird von Pel P0 vollständig abgedeckt und verdeckt.
Vergleichbar ist nur der Signifikanz-Informationswerte α1 unter der Bedingung C3 1, mit der Bedeutung, dass nur das entsprechende Farb-Pel P1 signifikant ist. Die Auflösungs-Umwandlungs-Eigenschafts-Funktion ist daher durch Gleichung 3 definiert.
Pf = P1 [3]
Mit anderen Worten, Pel P0 wird von Pel P1 vollständig abgedeckt und verdeckt.
Beide Signifikanz-Informationswerte α0 und α1 sind unter der Bedingung C4 0, mit der Bedeutung, dass weder Pel P0 noch Pel P1 signifikant ist. Als ein Ergebnis wird die Auflösungs-Umwandlungs-Eigenschafts-Funktion Pf nicht erzeugt.
Die Operation des Auflösungs-Umwandlers 105 wird als Nächstes unten anhand der Fig. 5-8 beschrieben.
In Fig. 5 werden 2 · 2 Pel-Blöcke in dem Bildsignal Si umgewandelt oder herunter abgetastet auf ein Pel in dem Auflösungs-umgewandelten Bildsignal Sr. Diese Auflösungs-Umwandlungs-Operationen komprimiert somit die Anzahl von Pels auf 1/4 der Pel-Zählung in dem eingegebenen Bildsignal. Mit anderen Worten wird das eingegebene Bildsignal mit 4 · 4 Pel-Blöcken umgewandelt in ein Auflösungs- umgewandeltes Bildsignal Sr mit 2 · 2 Pel-Blöcke. Insbesondere der Vier-Pel- Bildsignal-Block Sib mit einer 2 · 2-Pel-Matrix in dem unteren linken Teil des Bildsignals Si wird umgewandelt in das eine Pel K in dem gleichen, zugehörigen unteren linken Teil des Auflösungs-umgewandelten Bildsignals Sr durch die unten beschriebene und in Fig. 5 gezeigte Verarbeitung.
Wie in Fig. 5 gezeigt, ist das Bildsignal Si in 4 · 4 Pel-Blöcke segmentiert und das Signifikanz-Signal Ss umfasst ebenso entsprechend 4 · 4 Blöcke aus Signifikanz- Elementen. Jedes Signifikanz-Element enthält den Signifikanz-Informationswert für das entsprechende Pel in dem Bildsignal Si. Als ein Ergebnis umfasst das Signifikanz-Signal Ss einen Signifikanz-Element-Block Ssb mit 2 · 2 Signifikanz- Elementen in dem unteren linken Teil des Signifikanz-Signals Ss entsprechend dem ebenfalls in Fig. 5 gezeigten Bildsignalblock Sib. Es ist anzumerken, dass die signifikanten Pels und Elemente in dem Bildsignal Si, dem Bildsignalblock Sib, dem Signifikanz-Signal Ss und dem Signifikanz-Element-Block Ssb in Fig. 5 durch Schraffieren angegeben sind.
Insbesondere die Pels W, X, Y und Z in dem Bildsignalblock Sib entsprechen den Signifikanz-Elementen A, B, C und D in dem Signifikanz-Elemente-Block Ssb und die signifikanten Pels in dem Bildsignalblock Sib werden bestimmt als die drei Pels W, X und Z durch Bezug auf den Signifikanz-Elemente-Block Ssb. Es ist weiterhin anzumerken, dass der Wert des nicht signifikanten Pels Y in dem Bildsignalblock Sib ohne Bezug auf die signifikanten Pels W, X und Z sein kann. Das bedeutet, dass, wenn eine Auflösungs-Umwandlung unter Verwendung der Pel-Werte sämtlicher Pels in dem Bildsignalblock Sib verwirklicht wird, das Auflösungs- umgewandelte Bildsignal Sr durch dieses nicht signifikante Pel Y nachteilig beeinflusst sein kann.
Wenn jedoch der Mittelwert I der signifikanten Pels W, X und Z in dem Bildsignalblock Sib als der Pel-Block-Wert nach der Auflösungs-Umwandlung verwendet wird, kann die Auflösung umgewandelt werden, ohne durch nicht signifikante Pels beeinflusst zu werden. Wenn die Werte der signifikanten Pels W, X und Z Pw, Px und Pz sind, kann der mittlere Pel-Wert I des Auflösungs-umgewandelten Pels durch Gleichung 4 ausgedrückt werden.
I = (Pw + Px + Pz)//3 [4]
Es ist somit möglich, Pel K in dem Auflösungs-umgewandelten Bildsignal Sr zu erhalten durch Umwandeln der Auflösung der vier Pel-Bildsignalblöcke Sib in dem Bildsignal Si unter Verwendung der durch Gleichung 4 definierten Auflösungs- Umwandlungs-Eigenschaft.
Es ist anzumerken, dass, während eine 2 · 2 Pel-Matrix in ein Pel durch das oben beschriebene Verfahren umgewandelt wird, die Erfindung nicht derart beschränkt sein soll und das gleiche Prinzip kann angewendet werden, um Pel-Blöcke jeder N · M Größe (wobei N und M natürliche Zahlen sind) mit jedem gewünschten Kompressionsverhältnis umzuwandeln.
Es ist weiterhin anzumerken, dass, während das obige Verfahren nur die Umwandlung der Auflösung des Bildsignals beschreibt, das gleiche Verfahren angewendet werden kann, um die Auflösung des Signifikanz-Signals umzuwandeln. Ein besonderes Beispiel der Signifikanz-Signal-Auflösungs-Umwandlung wird als Nächstes unten anhand von Fig. 6 beschrieben.
Wie in Fig. 6 gezeigt, ist das Signifikanz-Signal Ss ebenfalls in 4 · 4 Signifikanz- Elemente-Blöcke segmentiert. Das unten beschriebene Auflösungs- Umwandlungsverfahren wandelt ebenfalls den 2 · 2 Signifikanz-Elemente-Block Ssb in dem unteren linken Teil des Signifikanz-Signals Ss in ein Signifikanz-Element in dem Auflösungs-umgewandelten Signifikanz-Signal Ssr um, um somit die gesamte Anzahl von Signifikanz-Elementen auf 1/4 zu komprimieren.
Der Mittelwert J der Signifikanz-Elemente A, B und D entsprechend den signifikanten Pels W, X und Z wird als der Signifikanz-Element-Wert nach der Auflösungs- Umwandlung durch Anwenden von Gleichung 5 berechnet,
J = (Va + Vb + Vd)//3 [5],
wobei Va, Vb und Vd die Signifikanz-Werte der Signifikanz-Elemente A, B und D sind.
Es ist weiterhin anzumerken, dass, während das Auflösungs- Umwandlungsverfahren der Erfindung unter Verwendung der Gleichungen 4 und 5 oben beschrieben wurde zum Umwandeln der Auflösung eines 2 · 2 Pel-Blocks, wie in Fig. 5 und Fig. 6 gezeigt, die Erfindung nicht auf 2 · 2 Matrizen beschränkt ist und durch Gleichung 6 unten verallgemeinert werden kann, wobei die Anzahl von Pels vor der Umwandlung die ganze Zahl n ist und ein Zwei-Pegel-Signifikanz- Signalwert verwendet wird.
wobei p0 bis pn auf der rechten Seite der Gleichung die Pel-Werte in dem konvertierten Bildsignal Si sind, α der entsprechende Signifikanz-Element-Wert in dem bezogenen Signifikanz-Signal Ss ist und der Wert p auf der linken Seite der Gleichung der Pel-Wert in dem durch Gleichung 6 erhaltenen, Auflösungs- umgewandelten Bildsignal Sir ist.
Wenn Mehrfach-Pegel-Signifikanz-Element-Werte verwendet werden, kann die Erfindung durch Gleichung 7 unten verallgemeinert werden.
wobei p0 bis pn auf der rechten Seite der Gleichung die Pel-Werte in dem umgewandelten Bildsignal Si sind, w ein Zeiger ist, welcher anzeigt, ob der entsprechende Signifikanz-Element-Wert in dem bezogenen Signifikanz-Signal Ss0 ist oder nicht, und der Wert p auf der linken Seite der Gleichung der Pel-Wert in dem durch Gleichung 7 erhaltenen, Auflösungs-umgewandelten Bildsignal Sir ist. Hinsichtlich des Zeigers w ist der Zeiger w 0, wenn der Signifikanz-Element-Wert 0 ist und der Zeiger w ist 1, wenn der Signifikanz-Element-Wert nicht 0 ist.
Während jedes der obigen Beispiele unter Annahme eines Mittelwertes beschrieben wurde, kann eine Auflösungs-Umwandlung ebenfalls verwirklicht werden durch Erhalten des logischen OR des Signifikanz-Element-Wertes in dem Signifikanz-Signal Ss, wie in Gleichung 8 gezeigt, wenn das eingegebene Signal ein Zwei-Pegel-Signal ist.
α = α0 [+] α1 [+] ... [+] αn-1 [8]
wobei [+] auf der rechten Seite der Gleichung eine logische OR-Verknüpfung anzeigt. Somit ist auch, wenn eines der Signifikanz-Elemente α0 bis αn signifikant ist, das Ergebnis im Wesentlichen signifikant.
Andererseits ist es möglich, zu erreichen, dass auch wenn eines der signifikanten Elemente α0 bis αn nicht signifikant ist, das Ergebnis nicht signifikant ist, wie durch die folgende Gleichung definiert.
α = α0 [x] α1 [x] ... [x] αn-1 [9]
wobei [x] auf der rechten Seite der Gleichung eine logische AND-Operation angibt. Die logische AND-Beziehung entspricht nicht dem logischen OR der beanspruchten Erfindung, sondern ist lediglich als zugehörige technische Information enthalten.
Die Bildsignal-Kodierungsoperation der kurz oben anhand von Fig. 2 beschriebenen Bildsignal-Kodierungsvorrichtung EC1 wird detaillierter unten anhand des Flussdiagramms in Fig. 7 beschrieben. Die in Fig. 7 gezeigte Operation entspricht nicht direkt der beanspruchten Erfindung, sondern ist lediglich als zugehörige technische Information enthalten.
Noch genauer wird die Auflösungs-Umwandlungs-Operation eines Signifikanz- Signals Ss mit N Signifikanz-Elementen beschrieben. Es ist anzumerken, dass, während das folgende Beispiel das Verfahren zum Umwandeln der Auflösung des Signifikanz-Signals Ss selbst beschreibt, es offensichtlich ist, dass die Auflösungs- Umwandlung des Bildsignals Si unter Verwendung des gleichen Verfahrens verwirklicht werden kann, wie bereits oben erläutert.
Die Operation beginnt mit einer System-Initialisierung in Schritt S2. Der Schritt setzt insbesondere den Signifikanz-Zähler CS, den Nicht-Signifikanz-Zähler CNS, den Signifikanz-Element-Zähler n, den Signifikanz-Element-Positionszeiger PS und den Nicht-Signifikanz-Element-Positionszeiger PNS zurück. In der vorliegenden Ausführungsform setzt dieser Schritt insbesondere den Signifikanz-Zähler CS, den Nicht- Signifikanz-Zähler CNS und den Signifikanz-Element-Zähler n auf 1 zurück und löscht den Signifikanz-Element-Positionszeiger PS und den Nicht-Signifikanz- Element-Positionszeiger PNS. Wenn die Initialisierung beendet ist, geht der Prozess weiter zu Schritt S4.
Mit jedem Durchlauf durch den als die Schleife von Schritt S4 bis Schritt S16 in Fig. 7 gezeigten Signifikanz-Status-Erfassungszyklus liest der Auflösungs- Umwandlungs-Eigenschafts-Auswähler 103 das n-te Signifikanz-Element Ssn in dem umgewandelten Signifikanz-Signal Ss (Schritt S4) und geht dann weiter zu Schritt S6. Es ist erneut anzumerken, dass n der Signifikanz-Element-Zähler n ist und das erste als "signifikant" erfasste Signifikanz-Element wird als Signifikanz- Element Ss1 ausgedrückt. Der Signifikanz-Zähler CS ist ebenfalls 1.
In Schritt S6 wird bestimmt, ob der Wert des gelesenen Signifikanz-Elements Ssn 0 ist, d. h., ob das entsprechende Signifikanz-Element signifikant ist. Wenn der Signifikanz-Element-Wert nicht 0 ist, d. h. das Signifikanz-Element signifikant ist, wird JA zurückgegeben und die Prozedur geht weiter zu Schritt S8.
Basierend auf den gegenwärtigen Werten des Signifikanz-Element-Zählers n und des Signifikanz-Zählers CS wird die Position des Signifikanz-Elements Ssn in dem Signifikanz-Signal Ss in einem Signifikanz-Element-Positionszeiger PS aufgezeichnet. Die Prozedur geht dann weiter zu Schritt S10. Es ist anzumerken, das beim ersten Mal, wenn ein signifikantes Element erfasst wird, nach dem die Auflösungs- Umwandlungs-Verarbeitung beginnt, der Wert des Signifikanz-Element-Zählers n und des Signifikanz-Zählers CS 1 ist.
In Schritt S10 werden der Signifikanz-Zähler CS und der Signifikanz-Element-Zähler n beide um 1 erhöht. Die Prozedur geht dann weiter zu Schritt S16.
Zurückbezogen auf Schritt S6 gibt der Schritt S6 jedoch NEIN zurück, wenn das erfasste Signifikanz-Element nicht signifikant ist. Die Prozedur geht dann weiter zu Schritt S12.
In diesem Fall wird die Position des Signifikanz-Elements Ssn in dem Signifikanz- Signal Ss in einem Nicht-Signifikanz-Element-Positionszeiger PNS basierend, auf den gegenwärtigen Werten des Signifikanz-Element-Zählers n und des Nicht- Signifikanz-Zählers CNS aufgezeichnet (Schritt S12). Die Prozedur geht dann weiter zu Schritt S14.
In Schritt S14 werden der Nicht-Signifikanz-Zähler CNS und der Signifikanz- Element-Zähler n beide um 1 erhöht. Die Prozedur geht dann weiter zu Schritt S16.
In Schritt S16 wird bestimmt, ob Signifikanz-Elemente vorhanden sind, für welche der Signifikanz-Zustand bisher erfasst wurde. Insbesondere wird bestimmt, ob der Signifikanz-Element-Zähler n < Nmax ist, wobei Nmax die gesamte Anzahl von Signifikanz-Elementen in dem verarbeiteten Signifikanz-Signal Ss ist. Wenn JA, das heißt, n < Nmax ist, sind noch Signifikanz-Elemente vorhanden, für welche der Signifikanz-Zustand nicht erfasst wurde und die Prozedur geht daher zurück zu dem Anfang des Signifikanz-Zustands-Erfassungszyklus (Schritt S4). Wenn NEIN, das heißt, n = Nmax, wurde der Signifikanz-Zustand sämtlicher Signifikanz-Elemente erfasst. In diesem Fall geht die Prozedur weiter zu Schritt S18.
Die oben beschriebene Verarbeitung bewirkt somit, dass der Signifikanz-Zustands- Erfassungszyklus von Schritt S4 bis Schritt S16 wiederholt wird, bis Schritt S16 NEIN zurückgibt, um dadurch sicherzustellen, dass der Signifikanz-Zustand jedes Signifikanz-Elements in dem Signifikanz-Signal Ss erfasst wird.
In Schritt S18 wählt der Auflösungs-Umwandlungs-Eigenschafts-Auswähler 103 die am besten für das verarbeitete Signifikanz-Signal Ss passenden Auflösungs- Umwandlungs-Eigenschaften aus, basierend auf der durch Schritt S8 oder Schritt S12 erhaltenen Signifikanz-Element-Information. Das somit erzeugte, resultierende Auflösungs-Umwandlungs-Eigenschafts-Auswahlsignal SL wird dann zu Schritt S20 übergeben.
Basierend auf dem in Schritt S18 erzeugten Auflösungs-Umwandlungs- Eigenschafts-Auswahlsignal SL wird die spezifizierte Auflösungs-Umwandlungs- Eigenschaft in Schritt S20 aus dem internen Speicher gelesen. Die Prozedur geht dann weiter zu Schritt S22.
Basierend auf der in Schritt S20 gelesenen Auflösungs-Umwandlungs-Eigenschaft wird dann die Auflösung des Signifikanz-Signals Ss in Schritt S22 umgewandelt, um das Auflösungs-umgewandelte Bildsignal Sr, das Auflösungs-umgewandelte Signifikanz-Signal Ssr zu erzeugen. Die Prozedur endet dann.
Es ist anzumerken, dass bei der in dem Flussdiagramm in Fig. 7 gezeigten Verarbeitung der Signifikanz-Zustand der signifikanten Elemente in den Schritten S8 und S10 erfasst wird und der Signifikanz-Zustand der nicht signifikanten Elemente in den Schritten S12 und S14 erfasst wird, basierend auf der Bestimmung in Schritt S6, ob das Signifikanz-Element signifikant ist oder nicht. Es ist jedoch ebenfalls möglich, die Position und den Wert eines Signifikanz-Elements unter Verwendung des Wertes des Signifikanz-Element-Zählers n zu spezifizieren, ob das Signifikanz-Element signifikant ist oder nicht. Insbesondere ist es ebenfalls möglich, die Information für die nicht signifikanten Elemente nur durch Erhalten der Signifikanz-Information für die signifikanten Elemente in den dem Schritt S6 folgenden Schritten S8 und 10 zu erhalten. In diesem Fall können die Schritte S12 und, S14 beseitigt werden, wobei die Steuerung von Schritt S6 direkt zu Schritt S16 springt, wenn der Schritt S6 NEIN zurückgibt. Es ist ebenfalls offensichtlich, dass das Gegenteil ebenfalls wahr ist, das heißt, die Schritte S8 und S10 können beseitigt werden und die Signifikanz- Information wird basierend auf der in den Schritten S12 und S14 erhaltenen Nicht- Signifikanz-Element-Information erhalten.
Eine alternative Ausführungsform des Auflösungs-Umwandlungs-Verfahrens der Erfindung wird unten anhand von Fig. 8 beschrieben. Das Flussdiagramm in Fig. 8 unterscheidet sich von dem in Fig. 7 darin, dass die Schritte S12 und S14 durch Schritt S16 ersetzt sind, Schritt S16 geht zurück zu Schritt S4 und Schritt S10 geht direkt weiter zu S18. Diese Konfiguration bewirkt, dass die Auflösungs- Umwandlungs-Verarbeitung auch dann verwirklicht wird, wenn nur ein Signifikanz- Element in dem Signifikanz-Element-Block "signifikant" ist, und es ist nicht erforderlich, die Auflösungs-Umwandlungs-Verarbeitung zu verzögern, bis der Signifikanz- Informationswert jedes Signifikanz-Elements erfasst wurde, wie es bei der in Fig. 7 gezeigten Steuerungsverarbeitung erforderlich ist.
Es ist ebenfalls offensichtlich, dass durch Ersetzen der Schritte S12 und S14 mit den Schritten S8 und S10 in Fig. 8, das heißt, Beseitigen der Schritte S8 und S10 und Übergehen von Schritt S14 zu Schritt S18 die Auflösungs-Umwandlungs- Verarbeitung auch dann verwirklicht wird, wenn nur ein Signifikanz-Element in dem Signifikanz-Elemente-Block nicht signifikant ist.
Wie oben beschrieben, kann die Genauigkeit der Bild-Umwandlungsverarbeitung verbessert werden durch die erfindungsgemäße Bild-Umwandlungsvorrichtung, da es möglich ist, signifikante Pels von nicht signifikanten Pels ohne Pel-Wert zu trennen.
Zusätzlich kann durch Verwenden der Bildkodierungsvorrichtung und der Bild- Dekodierungsvorrichtung der Erfindung der Wert von Pels mit keiner signifikanten Wirkung auf die Bildqualität des wiedergegebenen Bildes in einen Wert umgewandelt werden, durch welchen die Kodierungs-Effizienz verbessert wird und das Bild kann effizienter kodiert werden. Durch dieses Verbessern der Kodierungs-Effizienz ist die praktische Anwendbarkeit der Erfindung groß.
Obwohl die vorliegende Erfindung in Verbindung mit ihren bevorzugten Ausführungsformen anhand der beigefügten Zeichnungen vollständig beschrieben wurde, ist anzumerken, dass vielfältige Änderungen und Modifikationen für den Durchschnittsfachmann erkennbar sind. Solche Änderungen und Modifikationen werden als innerhalb des Umfangs der vorliegenden Erfindung aufgefasst, wie sie durch die beigefügten Ansprüche definiert ist, sofern sie nicht davon abweichen.

Claims

1. Bildsignal-Umwandlungsverfahren zum Umwandeln eines Signifikanz-Signals in ein Bildsignal, welches ein Luminanzsignal, ein Farbdifferenzsignal mit einer von einer Auflösung des Luminanzsignals abweichenden Auflösung und ein erstes Signifikanz-Signal beinhaltet, welches anzeigt, ob jedes Pel des Luminanzsignals innerhalb oder außerhalb einer willkürlichen Form positioniert ist, wobei das Verfahren umfasst:

Erzeugen eines zweiten Signifikanz-Signals, das anzeigt, ob jedes Pel des Farbdifferenzsignals innerhalb oder außerhalb der beliebigen Form positioniert ist, durch Umwandeln des ersten Signifikanz-Signals,

wobei die Umwandlung von dem ersten Signifikanz-Signal in das zweite Signifikanz- Signal basierend auf dem logischen OR für das erste Signifikanz-Signal eines verarbeiteten Ziel-Pel und dem verarbeiteten Ziel-Pel benachbarten Pels ausgeführt wird.

2. Bildsignal-Kodierungsverfahren zum Kodieren des Farbdifferenzsignals durch Verwenden des Bildsignal-Umwandlungsverfahrens nach Anspruch 1, wobei das Verfahren umfasst:

Erzeugen des zweiten Signifikanz-Signals durch Umwandeln des ersten Signifikanz- Signals; und

Kodieren des Farbdifferenzsignals basierend auf dem zweiten Signifikanz-Signal.

3. Bildsignal-Umwandlungsverfahren nach Anspruch 1, gekennzeichnet durch Erzeugen des zweiten Signifikanz-Signals, welches anzeigt, dass jedes Pel des Farbdifferenzsignals innerhalb der beliebigen Form positioniert ist, wenn wenigstens ei¬ nes von dem Ziel-Pel und jedem zu dem Luminanzsignal gehörenden Ziel-Pel benachbarten Pel innerhalb der beliebigen Form ist.