DE4138517A1 - Einrichtung zur objekt-orientierten codierung von bildsignalen - Google Patents

Description

Die Erfindung geht aus von einer Einrichtung nach der Gattung des Hauptanspruchs.

Zur datenreduzierten Übertragung von bewegten Bildern sind verschiedene Verfahren und Einrichtungen bekanntgeworden. Eine besonders hohe Datenreduzierung versprechen objekt-orientierte Verfahren, wenn sich der gesamte Inhalt eines Bildes in relativ wenige Objekte einteilen läßt, die sich moderat bewegen. Zur Detektion und Beschreibung der einzelnen Objekte sind Modelle erforderlich, die das Objekt unter Verwendung ihrer Form und Bewegung definieren - beispielsweise flexible 2D-Objekte zweidimensionaler Bewegung oder starre 3D-Objekte dreidimensionaler Bewegung. Diese Objekte sind dann durch die Angabe ihrer Bewegung, Form und Farbe vollständig festgelegt. Dabei werden im vorliegenden Zusammenhang unter Farbe sowohl die Luminanz­ als auch die Chrominanzwerte der Objektoberfläche verstanden. Die Form wird durch eine angenäherte Umrißlinie des Objekts im Kamerabild und die Bewegung durch ein Verschiebungsfeld (sogenanntes Displacementvektorfeld) dargestellt. Die drei genannten Parametersätze, nämlich Form, Farbe und Bewegung werden für jedes erkannte Objekt übertragen und dienen dem Decoder zur Synthese des zu übertragenden Bildes.

Eine vorteilhafte Form der objekt-orientierten Codierung besteht in der objekt-orientierten Analyse-Synthese-Codierung, beschrieben von Michael Hötter: "Object-orientated Analysis-Synthesis-Coding based on moving two-dimension Objects", Signal Processing: Image Communication, Vol. 2, No. 4, December 1990, pp. 409-428. Bei diesem Verfahren erfolgt zunächst eine Analyse des zu übertragenden Bildes, wobei die Parametersätze Farbe, Form und Bewegung für jedes Objekt unter Verwendung eines synthetisierten Bildes geschätzt werden. Dabei beginnt dieses hierarchisch strukturierte Verfahren damit, daß nicht bewegte Bildbereiche, beispielsweise die Bildbereiche eines statischen Hintergrundes, detektiert werden.

In den weiteren Hierarchiestufen werden die geänderten Bildbereiche analysiert und die zeitlichen Änderungen durch die Parametersätze der Objekte beschrieben. Zeitliche Bildsignaländerungen werden dabei durch die Bewegung von Objekten in der Kameraebene dargestellt. Diese Form der Beschreibung von Bildsignaländerungen versagt in Bildbereichen, in denen das verwendete Quellenmodell nicht mit ausreichender Genauigkeit erfüllt ist, das heißt in Bildbereichen, deren zeitliche Bildsignaländerungen durch die Bewegung von Objekten der Kameraebene gemäß des Quellenmodells nicht mit ausreichender Genauigkeit beschrieben werden können. Um diese Bildbereiche detektieren zu können, wird bei dem bekannten Verfahren eine Überprüfung der Bewegungsbeschreibung vorgenommen. Die durch Bewegung nicht mit ausreichender Genauigkeit beschreibbaren Objekte werden als nicht modellierbare Objekte oder als MF-Objekte (MF = model failure) bezeichnet. Diese Objekte werden bei dem bekannten Verfahren nicht durch die Codierung der Form- und Bewegungsparameter, sondern in anderer Form übertragen.

Eine ausreichende Datenreduktion ergibt sich jedoch nur, wenn das zu übertragende Bild nicht in zu viele Objekte zerlegt wird, deren Parameter dann übertragen werden.

Aufgabe der vorliegenden Erfindung ist es, bei einer Einrichtung zur objekt-orientierten Codierung sicherzustellen, daß lediglich diejenigen Objekte mittels Bewegungsparametern codiert und übertragen werden, für welche eine objekt-orientierte Codierung eine im Verhältnis zu nicht objekt-orientierten Codierverfahren höhere Codiereffizienz ermöglicht.

Diese Aufgabe wird erfindungsgemäß dadurch gelöst, daß die Überprüfung der Bewegungsbeschreibung sowohl objektweise als auch für einzelne Bereiche jeweils innerhalb eines Objekts erfolgt.

Eine Weiterbildung der Erfindung besteht darin, daß bei der objektweisen Überprüfung lokale Abweichungen von der Bewegungsbeschreibung des Objekts statistisch erfaßt werden und daß danach zwischen durch eine weitere Bewegungsbeschreibung codierbaren und nicht codierbaren Objekten unterschieden wird. Dabei ist vorzugsweise vorgesehen, daß bei nicht codierbaren Objekten keine weitere Überprüfung einzelner lokaler Bereiche innerhalb der nicht codierbaren Objekte durchgeführt wird und daß der Bildbereich des nicht codierbaren Objekts nicht unter Verwendung der Bewegungsparameter codiert wird.

Codierbare Objekte sind damit Objekte, deren zugehörende Bildbereiche sich in ihren zeitlichen Änderungen mit ausreichender Genauigkeit durch die Angabe der Bewegungs- und Formparameter beschreiben und damit codieren lassen.

Nicht codierbare Objekte sind dagegen Objekte, in denen eine solche Codierung nicht möglich ist und deshalb in anderer Form vorgenommen werden muß.

Bei einer bevorzugten Anwendung der erfindungsgemäßen Einrichtung, nämlich beim Bildtelefon, kann damit bereits nach der Überprüfung von bewegten Objekten innerhalb einer ersten Hierarchiestufe die objekt-orientierte Codierung für weitere bewegte Objekte unterbleiben. Das heißt, daß bei Vorhandensein von nicht der Bewegungsbeschreibung für das bewegte Objekt folgenden Teilbereichen innerhalb des Objekts, diese Teilbereiche bereits mit einem Verfahren codiert werden, das nicht auf einer Bewegungsbeschreibung beruht.

Eine genauere Aussage über die Codierbarkeit des jeweils überprüften Objekts ergibt sich dadurch, daß Abweichungen, die oberhalb eines Schwellwertes liegen, bei der statistischen Erfassung nicht berücksichtigt werden und daß die verbleibenden Abweichungen über die Anzahl der zugehörigen Bildelemente ermittelt werden. Vorzugsweise ist dabei vorgesehen, daß der Schwellwert von der statistischen Streuung der Abweichungen jeweils eines Objekts abhängt.

Eine vorteilhafte Ausbildung der Erfindung besteht darin, daß zur objektweisen Überprüfung Differenzwerte zwischen den Bildsignalen von Bildelementen aufeinanderfolgender Bilder jeweils mit und ohne Berücksichtigung der zuvor für das jeweilige Objekt geschätzten Bewegung gebildet werden, daß die mit Berücksichtigung der Bewegung gebildeten Differenzwerte für das jeweilige Objekt aufsummiert und durch die Summe der ohne Berücksichtigung der Bewegung gebildeten Differenzwerte dividiert werden und daß das Ergebnis der Division mit einem Vergleichswert verglichen wird.

Bei dieser Ausbildung werden die Absolutbeträge der Differenzwerte brücksichtigt, was vorteilhafter Weise dadurch möglich ist, daß die Differenzwerte vor der Summierung quadriert werden.

Auch bei dieser Ausbildung der Erfindung ist es vorteilhaft, daß Differenzwerte, die oberhalb eines vorgegebenen Schwellwertes liegen, nicht aufsummiert werden.

Eine Berücksichtigung des Rauschens in den Bildsignalen ist bei der erfindungsgemäßen Einrichtung dadurch möglich, daß das Ergebnis der Division auch für nicht bewegte Objekte gebildet wird und daß dieses Ergebnis bei weiteren Bewegungsschätzungen als Schwellwert benutzt wird, unter welchem eine Bewegung als Rauschen angesehen und nicht codiert wird.

Eine andere Weiterbildung der Erfindung besteht darin, daß zur Überprüfung der Bewegungsbeschreibung für einzelne Bereiche Differenzwerte aus dem Bildsignal und dem jeweils synthetisierten Bildsignal gebildet werden und daß diejenigen Differenzwerte, welche einen vorgegebenen Schwellwert überschreiten, eine Maske zur Kennzeichnung derjenigen Objekte bilden, welche mit der zuvor erfolgten Bewegungsbeschreibung nicht codierbar sind.

Um zu vermeiden, daß Bereiche innerhalb des geprüften Objekts als weitere Objekte behandelt werden, obwohl eine solche Behandlung wegen der Größe oder anderer Eigenschaften dieser Bereiche nicht sinnvoll ist, ist bei einer vorteilhaften Ausgestaltung dieser Weiterbildung vorgesehen, daß aus der durch die Differenzwerte gebildeten Maske nicht codierwürdige Bereiche durch eine geeignete Filterung entfernt werden.

Dabei kann die Filterung ein Tiefpaßfilter und/oder ein Medianfilter umfassen. Durch die Filterung können auch zur Maske gehörende Bildbereiche, welche weniger als eine vorgegebene Anzahl von Bildelementen umfassen, eliminiert werden.

Eine andere vorteilhafte Weiterbildung der Erfindung besteht in der Verwendung in einem Funktelefonnetz mit einer Bandbreite von weniger als 20 kHz.

Ausführungsbeispiele der Erfindung sind in der Zeichnung anhand mehrerer Figuren dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

Fig. 1 ein Blockdiagramm einer erfindungsgemäßen Einrichtung,

Fig. 2 Bildbeispiele für eine an sich bekannte objekt-orientierte Codierung,

Fig. 3 ein Blockdiagramm einer an sich bekannten Einrichtung zur objekt-orientierten Codierung,

Fig. 4 ein Teil der Einrichtung nach Fig. 3 in detaillierterer Darstellung,

Fig. 5 ein Teil der Einrichtung nach Fig. 1 in detaillierterer Darstellung,

Fig. 6 eine Verteilungskurve zur Erläuterung der Einrichtung nach Fig. 5,

Fig. 7 ein weiteres Teil der Einrichtung nach Fig. 1 und

Fig. 8 ein Bildbeispiel zur Erläuterung der Einrichtung nach Fig. 7.

Gleiche Teile sind in den Figuren mit gleichen Bezugszeichen versehen. Aus drucktechnischen Gründen wurden die in den Zeichnungen im Zusammenhang mit den Parametern L, G, F und B dargestellten Vektorpfeile in der Beschreibung fortgelassen.

Die erfindungsgemäße Einrichtung kann in Anlehnung an die dargestellten Blockdiagramme mit Hilfe einzelner Funktionseinheiten realisiert werden, welche im wesentlichen aus Rechnern bestehen. Je nach Leistungsfähigkeit der zur Verfügung stehenden Rechner, Signalprozessoren und ähnlichem kann auch eine Vielzahl der dargestellten Funktionen in einer Einheit ausgeführt werden. Für einen solchen Fall stellen die Blockdiagramme die Strukturen der Programme für eine solche Einheit dar.

Vor der weiteren Erläuterung des Ausführungsbeispiels wird im folgenden anhand der Fig. 2 bis 5 die objekt-orientierte Analyse-Synthese-Codierung erläutert, soweit es zum Verständnis der vorliegenden Erfindung erforderlich ist. Die objekt-orientierte Analyse-Synthese-Codierung unterteilt jedes reale, beispielsweise von einer Kamera aufgenommene Bild in bewegte Objekte der Kameraebene und beschreibt jedes Objekt i der Kameraebene durch drei Parametersätze, welche die Farbe, Form und Bewegung des Objekts definieren. Dabei beinhalten die Farbparameter C_i die Luminanz- und Chrominanzwerte des durch das Objekt i festgelegten Bildbereichs im realen Kamerabild k+1, die Formparameter F_i eine Beschreibung der Lage des Objekts i in der Kameraebene und seine Berandung und die Bewegungsparameter B_i die Verschiebung und Drehung des Objekts in der Kameraebene. Die Parameter C_i F_i und B_i hängen davon ab, welches Quellenmodell für die Codierung angewendet wird. Dabei sind verschiedene Modelle möglich.

Bei dem Ausführungsbeispiel wird zur Vereinfachung der Darstellung das einfache Modell starrer, rein translatorisch bewegter Objekte der Kameraebene angenommen. Für diesen Fall sind die Bewegungsparameter B_i für alle Bildelemente eines Objekts gleich.

Bei den folgenden Erläuterungen des Standes der Technik und des Ausführungsbeispiels wird ferner davon ausgegangen, daß die Analyse der einzelnen Objekte anhand des Luminanzsignals erfolgt und daß im Falle einer Übertragung eines farbigen Bildes die bei der Analyse und Synthese gewonnenen Bewegungs- und Formparameter bei der Codierung der Chrominanzinformation genutzt werden.

In Fig. 2a beinhaltet das zu übertragende Bild l_k+1 drei Objekte O1, O2 und O3. Dabei steht l für Luminanz, während k eine Zählvariable der einzelnen Bilder ist. Durch eine Synthese der zuvor erzeugten Parameter ist das synthetisierte Bild _k entstanden. Ein Vergleich der beiden Bilder ergibt Bewegungsparameter B1, B2, B3 für das Bild l_k+1. Bei verschiedenen Anwendungen - wie beispielsweise beim Bildtelefon - stellt das Objekt O1 meist einen nicht bewegten Hintergrund dar, so daß in diesem Fall B1 = 0 ist.

Fig. 2b zeigt schematisch die Farb-, Form- und Bewegungsparameter der Objekte O1, O2, O3 für das Bild l_k+1 aus Fig. 2a. Die Farbparameter C_i eines Objekts können durchaus eine große Anzahl von Werten, nämlich die Luminanz- und Chrominanzwerte aller zum Objekt gehörenden Bildelemente umfassen. Auch die Formparameter F_i können in Abhängigkeit von der jeweiligen Form des Objekts aus vielen einzelnen Werten bestehen. Der Vorteil der objekt-orientierten Codierung besteht jedoch darin, daß nach einer anfänglichen Übertragung der Farb- und Formparameter jedes Objekts nur die Bewegungsparameter B_i übertragen zu werden brauchen, solange die Farbe und die Form der Objekte gleich bleiben.

Dieses ist jedoch nur ein idealisierter Fall, denn eine Bewegung ohne Formänderung ist bereits dadurch nicht möglich, daß ein vor einem Hintergrund bewegtes Objekt während der Bewegung jeweils zuvor verdeckte Teile des Hintergrundes freigibt und neue verdeckt. Außerdem entsprechen bei natürlichen bewegten Bildern längst nicht alle Bildbereiche den angenommenen Modellen - es sei denn, man würde beliebig kleine Bildbereiche als Objekte zulassen. Dieses würde jedoch dann den durch die objekt-orientierte Codierung erzielten Vorteil einer Datenreduzierung wieder zunichte machen. Deshalb wird bei der Analyse des Bildes durch eine Bildsynthese und anschließende Überprüfung der Bewegungsbeschreibung festgestellt, ob die Objekte den Annahmen der Quellenmodelle entsprechen, das heißt, ob sich zeitliche Bildsignaländerungen durch die Bewegung der Objekte der Kameraebene mit ausreichender Genauigkeit beschreiben lassen.

Fig. 3 zeigt ein Blockdiagramm eines objekt-orientierten Analyse-Synthese-Coders. Das jeweils zu codierende Bild l_k+1 wird einem Eingang 11 zugeführt und gelangt in eine Bildanalyse 12, der ferner von einer Bildsynthese 13 das synthetisierte vorangegangene Bild l_k zugeleitet wird. Außerdem wird der Bildanalyse 12 das Quellenmodell zur Verfügung gestellt, das im dargestellten Ausführungsbeispiel starre, rein translatorisch bewegte Objekte der Kameraebene verkörpert.

Durch die Bildanalyse 12 werden die aktuellen Objektparameter C, F, B gewonnen, die bei 14 codiert werden. Die codierten Parameter werden zum Übertragungskanal und zu einer Parameterdecodierung 15 geleitet. Die wieder decodierten Parameter werden in einem Speicher 16 abgelegt, aus dem die abgelegten Parameter C′, F′ und B′ des vorangegangenen Bildes ausgelesen und zur Bildsynthese 13, zur Parametercodierung 14 und zur Parameterdecodierung 15 verwendet werden.

Die Speicher des Coders und eines nicht dargestellten Decoders im Empfänger enthalten gleiche Inhalte und ermöglichen damit sowohl dem Coder als auch dem Decoder unter Verwendung der Bildsynthese ein identisches Bild k zu erzeugen. Das synthetisierte Bild k wird vom Decoder ausgegeben und beim Coder für die Bildanalyse des nächsten realen Kamerabildes k+1 verwendet.

Die Aufgabe der Bildanalyse 12 besteht darin, das zu codierende aktuelle reale Kamerabild k+1 zu analysieren und die Parametersätze C_i, F_i und B_i für jedes Objekt i der Kameraebene unter Verwendung des synthetisierten Bildes zu schätzen. Dabei werden nur die Luminanzsignale ausgewertet und die Ergebnisse der Analyse auf die Chrominanzsignale angewendet. Die Bildanalyse erfolgt mit einem anhand der Fig. 4 und 5 näher erläuterten hierarchisch strukturierten Verfahren, das in einer ersten Hierarchiestufe die nicht geänderten Bildbereiche, beispielsweise die Bildbereiche eines statischen Hintergrundes, detektiert. In weiteren Hierarchiestufen werden die geänderten Bildbereiche analysiert und durch die drei Parametersätze L, F und B der Objekte der Kameraebene beschrieben. Am Ausgang der Bildanalyse stehen dann die Parametersätze eines jeden Objekts i der Kameraebene in unkomprimierter PCM-Darstellung zur Verfügung.

Ziel der objekt-orientierten Codierung ist es, zeitliche Bildsignaländerungen durch die Bewegung von Objekten der Kameraebene zu beschreiben. Diese Form der Beschreibung von Bildsignaländerungen versagt in Bildbereichen, in denen das verwendete Quellenmodell nicht mit ausreichender Genauigkeit erfüllt ist, das heißt in Bildbereichen, deren zeitliche Bildsignaländerungen durch die Bewegung von Objekten der Kameraebene gemäß des Quellenmodells nicht mit ausreichender Genauigkeit beschrieben werden können.

Zur Beurteilung der Gültigkeit der Beschreibung von Bildsignaländerungen durch das verwendete Quellenmodell enthält die Bildanalyse eine Überprüfung der Bewegungsbeschreibung. Objekte der Kameraebene, deren Bewegung die zeitlichen Bildsignaländerungen nicht mit ausreichender Genauigkeit beschreibt, werden dabei detektiert und gesondert gekennzeichnet. Diese Objekte der Kameraebene werden im folgenden als nicht modellierbare Objekte der Kameraebene oder kurz als MF-Objekte (MF = model failure) bezeichnet. Zur Unterscheidung werden dagegen alle Objekte der Kameraebene, deren Bewegung die zeitlichen Bildsignaländerungen mit ausreichender Genauigkeit beschreibt, im folgenden als modellierbare Objekte der Kameraebene oder kurz als MC-Objekte (MC = model compliance) bezeichnet.

Das in Fig. 4 dargestellte Verfahren besteht aus vier Teilen, nämlich der Schätzung der Objektbewegung 21, der Segmentierung der freiwerdenden Bildbereiche 22, der Bildsynthese 23 und der Überprüfung der Bewegungsbeschreibung 24. Am Ausgang 25 stehen die Parameter B, F, L und ein Signal MC/MF zur Kennzeichnung der Codierbarkeit zur Weiterleitung an die Parameter-Codierung 14 (Fig. 3) zur Verfügung.

Das Verfahren wird auf das zuletzt synthetisierte Bild k und das aktuelle reale Kamerabild k+1 hierarchisch solange angewendet, bis die Luminanzsignaländerungen zwischen diesen Bildern durch die Objekte der Kameraebene und ihre Parametersätze vollständig beschrieben sind. Dabei werden im folgenden für die Auswertung nur die Luminanzkomponenten _k und l_k+1 der Bilder k und k+1 berücksichtigt. Das Verfahren unterscheidet zwischen verschieden bewegten Objekten und freiwerdenden Bildbereichen, wobei für jedes Objekt der Kameraebene gleichzeitig die Bewegungsparameter ermittelt werden. Dabei wird von der Annahme ausgegangen, daß sich jedes Objekt der Kameraebene in seiner Bewegung durch genau einen Bewegungsparametersatz beschreiben läßt und die Bewegungsparameterschätzung für jedes Objekt der Kameraebene einzeln durchgeführt werden kann.

Im ersten Schritt 21 jeder Hierarchiestufe (j) ermittelt zunächst ein Bewegungsschätzverfahren innerhalb einer vorgegebenen Binärmaske bhv ^(j-1) die Bewegungsparameter der Objekte der Kameraebene, wobei jeder zusammenhängende Bildbereich der Binärmaske bhv^(j-1) als ein Objekt der Kameraebene interpretiert wird. In der ersten Hierarchiestufe (j=1) entspricht die Binärmaske bhv^(j-1) der Bildgröße der Eingabebilder k bzw. k+1. Unter Zuhilfenahme der Schätzung der Objektbewegung werden anschließend bei 22 die Bildbereiche, die durch die Bewegung der Objekte der Kameraebene freigegeben werden, segmentiert, wobei eine Binärmaske bv^(j-1) entsteht. Bei 23 wird ein Luminanzsignal ^(j) synthetisiert, worauf bei 24 durch einen Vergleich des synthetisierten ^(j) und des aktuellen Luminanzsignals l_k+1 die Gültigkeit der Bewegungsbeschreibung überprüft wird.

Im Fall, daß die Luminanzsignaländerungen eines Bildbereichs teilweise nicht mit ausreichender Genauigkeit durch die Bewegung nur eines Objekts der Kameraebene beschrieben werden, ist die Annahme disjunkter Objekte der Kameraebene nicht erfüllt. Um auch nicht disjunkte Objekte der Kameraebene beschreiben zu können, wird das Verfahren hierarchisch angewendet. Dazu werden die in ihren zeitlichen Änderungen nicht erfolgreich beschriebenen Bildbereiche erneut einer Analyse unterzogen. Die Maske bv^(j) in der j-ten Hierarchiestufe wird für die nächste Hierarchiestufe (j+1) dahingehend reduziert, daß Bildbereiche, die in ihren zeitlichen Änderungen durch die Bewegungsbeschreibung der Objekte der Kameraebene der j-ten Hierarchiestufe bereits mit ausreichender Genauigkeit beschrieben sind, von der weiteren Untersuchung ausgeschlossen werden. Das Verfahren wird solange hierarchisch wiederholt, bis alle Luminanzsignaländerungen durch Objekte der Kameraebene und ihre Parametersätze beschrieben sind.

Eine beliebige Wiederholung führt jedoch zu sehr vielen Objekten und damit zu einer entsprechend großen zu übertragenden Datenmenge. Bei der erfindungsgemäßen Einrichtung dagegen wird durch eine besonders vorteilhafte Überprüfung der Bewegungsbeschreibung die hierarchische Bildanalyse rechtzeitig abgebrochen, wobei Informationen darüber vorliegen, welche Objekte modellierbar und welche Objekte nicht modellierbar sind. Die nicht modellierbaren Objekte können dann mit Hilfe eines bekannten Verfahrens codiert werden, welches nicht die Gültigkeit des Quellenmodells - im vorliegenden Fall eine translatorische Bewegung des Objekts - voraussetzt.

Ein Ausführungsbeispiel einer erfindungsgemäßen Überprüfung der Bewegungsbeschreibung 24 wird im folgenden anhand von Fig. 1 erläutert. Die Überprüfung erfolgt in zwei Schritten, nämlich der objektweisen Überprüfung 1 der Gültigkeit der Bewegungsbeschreibung, durch welche sich die Objekte der Kameraebene in zwei Objektklassen (MC/MF) aufteilen lassen, und der lokalen Erkennung 2 von Verletzungen der jeweiligen Quellenmodelle innerhalb der MC-Objekte der Kameraebene. Bei 3 werden die Parameter B, F, L und ein Signal MC/MF zur Kennzeichnung der Codierbarkeit an die Parameter-Codierung 14 (Fig. 3) übergeben, während bei 4 Daten für die folgende Hierarchiestufe bereitstehen.

Zur in Fig. 5 als Blockdiagramm dargestellten objektweisen Überprüfung (Schritt 1) werden das synthetisierte Luminanzsignal ^(j) der jeweils j-ten Hierarchiestufe, der Bewegungsparameter B^(j), der Formparameter F^(j), das Luminanzsignal l_k+1 des aktuellen Bildes sowie eine Binärmaske bv_i ^(j-1) zugeführt. Dabei markiert die Binärmaske alle Bildelemente (Ortspositionen), die zum Objekt i der Kameraebene gehören. Dazu werden bei 26 aus den zugeführten Luminanzsignalen Differenzwerte zwischen den Bildsignalen von Bildelementen aufeinanderfolgender Bilder mit Berücksichtigung der zuvor für das Objekt geschätzten Bewegung (Displaced-Frame-Difference) dfd und ohne Berücksichtigung der geschätzten Bewegung (Frame-Difference) fd gebildet. dfd beschreibt für jeweils ein Bildelement den Synthesefehler und wird bei 27 zur Berechnung der mittleren Synthesefehlerleistung T_i herangezogen, die ein Maß für die Güte der Bewegungsbeschreibung des i-ten Objekts der Kameraebene in der j-ten Hierarchiestufe der Bildanalyse darstellt.

Dabei ist N die Anzahl der zu dem Objekt i gehörenden Bildelemente. Die Summe wird über alle dfd des Objekts gebildet. Je kleiner T_i, desto genauer ist die Beschreibung zeitlicher Bildsignaländerungen durch die Bewegung innerhalb des Objekts, das durch die Maske bv^(j-1) beschrieben ist. Anschließend werden alle diejenigen Bildpunkte von der weiteren Auswertung ausgeschlossen, welche die Bewegungsbeschreibung des Objekts i der Kameraebene nicht unterstützen. Diese Bildelemente werden bei 28 mit der Maske bv^(j) markiert.

Fig. 6 stellt die Häufigkeitsverteilung p(dfd) der dfd-Werte zweier Objekte beispielhaft dar. Dabei weist ein Objekt mit der gestrichelt dargestellten Häufigkeitsverteilung eine geringe Streuung auf, während die dfd-Werte im als durchgezogene Linie dargestellten Fall wesentlich stärker streuen, die Standardabweichung σ also größer ist. Es hat sich nun als günstig herausgestellt, daß der Schwellwert zur Unterscheidung derjenigen Bildelemente, die von der weiteren Auswertung ausgeschlossen werden sollen, für jedes Objekt der Kameraebene getrennt etwa in folgender Abhängigkeit von der Standardabweichung festzulegen: t₂ = konst.·(σ²)^1/2.

Zur objektweisen Überprüfung wird abschließend der Erfolg der Bewegungsbeschreibung durch einen Vergleich der Displaced-Frame-Difference dfd und der Frame-Difference fd bei 29 bewertet. Dabei erfolgt die Summierung über alle Bildelemente des Objekts mit Ausnahme der oben erwähnten Bildelemente, welche die Bewegungsbeschreibung des Objekts nicht unterstützen. Je kleiner der Quotient ist, desto besser ist die Beschreibung zeitlicher Luminanzänderungen durch das Objekt i und dessen Bewegung.

Bei der Überprüfung innerhalb der ersten Hierarchiestufe (j=1) werden durch die Schwelle T_i(i=1) alle diejenigen Bildpunkte festgelegt, welche die Bewegungsbeschreibung des Objekts i(i=1) der Kameraebene unterstützen, das sich gemäß der Starthypothese nicht bewegt. Unter der Annahme, daß Bildsignaländerungen in diesen Bereichen dann ausschließlich durch Bildrauschen hervorgerufen werden, sollen also durch die Schwelle T₁ Bildsignaländerungen, die durch Rauschen hervorgerufen werden, von denen getrennt werden, die durch die Bewegung von Objekten der Kameraebene hervorgerufen werden. Als Maß zur Berücksichtigung des Bildrauschens wird deshalb in der ersten Hierarchiestufe T₁ gemäß 30 berechnet, wobei die Summe über alle Bildelemente des ersten Objekts berechnet wird.

Diese Schwelle T₁ wird bei der Verarbeitung des nächsten Bildes k+2 verwendet. Dabei beginnt die Verarbeitung einer Bildfolge mit einer Initialschwelle T_1,ini. Nach der Verarbeitung einiger Bilder konvergiert die Schwelle auf die Leistung des Bildrauschens. Auf diese Weise kann der Einfluß des Rauschens auf die Bildanalyse adaptiv kontrolliert werden. Je größer das Bildrauschen, desto größer ist die Schwelle T₁ - das heißt, desto vorsichtiger werden Grauwertänderungen zwischen den Signalen als durch die Bewegung eines Objekts der Kameraebene hervorgerufen interpretiert.

Innerhalb derjenigen Objekte, für welche die Überprüfung gemäß Schritt 1 (Fig. 1) die Zugehörigkeit zur Klasse der MC-Objekte ergibt, wird anschließend eine lokale Überprüfung der Gültigkeit der jeweiligen angenommenen Bewegung unter Verwendung der Schwelle T. durchgeführt. Damit werden bewegte Objekte, die sich auf dem Objekt i der Kameraebene bewegen, erkannt, wenn sich die Geschwindigkeit dieser Objekte bezüglich Betrag oder Richtung von der durch die angenommene Bewegung festgelegten Geschwindigkeit des Objekts i der Kameraebene unterscheidet. Bei der Ermittlung dieser Objekte bleiben kleinere Verletzungen der Bewegungshypothese, das heißt, kleine Positions- oder Formfehler des Objekts i, unberücksichtigt.

Bei dem in Fig. 7 gezeigten Blockdiagramm des Schrittes 2 (Fig. 1) erfolgt zunächst ein Vergleich 31 zwischen dem synthetisierten Luminanzsignal ^(j) und dem Luminanzsignal l_k+1 des aktuellen Kamerabildes. Zur Verhinderung von Störungen durch Bildrauschen wird das Differenzsignal tiefpaßgefiltert. Dieses erfolgt bei 32 in an sich bekannter Weise mit einem Spatialfilter, das beispielsweise 3×3 Bildelemente umfaßt. Das gefilterte Differenzsignal wird einer Schwellwertoperation 33 zugeführt, die durch den Schwellwert T_i gesteuert wird. Durch diese Steuerung wird erreicht, daß im Falle einer relativ unzureichenden Bewegungsbeschreibung (T_i groß) des Objekts i nur diejenigen Bereiche als lokale Verletzungen der Bewegungshypothese erkannt werden, in denen die Bewegungsbeschreibung des Objekts i lokal deutlich versagt hat.

Das Ausgangssignal der Schwellwertoperation 33 stellt eine binäre Maske bv_T ^(j) dar, welche die Bereiche mit lokaler Verletzung der Bewegungshypothese kennzeichnet. Ein Beispiel für eine derartige Maske ist in Fig. 8a anhand eines Schirmbildes dargestellt. Die binäre Maske enthält jedoch noch viele kleine Objekte, die als solche nicht codiert werden sollen, insbesondere wegen der dafür nötigen Erhöhung der Datenrate, ohne daß sich eine wesentliche Verbesserung des subjektiven Bildeindrucks ergibt. Deshalb werden zunächst in einem folgenden Medianfilter 34 Teile der binären Maske, welche dünne Linien darstellen, eliminiert. Je nach Voraussetzungen im einzelnen kann das Medianfilter Fenster von beispielsweise 5×5 Bildelementen aufweisen. Das Ergebnis ist in Fig. 8b dargestellt.

Von den verbleibenden Teilen der binären Masken werden dann noch kleine Bereiche entfernt, deren Größe unterhalb einer vorgegebenen Anzahl von Bildelementen liegt. Dieses erfolgt bei 35 dadurch, daß die Bildelemente von zusammenhängenden Bereichen der Maske gezählt werden, daß alle Bereiche, deren Zahl der Bildelemente größer als der vorgegebene Weg ist, entsprechend markiert und die Bereiche mit einer geringeren Anzahl von Bildelementen gelöscht werden. Schließlich erfolgt bei 36 eine Elimination der geometrischen Verzerrungen. Am Ausgang 37 steht dann eine Maske zur Verfügung, welche nur noch diejenigen Objekte kennzeichnet, die als lokale Verletzungen der Bewegungshypothese innerhalb des Objekts i angesehen und als weitere Objekte codiert werden sollen. Ein Beispiel ist in Fig. 8c angegeben. Fig. 8d stellt diejenigen Bereiche schwarz dar, die bei 34, 35 und 36 eliminiert wurden.

Bei der Überprüfung innerhalb der folgenden Hierarchiestufe kann dann entschieden werden, ob die weiteren Objekte unter der Berücksichtigung der für diese ermittelte Bewegungshypothese modellierbar sind oder nicht. Je nach Voraussetzungen und Zielsetzungen im Einzelfall ist es vorteilhaft, die hierarchische Verarbeitung bereits nach wenigen Hierarchiestufen abzubrechen. So hat es sich beispielsweise für Anwendungen des Bildtelefons als günstig herausgestellt, bereits Objekte der dritten Hierarchiestufe anderweitig zu codieren.

Claims (15)

1. Einrichtung zur objekt-orientierten Codierung von Bildsignalen, wobei zeitliche Änderungen der Bildsignale durch Bewegung von Objekten beschrieben werden und wobei die Erkennung von Objekten und die Beschreibung der Bewegung der Objekte durch eine wiederholte Anwendung einer Bewegungsschätzung, einer Bildsynthese und einer Überprüfung der Bewegungsbeschreibung erfolgen, dadurch gekennzeichnet, daß die Überprüfung der Bewegungsbeschreibung sowohl objektweise als auch für einzelne Bereiche jeweils innerhalb eines Objekts erfolgt.

2. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß bei der objektweisen Überprüfung lokale Abweichungen von der Bewegungsbeschreibung des Objekts statistisch erfaßt werden und daß danach zwischen durch eine weitere Bewegungsbeschreibung codierbaren und nicht codierbaren Objekten unterschieden wird.

3. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß bei nicht codierbaren Objekten keine weitere Überprüfung einzelner lokaler Bereiche innerhalb der nicht codierbaren Objekte durchgeführt wird und daß der Bildbereich des nicht codierbaren Objekts nicht unter Verwendung von Bewegungsparametern codiert wird.

4. Einrichtung nach Anspruch 2, dadurch gekennzeichnet, daß Abweichungen, die oberhalb eines Schwellwertes liegen, bei der statistischen Erfassung nicht berücksichtigt werden und daß die verbleibenden Abweichungen über die Anzahl der zugehörigen Bildelemente ermittelt werden.

5. Einrichtung nach Anspruch 4, dadurch gekennzeichnet, daß der Schwellwert von der statistischen Streuung der Abweichungen jeweils eines Objekts abhängt.

6. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß zur objektweisen Überprüfung Differenzwerte zwischen den Bildsignalen von Bildelementen aufeinanderfolgender Bilder jeweils mit und ohne Berücksichtigung der zuvor für das jeweilige Objekt geschätzten Bewegung gebildet werden, daß die mit Berücksichtigung der Bewegung gebildeten Differenzwerte für das jeweilige Objekt aufsummiert und durch die Summe der ohne Berücksichtigung der Bewegung gebildeten Differenzwerte dividiert werden und daß das Ergebnis der Division mit einem Vergleichswert verglichen wird.

7. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, daß die Differenzwerte vor der Summierung quadriert werden.

8. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, daß Differenzwerte, die oberhalb eines vorgegebenen Schwellwertes liegen, nicht aufsummiert werden.

9. Einrichtung nach Anspruch 6, dadurch gekennzeichnet, daß das Ergebnis der Division auch für nicht bewegte Objekte gebildet wird und daß dieses Ergebnis bei weiteren Bewegungsschätzungen als Schwellwert benutzt wird, unter welchem eine Bewegung als Rauschen angesehen und nicht codiert wird.

10. Einrichtung nach Anspruch 1, dadurch gekennzeichnet, daß zur Überprüfung der Bewegungsbeschreibung für einzelne Bereiche Differenzwerte aus dem Bildsignal und dem jeweils synthetisierten Bildsignal gebildet werden und daß diejenigen Differenzwerte, welche einen vorgegebenen Schwellwert überschreiten, eine Maske zur Kennzeichnung derjenigen Objekte bilden, welche mit der zuvor erfolgten Bewegungsbeschreibung nicht codierbar sind.

11. Einrichtung nach Anspruch 10, dadurch gekennzeichnet, daß aus der durch die Differenzwerte gebildeten Maske nicht codierwürdige Bereiche durch eine geeignete Filterung entfernt werden.

12. Einrichtung nach Anspruch 11, dadurch gekennzeichnet, daß die Filterung ein Medianfilter umfaßt.

13. Einrichtung nach Anspruch 11, dadurch gekennzeichnet, daß die Filterung ein Tiefpaßfilter umfaßt.

14. Einrichtung nach Anspruch 11, dadurch gekennzeichnet, daß durch die Filterung zur Maske gehörende Bildbereiche, welche weniger als eine vorgegebene Anzahl von Bildelementen umfassen, eliminiert werden.

15. Einrichtung nach Anspruch 1, gekennzeichnet durch die Verwendung in einem Funktelefonnetz mit einer Bandbreite von weniger als 20 kHz.