DE69328656T2

DE69328656T2 - Bilddatenverarbeitung

Info

Publication number: DE69328656T2
Application number: DE69328656T
Authority: DE
Inventors: Hirotaka Chiba; Tsugio Noda
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1992-09-07
Filing date: 1993-09-07
Publication date: 2000-08-31
Anticipated expiration: 2013-09-08
Also published as: EP0587397A2; EP0587397B1; EP0587397A3; EP0961495A3; EP0961495B1; JP3315766B2; EP0961495A2; JPH06133305A; DE69328656D1; US5614960A; DE69334051T2; DE69334051D1

Description

Die vorliegende Erfindung bezieht sich allgemein auf eine Bilddatenverarbeitung, und insbesondere auf Bilddaten-Codierverfahren und Vorrichtungen zum Komprimieren von Bilddaten und einen Rahmen mit geänderter Szene oder einen szenengeänderten Rahmen detektierende Verfahren und Vorrichtungen zum Detektieren von Änderungen einer Szene in kontinuierlichen Bildrahmen.
Herkömmlicherweise werden Bilddaten mit einer enorm großen Datenmenge im Vergleich zu numerischen Daten, speziell Grauskalenbilder und Farbbilddaten, gespeichert und mit hoher Geschwindigkeit und hoher Qualität übertragen, indem für jedes Bildelement nur Abstufungswerte codiert werden.
Eine adaptive diskrete Cosinustransformation (im folgenden zur Abkürzung als ADCT bezeichnet) wird verwendet, um Bilddaten effizient zu komprimieren. Die ADCT ist ein Hochleistungs-Codierverfahren auf der Basis einer zweidimensionalen diskreten Cosinustransformation (die im folgenden als eine zweidimensionale DCT bezeichnet wird).
Die zweidimensionale DCT wurde als eine vorgeschlagene Empfehlung veröffentlicht, die durch die JPEG (Joint Photographic Experts Group), d. h. eine Verbundorganisation der CCITT und der ISO&sub4; präsentiert wurde, welche die internationale Standardisierung einer Hochleistungscodierung farbiger statischer Bilder entwickeln (siehe "International Standard in Encoding Multimedia, 1991 Version, verfaßt von Hiroshi Yasuda, veröffentlicht von Maruzen).
Gemäß der oben beschriebenen ADCT wird ein eingegebenes Mehrwertbild in eine Mehrzahl von Blöcken geteilt, die jeweils 8 · 8 Bildelemente umfassen, wird ein Bildsignal (Mehrfachdaten) für 8 · 8 Bildelemente in jedem Block durch eine zweidimensionale DCT in 8 · 8 zweidimensionale DCT- Koeffizienten transformiert, die als Ortsfrequenzen verteilt sind, werden die zweidimensionalen DCT-Koeffizienten durch eine optisch adaptive Schwelle quantisiert, und die quantisierten Koeffizienten werden gemäß einer statistisch erhaltenen Huffman-Tabelle in Codes mit veränderlicher Länge codiert.
Fig. 1 ist ein Basisblockdiagramm, das eine herkömmliche Bilddaten-Codiervorrichtung zum Codieren eines Mehrwertbildes gemäß der ADCT zeigt.
Mit der in Fig. 1 gezeigten Bilddaten-Codiervorrichtung wird ein Mehrwertbild in eine Mehrzahl von Blöcken geteilt, die jeweils 8 · 8 Bildelemente umfassen, und in Blockeinheiten von einem Anschluß 134a durch einen Blockpuffer 134b in eine DCT-Einheit 134c eingegeben. Die DCT-Einheit 134c transformiert durch eine zweidimensionale DCT ein Eingabebildsignal für 8 · 8 Bildelemente orthogonal in 8 · 8 zweidimensionale DCT-Koeffizienten, die als Ortsfrequenzen verteilt sind, und gibt sie an eine Quantisiereinheit 134d aus.
Die Quantisiereinheit 134d quantisiert linear jeden der eingegebenen 8 · 8 zweidimensionalen DCT-Koeffizienten unter Verwendung einer entsprechenden Quantisierungsschwelle 134e in einer in Fig. 1 nicht gezeigten Quantisierungsmatrix. Als Folge wird ein zweidimensionaler DCT-Koeffizient, der kleiner als die oben beschriebene entsprechende Quantisierungsschwelle 134e ist, auf "0" eingestellt, während DC-Komponenten (Gleichstromkoeffizient) und eine geringe Menge von AC-Komponenten (Wechselstromkoeffizient) einen anderen Wert als "0" angeben.
Wie oben beschrieben wurde, werden durch die Quantisiereinheit 134d linear quantisierte quantisierte Koeffizienten einer Einheit 134f zum Codieren mit veränderlicher Länge zugeführt.
Die Einheit 134f zum Codieren mit veränderlicher Länge nimmt Bezug auf eine Huffman-Code-Tabelle, die für DC- Komponenten und AC-Komponenten separat vorgesehene Huffman- Tabellen aufweist, und codiert eine eingegebene Kette quantisierter Koeffizienten in Codes mit veränderlicher Länge. Das heißt, für DC-Komponenten nimmt sie Bezug auf eine eindimensional Huffman-Tabelle und codiert die Differenz zwischen der führenden DC-Komponente und der vorherigen DC-Komponente in Codes mit veränderlicher Länge. Für AC-Komponenten nimmt sie Bezug auf eine zweidimensionale Huffman-Tabelle und codiert die Kombination eines signifikanten Koeffizienten mit einem anderen Wert als "0" (Index) und der Lauflänge eines nicht signifikanten Koeffizienten mit dem Wert "0" vor dem signifikanten Koeffizienten in Codes mit veränderlicher Länge. Die Einheit 134f zum Codieren mit veränderlicher Länge codiert gemäß der oben beschriebenen Huffman-Code-Tabelle 134g folg lich DC- und AC-Komponenten in Codes mit veränderlicher Länge und gibt die codierten Daten von einem Anschluß 134h aus.
Beim Codieren eines Mehrwertbildes gemäß der ADCT kann ein quantisierter Koeffizient gemäß einem zweidimensionalen DCT-Koeffizienten und einer entsprechenden Quantisierungsschwelle 134e in einer Quantisierungsmatrix bestimmt werden. Der Prozeß wird in Blockeinheiten an allen Blöcken eines Bildes (ein Rahmen) durchgeführt. Die zweidimensionalen DCT- Koeffizienten für ein Bild (einen Rahmen) können somit quantisiert werden.
Fig. 2 ist ein Blockdiagramm, das eine ein statisches Bild rekonstruierende Vorrichtung zum Rekonstruieren eines Ursprungsbildes aus in Codes mit veränderlicher Länge codierten Daten zeigt. Die ein statisches Bild rekonstruierende Vorrichtung rekonstruiert ein Ursprungsbild aus einem Anschluß 135a zugeführten codierten Daten durch eine einen Code mit veränderlicher Länge decodierende Einheit 135b, eine Quantisiereinheit 135c und eine Inverse-DCT-Einheit in der umgekehrten Reihenfolge zu derjenigen für den in Fig. 1 gezeigten Codierprozeß. Das rekonstruierte Bild wird bei entsprechenden Adressen eines Bildspeichers 135e sequentiell geschrieben, um die Rekonstruktion eines Bildschirms eines Bildes zu vervollständigen.
Das heißt, um weiter im Detail zu erklären, die durch die ein statisches Bild codierende Vorrichtung codierten Daten werden vom Eingangsanschluß 135a über vorbestimmte Übertragungsleitungen der einen Code mit veränderlicher Länge decodierenden Einheit 135b zugeführt.
Die einen Code mit veränderlicher Länge decodierende Einheit 135b decodiert DC- und AC-Komponenten enthaltende quantisierte Koeffizienten in jedem Block gemäß einer Huffman- Code-Tabelle 135f, die in dem oben beschriebenen Prozeß zum Codieren mit veränderlicher Länge verwendet wird.
Eine Dequantisiereinheit 135c decodiert die DC- und AC- Komponenten enthaltenden quantisierten Koeffizienten in jedem Block in zweidimensionale DCT-Koeffizienten unter Verwendung einer Quantisierungsschwelle 135g, die in dem oben beschriebenen Prozeß zum Codieren mit veränderlicher Länge verwendet wurde.
Die Inverse-DCT-Einheit 135d führt unter Verwendung der decodierten zweidimensionalen DCT-Koeffizienten in jedem Block eine inverse zweidimensionale DCT aus und rekonstruiert ein Bildsignal für jedes Bildelement in jedem Block.
Das rekonstruierte Bildsignal für jedes Bildelement in jedem Block wird in Blockeinheiten in den Bildspeicher 135e geschrieben.
Ein Schreiben eines Bildsignals für jedes Bildelement in jedem Block in den Bildspeicher 135e kann durch eine Intrablock-Bildelement-Schreibsteuereinheit 135h gesteuert werden. Das heißt, die Intrablock-Bildelement-Schreibsteuereinheit 135h steuert eine Blockadresse-Erzeugungseinheit 135i, so daß die Blockadresse-Erzeugungseinheit 1351 eine Adresse eines entsprechenden Blocks ausgibt, in den ein Bildelementsignal zu schreiben ist, dadurch das Schreiben eines rekonstruierten Bildes in jedem Rahmen in Blockeinheiten in den Bildspeicher 135e steuernd.
Fig. 3 zeigt die Konfiguration des Basisteils einer herkömmlichen Bewegtbild-Codiervorrichtung zum Codieren von Bewegbilddaten durch ein Interrahmen-Vorhersagecodierverfahren auf der Basis der Wechselbeziehung zwischen den Bildern in den vorliegenden und vorherigen Rahmen.
Ein Bewegtbild in jeder Szene wird durch einen Eingangsanschluß 136a einer Differenzbild-Erzeugungseinheit 136b zugeführt.
Ein Bildspeicher 136c speichert Standardbilder (als Bilder in vorherigen Rahmen verwendete rekonstruierte Bilder).
Die Differenzbild-Erzeugungseinheit 136b erhält das Differenzbild zwischen einem in dem Bildspeicher 136c gespeicherten Standardbild und dem vorliegenden Bild (ein Bild im vorliegenden Rahmen), das dem oben beschriebenen Eingangsanschluß 136a zugeführt wird, und speichert das Differenzbild in einem Blockpuffer 136d. Das Differenzbild wird für jeden, 8 · 8 Bildelemente enthaltenden Block erhalten. Daher speichert der Blockpuffer 136d das Differenzbild (Blockdifferenzbild), das den Unterschied oder die Differenz zwischen den Bildern in den vorliegenden und vorherigen Rahmen, die jeweils 8 · 8 Bildelemente umfassen, an entsprechenden Positionen angibt.
Eine DCT-Einheit 136e führt eine zweidimensionale DCT an einem im Blockpuffer 136d gespeicherten Differenzblockbild mit 8 · 8 Bildelementen durch, erhält 8 · 8 zweidimensionale DCT-Koeffizienten und gibt sie an eine Quantisiereinheit 136f aus.
Die Quantisiereinheit 136f quantisiert linear eingegebene zweidimensionale DCT-Koeffizienten durch eine optisch adaptive Schwelle und erhält 8 · 8 quantisierte Koeffizienten. Die 8 · 8 quantisierten Koeffizienten werden zickzack-gescannt und in der Reihenfolge DC-Komponenten, AC-Komponenten mit einer niedrigen Ortsfrequenz und AC-Komponenten mit einer hohen Ortsfrequenz an eine Einheit 136g zum Codieren mit veränderlicher Länge ausgegeben.
Die Einheit 136g zum Codieren mit veränderlicher Länge codiert die eingegebenen 8 · 8 quantisierten Koeffizienten in Codes mit veränderlicher Länge gemäß einer Huffman-Code- Tabelle 136a und speichert die erhaltenen codierten Daten in einem Codepuffer 136i.
Die von der Quantisiereinheit 136f ausgegebenen, 8 · 8 quantisierten Koeffizienten werden einer Dequantisiereinheit 136j zugeführt, und die Dequantisiereinheit 136j decodiert die Koeffizienten in 8 · 8 zweidimensionale DCT-Koeffizienten.
Eine Inverse-DCT-Einheit 136k führt unter Verwendung der 8 · 8 zweidimensionalen DCT-Koeffizienten eine inverse zweidimensionale DCT durch und rekonstruiert das Differenzblockbild.
Eine Addiereinheit 136m addiert das rekonstruierte Differenzblockbild zu dem vorherigen Bild in dem entsprechenden Block in dem im Bildspeicher 136c gespeicherten Basisbild und schreibt das resultierende Bild in den Bildspeicher 136c neu.
Die codierten Daten eines Differenzblockbildes für alle Blöcke des vorliegenden Bildes werden in dem Codepuffer 136i vorübergehend gespeichert, indem eine Reihe der Operationen an allen Blöcken von Bildern in neuen Rahmen durchgeführt wird, die von dem Eingangsanschluß 136a eingegeben wurden, und werden dann durch den Anschluß 136n ausgegeben. Somit werden Bilddaten in dem vorliegenden Rahmen nicht codiert, wie sie sind, sondern das die Differenz zwischen den vorherigen und vorliegenden Rahmen angebende Bild wird codiert, wo bei somit die Zahl von zu verarbeitenden Codes erfolgreich reduziert wird.
Das unter Verwendung der codierten Daten des Differenzbildes rekonstruierte Differenzbild wird zu dem Bild im Bildspeicher 136c addiert. Der Bildspeicher 136c speichert dann das Bild, das zu dem identisch ist, das durch die Rekonstruiereinheit auf der Basis der codierten Daten des Differenzbildes rekonstruiert und in den vorliegenden Rahmen gegeben wurde. Das Bild wird als ein Bild im vorherigen Rahmen eines Standardbildes verwendet, wenn ein Bild im nächsten Rahmen von dem Eingangsanschluß 136a zugeführt wird.
Fig. 4 zeigt als nächstes die Konfiguration des Basisteils einer herkömmlichen Bewegtbild-Rekonstruiervorrichtung zum Rekonstruieren eines Ursprungsbildes aus den durch die oben beschriebene Bewegtbild-Codiervorrichtung ausgegebenen codierten Daten.
Wenn die codierten Daten des Differenzbildes in Blockeinheiten von einem Eingangsanschluß 137a sequentiell zugeführt werden, decodiert eine einen Code mit veränderlicher Länge decodierende Einheit 137b sie in quantisierte Koeffizienten in Blockeinheiten gemäß einer Huffman-Code-Tabelle 137c ähnlich der Huffman-Code-Tabelle 136h in der herkömmlichen Bewegtbild-Codiervorrichtung.
Eine Dequantisiereinheit 137d dequantisiert einen decodierten quantisierten Koeffizienten in jedem Block gemäß einer in Fig. 4 nicht gezeigten Quantisierungsmatrix (ähnlich der Quantisierungsmatrix, die durch die Dequantisiereinheit 136j in der in Fig. 3 gezeigten herkömmlichen Bewegtbild- Codiervorrichtung verwendet wird).
Eine Inverse-DCT-Einheit 137e führt eine inverse zweidimensionale DCT in Blockeinheiten unter Verwendung decodierter zweidimensionaler DCT-Koeffizienten in jedem Block durch und rekonstruiert ein Differenzbild in jedem Block.
Eine Addiereinheit 137f addiert das rekonstruierte Differenzbild in jedem Block zu einem Bild in dem entsprechenden Block in einem Bildspeicher 137g und schreibt das resultierende Bild im Bildspeicher neu.
Das Schreiben des rekonstruierten Bildes in dem Bildspeicher 137g für jeden Block kann durch eine Intrablock- Bildelement-Schreibsteuereinheit 137h gesteuert werden. Das heißt, die Intrablock-Bildelement-Schreibsteuereinheit 137h steuert eine Blockadresse-Erzeugungseinheit 137i, so daß die Blockadresse-Erzeugungseinheit 137i an den Bildspeicher 137g eine Adresse eines Blocks ausgibt, in welchem ein Differenzbild in dem Bildspeicher 137g gespeichert werden soll, wodurch ein rekonstruiertes Bild jedes Rahmens in Blockeinheiten erfolgreich geschrieben wird.
Der Bildspeicher 137g speichert ein rekonstruiertes Bild jedes Rahmens durch Ausführen einer Reihe der oben beschriebenen Prozesse an codierten Daten von Differenzbildern in allen Blöcken, die ein Bild in jedem Rahmen bilden.
In einer Fernsehsendestation, die normalerweise eine große Menge von Bildern verarbeitet, werden in einer Speichervorrichtung akkumulierte Bildsignale editiert. Die Editieroperation wird von einem Editor durch Kombinieren von Bildquellen (Bilder) und Regenerieren von zu sendenden Bildern von Hand durchgeführt. Zu diesem Zeitpunkt kann der Kopf einer kombinierten Bildquelle (Änderung von Szenen) beim Regenerieren von Bildern optisch identifiziert werden.
Mit einem Videoband-Aufzeichnungsgerät zur Verwendung durch einen Verbraucher kann, wenn eine Mehrzahl von Bildquellen in einer Rolle eines Videobandes aufgezeichnet ist, der Abschnitt (Rahmen), der regeneriert werden soll, detektiert werden, indem die Änderung von Bildern (szenengeänderter Rahmen oder eine Änderung von Szenen) optisch bestimmt wird, während Bilder mit einer hohen Geschwindigkeit regeneriert werden.
Bei einer herkömmlichen Bildaufzeichnungs/Regenerierungsvorrichtung kann ein Wechsel oder eine Änderung von Szenen von einem Benutzer optisch extrahiert werden, während Bilder mit hoher Geschwindigkeit regeneriert werden.
In dem oben beschriebenen Editierprozeß bei einer Fernsehstation und dem Detektierprozeß, der zu Hause durchgeführt wird, um einen zu regenerierenden gewünschten Abschnitt zu detektieren, würden verschiedene Szenen, die in einer Reihe aufgezeichneter Bewegtbilddaten enthalten sind, in kurzer Zeit erkannt werden, falls die Änderung von Szenen aus der Reihe aufgezeichneter Bewegtbilddaten automatisch extrahiert werden könnte. In diesem Fall könnte im Vergleich zu einem herkömmlichen Verfahren zum optischen Detektieren einer ge wünschten Szene, während Bilder mit einer hohen Geschwindigkeit regeneriert werden, eine zeitsparende Operation durchgeführt werden, und die Inhalte der ganzen Szenen könnten einfach erkannt werden. Solche herkömmlichen Vorrichtungen wurden jedoch überhaupt nicht entwickelt.
Falls eine Änderung von Szenen aus einer Reihe aufgezeichneter Bewegtbilddaten automatisch extrahiert werden kann, können verschiedene signifikante Effekte erwartet werden, wenn eine Bildaufzeichnung/Regenerierungsvorrichtung verwendet wird. Zum Beispiel kann ein Aufzeichnungssystem zum Aufzeichnen von Bewegtbilddaten als Antwort auf Bewegungen in Bildern hergestellt werden, indem das Aufzeichnungssystem gemäß der extrahierten Information über Änderungen von Szenen gesteuert wird, können nur die Änderungen von Szenen unter einer Reihe aufgezeichneter Bewegtbilddaten regeneriert werden, indem die extrahierte Information über Änderungen von Szenen zusammen mit einer Bildinformation oder codierten Daten aufgezeichnet wird, oder können die Änderungen von Szenen nur gemäß einer extrahierten Information über Änderungen von Szenen aufgezeichnet und regeneriert werden.
Da ein Bewegtbild aus einer Reihe statischer Bilder besteht, kann das Bewegtbild durch einen Codierer und einen Decodierer, die zum Verarbeiten statischer Bilder zu verwenden sind, codiert und rekonstruiert werden. Ein Codierer für statische Bilder hat gegenüber demjenigen für ein Bewegtbild den Vorteil, daß er auf einem einfacheren Verfahren basiert und eine kleinere Schaltung aufweist. Da das oben beschriebene ein statisches Bild codierende Verfahren auf ein Reduzieren der Menge von zu akkumulierenden und übertragenden Daten abgezielt hat, wurden jedoch andere Anwendungen, wie z. B. automatisches Extrahieren von Änderungen von Szenen enthaltenden Rahmen aus aufgezeichneten Bewegtbilddaten überhaupt nie erwartet.
Die vorliegende Erfindung zielt darauf ab, ein Verfahren und System zum Durchführen der folgenden Operationen mit dem oben beschriebenen Codierer mit einer kleinen Schaltung für statische Bilder zu schaffen.
1. Automatisches Extrahieren (Detektieren) eines eine Änderung von Szenen enthaltenden Rahmens aus einer Reihe von Bewegtbilddaten.
2. Codieren von Bewegtbilddaten, so daß ein eine Änderung von Szenen enthaltender Rahmen (szenengeänderter Rahmen) gegenüber einem normalen Rahmen (kein szenengeänderter Rahmen) einfach unterschieden werden kann.
3. Automatisches Detektieren einer Differenz an einem spezifischen Abschnitt eines Bildes, das durch eine Kamera etc. aufgezeichnet wurde.
Gemäß einem ersten Gesichtspunkt der vorliegenden Erfindung wird ein Bilddaten-Codierverfahren zum Codieren von Bilddaten geschaffen, mit:
einem Detektionsbedingungs-Speicherschritt zum Speichern einer Detektionsbedingung, die zum Detektieren eines szenengeänderten Rahmens eingestellt wurde;
einem Codierschritt zum Codieren von Bilddaten eines Eingaberahmens;
einem Codemengen-Speicherschritt zum Speichern der Menge von Codes in den im Codierschritt codierten Daten von vorherigen und vorliegenden Rahmen;
einem Bestimmungsschritt zum Bestimmen, ob der vorliegende Rahmen ein szenengeänderter Rahmen ist oder nicht, gemäß der Menge von Codes der vorherigen und vorliegenden Rahmen, die in dem Codemengen-Speichersch wurden, und
der in dem Detektionsbedingungs-Speicherschritt gespeicherten Bedingung, die zum Detektieren eines szenengeänderten Rahmens eingestellt wurde;
und einem Ausgabeschritt zum Ausgeben, als ein Bestimmungsergebnis des Bestimmungsschrittes, der codierten Daten, die in dem Codemengen-Speicherschritt erzeugt wurden, und eines Codes, der einen szenengeänderten Rahmen angibt, falls der vorliegende Rahmen ein szenengeänderter Rahmen ist, und nur der codierten Daten, falls der vorliegende Rahmen kein szenengeänderter Rahmen ist, worin
der Codierschritt, der Codemengen-Speicherschritt, der Bestimmungsschritt und der Ausgabeschritt an Bilddaten in einer Mehrzahl von Rahmen ausgeführt werden, deren Daten zu codieren sind.
Gemäß einem zweiten Gesichtspunkt der vorliegenden Erfindung wird eine Bilddaten-Codiervorrichtung zum Codieren von Bilddaten geschaffen, mit:
einem Rahmencodiermittel zum sequentiellen Codieren von Bilddaten in einem Eingaberahmen;
einem codierte Daten von Rahmen speichernden Mittel zum Speichern codierter Daten von Rahmen, deren Daten durch das Rahmencodiermittel codiert werden;
einem Detektionsbedingungs-Speichermittel zum Speichern der Bedingung, die zum Detektieren, daß ein durch das Rahmencodiermittel codierter Rahmen ein szenengeänderter Rahmen ist, eingestellt wurde;
einem einen szenengeänderten Rahmen detektierenden Mittel zum Detektieren eines szenengeänderten Rahmens gemäß der Differenz in der Menge von Codes zwischen den codierten Daten in dem vorherigen Rahmen, die in dem Rahmencode-Speichermittel gespeichert wurden, und den durch das Rahmencodiermittel codierten Daten im vorliegenden Rahmen und der Detektionsbedingung, die in dem Detektionsbedingungs-Speichermittel gespeichert wurde; und
einem Ausgabemittel zum Ausgeben codierter Daten, die in dem Rahmencode-Speichermittel gespeichert wurden, und codierter Daten, die einen szenengeänderten Rahmen angeben, für einen szenengeänderten Rahmen, der durch das einen szenengeänderten Rahmen detektierende Mittel detektiert wurde, und Ausgeben nur der codierten Daten für einen normalen Rahmen (kein szenengeänderter Rahmen).
Mit der Konfiguration detektiert die Vorrichtung einen szenengeänderten Rahmen gemäß der Differenz in der Menge von Codes zwischen benachbarten Rahmen. Sie gibt nur codierte Bilddaten für einen normalen Rahmen aus, d. h. einen Rahmen ohne geänderte Szene. Falls ein Rahmen ein szenengeänderter Rahmen ist, gibt sie codierte Daten zusammen mit Codedaten aus, die angeben, daß der Rahmen ein szenengeänderter Rahmen ist.
Daher kann eine Bildrekonstruiereinheit codierte Daten eines szenengeänderten Rahmens leicht von denjenigen eines Rahmens ohne geänderte Szene gemäß dem Vorhandensein der Codedaten identifizieren, die einen szenengeänderten Rahmen angeben.
Gemäß einem dritten Gesichtspunkt der vorliegenden Erfindung wird ein Szenenänderungs-Detektierverfahren geschaffen, mit:
einem Detektionsbedingungs-Speicherschritt zum Speichern einer Detektionsbedingung, die zum Detektieren von Änderungen von Szenen in Animationsdaten eingestellt wurde;
einem Codierschritt zum Codieren von Bilddaten in einem Rahmen;
einem Codemengen-Speicherschritt zum Speichern der Menge von Codes in einem Rahmen, die durch den Codierschritt codiert wurden;
einem Szenenänderungs-Bestimmungsschritt zum Bestimmen einer Änderung von Szenen gemäß der Menge von Codes der vorherigen und vorliegenden Rahmen, die in dem Codemengen- Speicherschritt gespeichert wurden, und der in dem Detektionsbedingungs-Speicherschritt gespeicherten Detektionsbedingung; und
einem Änderungssignal-Abgabeschritt zum Abgeben eines Szenenänderungs-Detektionssignals gemäß dem Bestimmungsergebnis des Szenenänderungs-Bestimmungsschritts.
Gemäß einem vierten Gesichtspunkt der vorliegenden Erfindung wird eine Szenenänderungs-Detektiervorrichtung geschaffen, mit:
einem Detektionsbedingungs-Speichermittel zum Speichern der Bedingung, die zum Detektieren von Änderungen von Szenen in Animationsdaten eingestellt wurde;
einem eine Codemenge in einem vorherigen Rahmen speichernden Mittel zum Speichern der Menge von Codes in Bilddaten im vorherigen Rahmen;
einem eine Codemenge in einem vorliegenden Rahmen speichernden Mittel zum Speichern der Menge von Codes in Bilddaten im vorliegenden Rahmen;
einem Codedifferenz-Speichermittel zum Erhalten der Differenz zwischen der Menge von Codes in dem vorherigen Rahmen, die in dem eine Codemenge in einem vorherigen Rahmen speichernden Mittel gespeichert wurde, und der Menge von Codes in dem vorliegenden Rahmen, die in dem eine Codemenge in einem vorliegenden Rahmen speichernden Mittel gespeichert wurde, und Speichern der Differenz; und
einem Szenenänderungs-Detektiermittel zum Detektieren von Änderungen von Szenen gemäß der in dem Codedifferenz-Speichermittel gespeicherten Differenz in der Menge von Codes und denn dem Detektionsbedingungs-Speichermittel gespeicherten Detektionsbedingung und Abgeben eines Szenenänderungs-Detektionssignals, wenn Änderungen von Szenen detektiert werden.
Mit der Konfiguration detektiert sie eine Änderung von Szenen gemäß der Differenz in der Menge von Codes von Bilddaten zwischen benachbarten Rahmen und gibt extern ein Szenenänderungs-Detektionssignal ab, falls eine Änderung von Szenen detektiert wurde.
Ein Bildcodierverfahren ist in ICASSP.89 "Multi Dimensional Signal Processing Audio and Electro Acoustics", Bd. 3, Seiten 1858 bis 1861 offenbart, worin eine Interrahmen- Bewegungsdetektion in Einheiten eines Blocks durchgeführt wird und worin nur der Block, dessen Bewegung detektiert wird, codiert wird. In diesem Verfahren wird die Helligkeitspegeldifferenz zwischen an der gleichen Position gelegenen Pixeln in entsprechenden Blöcken in benachbarten Rahmen ausgewertet. Einen Block betrachtet man als bewegt, falls die Zahl von sich bewegenden oder Bewegtpixeln im Block, d. h. diejenigen mit eine bestimmte Schwelle übersteigenden Helligkeitsdifferenzen, eine andere Schwelle übersteigt. Weder offenbart jedoch dieses Dokument weder einen Bestimmungsschritt noch ein Szenenänderungs-Detektiermittel zum Detektieren einer Änderung von Szenen gemäß der Menge von Codes benachbarter Rahmen und den Bedingungen zum Detektieren einer Änderung von Szenen, noch schlägt sie derartiges vor.
EP 0 473 384 lehrt einen Rahmen- oder Frame-Dropping- Prozeß, in dem eine Bewegung zwischen den Blöcken aus einer Differenz der Pixeldaten zwischen benachbarten Rahmen mittels einer Unterabtastung detektiert wird. Weder offenbart jedoch dieses Dokument weder einen Bestimmungsschritt noch ein Szenenänderungs-Detektiermittel zum Detektieren einer Änderung von Szenen gemäß der Menge von Codes benachbarter Rahmen und den Bedingungen zum Detektieren einer Änderung von Szenen, noch schlägt sie derartiges vor.
US 4,809,067 offenbart ein Verfahren, um die Codemenge codierter Daten zum Bestimmen der Gültigkeit eines Blockes zu verwenden. Sie lehrt ein Codiergerät, das den Grad einer Kompression für jeden Rahmen durch Bestimmen der Gültigkeit jedes Eingangsblockes eines Rahmens in einer Vektorquantisierung gemäß dem Vergleich zwischen den differentiellen Daten (d. h. dem Differential zwischen dem Eingangsblock und dem ausgewählten Block) und bestimmten Schwellenwerten steuert; und es ändert und steuert auch diese Schwellenwerte gemäß der Codemenge codierter Daten in einem Übertragungsdatenpuffer. Sie lehrt jedoch nicht die Verwendung der Codemenge, um die Änderung einer Szene eines Bildes zu detektieren. Sie lehrt auch keinen Vergleich der Codemengen von Bilddaten zwischen zwei aufeinanderfolgenden Rahmen; vielmehr lehrt sie ein Vergleichen der Codemenge partieller Bilddaten in einem Rahmen mit Schwellenwerten. Ferner lehrt dieses Dokument ein Verfahren nur zum Lösen eines Problems, das sich aus einer Vektorquantisierung in Einheiten von Blöcken ergibt. Eine Ausführungsform der Erfindung kann jedoch die im Codierprozeß erhaltene Codemenge verwenden, ohne das zum Codieren eines Blockes verwendete Verfahren zu beschränken.
Nun wird beispielhaft auf die beiliegenden Zeichnungen Bezug genommen, in denen:
Fig. 1 das Blockdiagramm ist, das die herkömmliche Codiervorrichtung für statische Bilder zeigt;
Fig. 2 das Blockdiagramm ist, das die herkömmliche Rekonstruiervorrichtung für statische Bilder zeigt;
Fig. 3 das Blockdiagramm ist, das die herkömmliche Bildcodiervorrichtung (nur den Basisteil) zeigt;
Fig. 4 das Blockdiagramm ist, das die herkömmliche Bildrekonstruiervorrichtung (nur den Basisteil) zeigt;
Fig. 5 das Flußdiagramm ist, das das Prinzip des ersten Bilddaten-Codierverfahrens zeigt;
Fig. 6 das Blockdiagramm ist, das das Prinzip der ersten Bilddaten-Codiervorrichtung angibt
Fig. 7 das Flußdiagramm ist, das das Prinzip des ersten Szenenänderungs-Detektierverfahrens angibt;
Fig. 8 das Blockdiagramm ist, das das Prinzip der ersten Szenenänderungs-Detektiervorrichtung angibt;
Fig. 9 das Flußdiagramm ist, das das Prinzip des zweiten Bilddaten-Codierverfahrens angibt;
Fig. 10 das Blockdiagramm ist, das das Prinzip der zweiten Szenenänderungs-Detektiervorrichtung und der zweiten Bilddaten-Codiervorrichtung angibt;
Fig. 11 das Prinzip der dritten Bilddaten-Codiervorrichtung zeigt;
Fig. 12 das Flußdiagramm ist, das das Prinzip des zweiten Szenenänderungs-Detektierverfahrens angibt;
Fig. 13 das Blockdiagramm ist, das das Prinzip der dritten und vierten Szenenänderungs-Detektiervorrichtung angibt;
Fig. 14 das Blockdiagramm ist, das die Bildcodiervorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt,
Fig. 15 ein Beispiel einer Konfiguration der Codiereinheit der Bewegtbild-Codiervorrichtung gemäß der ersten Ausführungsform zeigt;
Fig. 16 die Konfiguration (1) codierter Bewegtbild- Datengruppen zeigt;
Fig. 17 die Konfiguration (2) codierter Bewegtbild- Datengruppen zeigt;
Fig. 18 das Flußdiagramm ist, das die Basisoperation der Bildcodiervorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung angibt;
Fig. 19 das Blockdiagramm ist, das die Bildcodiervorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 20 das Blockdiagramm ist, das die Szenenänderungs- Detektiervorrichtung gemäß der dritten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 21 das Blockdiagramm ist, das die Szenenänderungs- Detektiervorrichtung gemäß der vierten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 22 das Verfahren (1) zum Reduzieren der Menge gerahmter Bilddaten zeigt;
Fig. 23 das Verfahren (2) zum Reduzieren der Menge gerahmter Bilddaten zeigt;
Fig. 24 das Verfahren (3) zum Reduzieren der Menge von gerahmten Bilddaten zeigt;
Fig. 25 das Verfahren (4) zum Reduzieren der Menge gerahmter Bilddaten zeigt;
Fig. 26 das Flußdiagramm ist, das die Basisoperation der Szenenänderungs-Detektiervorrichtung gemäß den dritten und vierten Ausführungsformen angibt;
Fig. 27 das Flußdiagramm ist, das das Bilddaten-Codierverfahren gemäß der fünften Ausführungsform der vorliegenden Erfindung angibt;
Fig. 28 das Verfahren (1) zum Teilen eines Bildes in eine Mehrzahl kleiner Bereiche zeigt;
Fig. 29 das Verfahren (2) zum Teilen eines Bildes in eine Mehrzahl kleiner Bereiche zeigt;
Fig. 30 das Verfahren (3) zum Teilen eines Bildes in eine Mehrzahl kleiner Bereiche zeigt;
Fig. 31 das Verfahren (4) zum Teilen eines Bildes in eine Mehrzahl kleiner Bereiche zeigt;
Fig. 32 das Blockdiagramm ist, das die Szenenänderungs- Detektiervorrichtung gemäß der sechsten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 33 das Blockdiagramm ist, das Szenenänderungs- Detektiervorrichtung gemäß der siebten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 34 das Blockdiagramm ist, das die Bildcodiervorrichtung gemäß der achten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 35 das Blockdiagramm ist, das die Bildcodiervorrichtung gemäß der neunten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 36 das Flußdiagramm ist, das das Verfahren zum Detektieren einer Änderung von Szenen gemäß der zehnten Ausführungsform der vorliegenden Erfindung angibt;
Fig. 37 das Blockdiagramm ist, das die Szenenänderungs- Detektiervorrichtung gemäß der elften Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 38 ein Beispiel einer Anwendung der Szenenänderungs-Detektiervorrichtung gemäß der elften Ausführungsform zeigt;
Fig. 39 das Blockdiagramm ist, das die Szenenänderungs- Detektiervorrichtung gemäß der 12-ten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 40 das Blockdiagramm ist, das die Szenenänderungs- Detektiervorrichtung gemäß der 13-ten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 41 das Blockdiagramm ist, das die Szenenänderungs- Detektiervorrichtung gemäß der 14-ten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 42 ein Beispiel einer praktischen Operation der Szenenänderungs-Detektiervorrichtung gemäß der 11-ten bis 14- ten Ausführungsformen der vorliegenden Erfindung zeigt;
Fig. 43 das Prinzip zum Detektieren einer Änderung von Szenen in einem segmentierten Bereich gemäß der Differenz in der Menge von Codes zeigt;
Fig. 44 das Verfahren zum Bezeichnen eines segmentierten Bereichs (Detektionsbereich) in einem Rahmen zeigt;
Fig. 45 das Blockdiagramm ist, das die Szenendetektier- und Aufzeichungsvorrichtung gemäß der 15-ten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 46 die Korrelation (1) zwischen der Menge von Codes und einem Aufzeichnungsanweisungssignal zeigt;
Fig. 47 die Korrelation (2) zwischen der Menge von Codes und einem Aufzeichnungsanweisungssignal zeigt;
Fig. 48 die Korrelation (3) zwischen der Menge von Codes und einem Aufzeichnungsanweisungssignal zeigt;
Fig. 49 das Blockdiagramm ist, das die Szenenänderungsdetektions-Anzeigevorrichtung gemäß der 16-ten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 50 die Konfiguration eines Bildsignals für Bilddaten zeigt;
Fig. 51 das Blockdiagramm ist, das die Szenenänderungsdetektions-Anzeigevorrichtung gemäß der 17-ten Ausführungsform der vorliegenden Erfindung zeigt;
Fig. 52 die Differenz in der Menge von Codes zeigt; und
Fig. 53A und 53B die Korrelation zwischen der Menge von Codes und einem Zwischenstoppsignal zeigen.
Das erste Bilddaten-Codierverfahren umfaßt einen Detektionsbedingungs-Speicherschritt 1 zum Speichern einer zum Detektieren eines szenengeänderten Rahmens eingestellten Detektionsbedingung, einen Codierschritt 2 zum Codieren von Bilddaten eines Eingaberahmens, einen Codemengen-Speicherschritt 3 zum Speichern der Menge von Codes in den im Codierschritt 2 codierten Daten vorheriger und vorliegender Rahmen, einen Bestimmungsschritt 4 zum Bestimmen, ob der vorliegende Rahmen ein szenengeänderter Rahmen ist oder nicht, gemäß der Menge von Codes der vorherigen und vorliegenden Rahmen, die in dem Codemengen-Speicherschritt 3 gespeichert wurden, und der zum Detektieren eines szenengeänderten Rahmens eingestellten Be dingung, die im Detektionsbedingungs-Speicherschritt 1 gespeichert wurde, und einen Ausgabeschritt 5 zum Ausgeben, als ein Bestimmungsergebnis des Bestimmungsschrittes 4, der codierten Daten, die in dem Codemengen-Speicherschritt 3 erzeugt wurden, und eines Codes, der einen szenengeänderten Rahmen angibt, falls der vorliegende Rahmen ein szenengeänderter Rahmen ist, und nur der codierten Daten, falls der vorliegende Rahmen kein szenengeänderter Rahmen ist. Das Verfahren ist so konfiguriert, daß der Codierschritt 2, der Codemengen-Speicherschritt 3, der Bestimmungsschritt 4 und der Ausgabeschritt 5, die oben aufgelistet sind, an Bilddaten in einer Mehrzahl von Rahmen ausgeführt werden, deren Daten codiert werden sollen.
Fig. 6 ist das Blockdiagramm, das das Prinzip der ersten Bilddaten-Codiervorrichtung angibt. Die Bilddaten-Codiervorrichtung umfaßt eine Rahmencodiereinheit 8 zum sequentiellen Codieren von Bilddaten in einem Eingaberahmen, eine codierte Daten eines Rahmens speichernde Einheit 9 zum Speichern codierter Daten von Rahmen, deren Daten durch die Rahmencodiereinheit 8 codiert werden, eine Detektionsbedingungs- Speichereinheit 10 zum Speichern der Bedingung, die zum Detektieren, daß ein durch die Rahmencodiereinheit 8 codierter Rahmen ein szenengeänderter Rahmen ist, eingestellt wurde, eine einen szenengeänderten Rahmen detektierende Einheit 11 zum Detektieren eines szenengeänderten Rahmens gemäß der Differenz in der Menge von Codes zwischen den in der Rahmencode- Speichereinheit 9 gespeicherten codierten Daten in dem vorherigen Rahmen und den durch die Rahmencodiereinheit 8 codierten Daten in dem vorliegenden Rahmen und der durch die Detektionsbedingungs-Speichereinheit 19 gespeicherten Detektionsbedingung und eine Ausgabeeinheit 12 zum Ausgeben in der Rahmencode-Speichereinheit 9 gespeicherter codierter Daten und codierter Daten, die einen szenengeänderten Rahmen angeben, für einen szenengeänderten Rahmen, der durch die einen szenengeänderten Rahmen detektierende Einheit 11 detektiert wurde, und Ausgeben nur der codierten Daten für einen normalen Rahmen (kein szenengeänderter Rahmen).
Die oben beschriebene Detektionsbedingungs-Speichereinheit 10 speichert als die Detektionsbedingung eines szenengeänderten Rahmens z. B. einen Standardwert der Differenz in der Menge von Codes zwischen benachbarten Rahmen. Sie speichert auch beispielsweise den Standardwert der Rate einer Differenz in der Menge von Codes zwischen benachbarten Rahmen als die Detektionsbedingung eines szenengeänderten Rahmens.
Fig. 7 ist das Flußdiagramm, das das Prinzip des ersten Szenenänderungs-Detektierverfahrens angibt. Das Szenenänderungs-Detektierverfahren umfaßt einen Detektionsbedingungs- Speicherschritt 23 zum Speichern einer zum Detektieren von Änderungen von Szenen in Bewegtbilddaten eingestellten Detektionsbedingung, einen Codierschritt 24 zum Codieren von Bilddaten in einem Rahmen, einen Codemengen-Speicherschritt 25 zum Speichern der Menge von durch den Codierschritt 24 codierten Codes in einem Rahmen, einen Szenenänderungs-Bestimmungsschritt 26 zum Bestimmen einer Änderung von Szenen gemäß der durch den Codemengen-Speicherschritt 25 gespeicherten Menge von Codes der vorherigen und vorliegenden Rahmen und der durch den Detektionsbedingungs-Speicherschritt 23 gespeicherten Detektionsbedingung und einen Änderungssignal-Abgabeschritt zum Abgeben eines Szenenänderungs-Detektionssignals gemäß dem Bestimmungsergebnis des Szenenänderungs-Bestimmungsschritts 26.
Der oben beschriebene Codierschritt 24 reduziert ein Ursprungsbild und führt einen Codierprozeß an Bilddaten mit der reduzierten Datenmenge durch.
Fig. 8 ist das Blockdiagramm, das das Prinzip der ersten Szenenänderungs-Detektiervorrichtung 1500 angibt.
Die Szenenänderungs-Detektiervorrichtung umfaßt eine Detektionsbedingungs-Speichereinheit 28 zum Speichern der zum Detektieren von Änderungen von Szenen in Bewegtbilddaten eingestellten Bedingung, eine eine Codemenge in einem vorherigen Rahmen speichernde Einheit 29 zum Speichern der Menge von Codes in Bilddaten im vorherigen Rahmen, eine eine Codemenge in einem vorliegenden Rahmen speichernde Einheit 30 zum Speichern der Menge von Codes in Bilddaten im vorliegenden Rahmen, eine Codedifferenz-Speichereinheit 31 zum Erhalten der Differenz zwischen der Menge von Codes in dem vorherigen Rahmen, die in der eine Codemenge in einem vorherigen Rahmen speichernden Einheit 29 gespeichert wurde, und der Menge von Codes in dem vorliegenden Rahmen, die in der eine Codemenge in einem vorliegenden Rahmen speichernden Einheit 30 gespei chert wurde, und Speichern der Differenz und eine Szenenänderungs-Detektiereinheit 32 zum Detektieren von Änderungen von Szenen gemäß der Differenz in der Menge von Codes, die in der Codedifferenz-Speichereinheit 31 gespeichert wurde, und der in der Detektionsbedingungs-Speichereinheit 28 gespeicherten Detektionsbedingung und Abgeben eines Szenenänderungs-Detektionssignals, wenn Änderungen von Szenen detektiert werden.
Fig. 9 ist das Flußdiagramm, das das Prinzip des zweiten Bilddaten-Codierverfahrens angibt.
Das Bilddaten-Codierverfahren umfaßt einen eine Szenenänderungs-Detektionsbedingung speichernden Schritt 41 zum Speichern der zum Detektieren einer Änderung von Szenen eingestellten Bedingung, einen Bereiche-Teilungsschritt 42 zum Teilen von Bilddaten in einem Eingaberahmen in eine Mehrzahl kleiner Bereiche, einen Codierschritt 43 zum Codieren der Bilddaten separat für jeden kleinen Bereich des Eingaberahmens, der in dem Bereiche-Teilungsschritt 42 erhalten wurde, einen Codemengen-Speicherschritt 44 zum Berechnen und Speichern der Menge von Codes codierter Daten in jedem kleinen Bereich, die im Codierschritt 43 erhalten wurden, einen Codemengendifferenz-Berechnungsschritt 45 zum Erhalten einer vorbestimmten Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in jedem kleinen Bereich gemäß der im Codemengen-Speicherschritt 44 gespeicherten Menge von Codes der vorliegenden und vorherigen Rahmen in jedem kleinen Bereich, einen Bestimmungsschritt 46 zum Bestimmen, ob der vorliegende Rahmen ein szenengeänderter Rahmen ist oder nicht, gemäß der im Codemengendifferenz- Berechnungsschritt 45 berechneten Differenz in der Menge von Codes in jedem kleinen Bereich zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen und der Detektionsbedingung, die in dem eine Szenenänderungs-Detektionsbedingung speichernden Schritt 41 gespeichert wurde, und einen Ausgabeschritt 47 zum Ausgeben von im Codierschritt 43 codierten Daten von Bilddaten zusammen mit einem Code, der angibt, daß der vorliegende Rahmen ein szenengeänderter Rahmen ist, falls im Bestimmungsschritt 46 bestimmt wird, daß der vorliegende Rahmen ein szenengeänderter Rahmen ist, und Ausgeben allein der im Codierschritt 43 codierten Daten der Bilddaten, falls bestimmt wird, daß der vorliegende Rahmen kein szenengeänderter Rahmen ist.
Das zweite Bilddaten-Codierverfahren kann z. B. auch wie folgt entworfen sein. Das heißt, eine in dem eine Szenenänderungs-Detektionsbedingung speichernden Schritt 41 gespeicherte Detektionsbedingung nimmt Bezug auf einen Standardwert der Summe von Absolutwerten der Differenzen zwischen den vorliegenden und vorherigen Rahmen für alle kleinen Bereiche. Der Codemengendifferenz-Berechnungsschritt 45 erhält die Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich. Der Bestimmungsschritt 46 erhält die Summe von Absolutwerten der Differenzen in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen, und die Summe kann mit dem Standardwert verglichen werden, um einen szenengeänderten Rahmen zu detektieren.
Die folgende Konfiguration kann gleichfalls realisiert werden. Das heißt, eine in dem eine Szenenänderungs- Detektionsbedingung speichernden Schritt gespeicherte Detektionsinformation nimmt Bezug auf den Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereiche. Der Codemengendifferenz-Berechnungsschritt 45 erhält die Rate der Differenz zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich. Der Bestimmungsschritt 46 kann die Durchschnittsrate einer Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich erhalten, um einen szenengeänderten Rahmen zu detektieren, indem die Durchschnittsrate einer Differenz mit dem oben beschriebenen Standardwert verglichen wird.
Überdies kann z. B. der Bereiche-Teilungsschritt 42 einen Eingaberahmen in zwei kleine Bereiche, d. h. ungerade Felder und gerade Felder, teilen.
Zum Beispiel kann der Bereiche-Teilungsschritt 42 einen Eingaberahmen in kleine Bereiche teilen, die jeweils eine Farbkomponente angeben, wenn sich der Eingaberahmen auf Farbbilddaten bezieht.
Überdies kann beispielsweise der Bereiche-Teilungsschritt 42 einen Eingaberahmen gleich in eine Mehrzahl von Blöcken als kleine Bereiche teilen.
Bilddaten in kleinen Bereichen können z. B. parallel im Codierschritt 43 codiert werden.
Fig. 10 ist das Blockdiagramm, das das Prinzip der zweiten Szenenänderungs-Detektiervorrichtung 1600 und der zweiten Bilddaten-Codiervorrichtung angibt. Die zweite Szenenänderungs-Detektiervorrichtung 1600 umfaßt eine Detektionsbedingungs-Einstelleinheit 55 zum Speichern der zum Detektieren eines szenengeänderten Rahmens eingestellten Bedingung, eine Kleine-Bereiche-Teilungseinheit 56 zum Teilen von Bilddaten in einem Eingaberahmen in eine Mehrzahl kleiner Bereiche, eine Codiereinheit 57 zum individuellen Codieren von Bilddaten in der Mehrzahl von kleinen Bereichen, die durch die Kleiner- Bereich-Teilungseinheit 56 erhalten wurden, eine eine Codemenge kleiner Bereiche in einem vorherigen Rahmen speichernde Einheit 58 zum Berechnen und Speichern der Menge von Codes von Daten, die durch die Codiereinheit 57 codiert wurden, in allen kleinen Bereichen in dem vorherigen Rahmen, eine Codemengendifferenz-Berechnungseinheit 59 zum Berechnen der Menge von Codes von Daten, die durch die Codiereinheit 57 codiert wurden, in allen kleinen Bereichen in dem vorliegenden Rahmen und Erhalten der Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen in jedem kleinen Bereich gemäß der erhaltenen Menge von Codes in jedem der kleinen Bereiche in dem vorliegenden Rahmen und der Menge von Codes in jedem der kleinen Bereiche, die in der eine Codemenge kleiner Bereiche in einem vorherigen Rahmen speichernden Einheit 58 gespeichert wurden, und eine einen szenengeänderten Rahmen detektierende Einheit 60 zum Detektieren eines szenengeänderten Rahmens gemäß der durch die Codemengendifferenz-Berechnungseinheit 59 berechneten Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle kleinen Bereiche und der durch die Detektionsbedingungs-Einstelleinheit 55 gespeicherten Detektionsbedingung und Abgeben eines Szenenänderungssignals, das einen szenengeänderten Rahmen angibt, falls ein szenengeänderter Rahmen detektiert wurde.
Die zweite Szenenänderungs-Detektiervorrichtung 1600 kann z. B. auch wie folgt entworfen sein. Das heißt, die Detektionsbedingungs-Einstelleinheit 55 speichert als die Detektionsbedingung den Standardwert der Summe der Absolutwerte der Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle kleinen Bereiche. Die Codemengendifferenz-Berechnungseinheit 59 erhält die Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für jeden der kleinen Bereiche. Die einen szenengeänderten Rahmen detektierende Einheit 60 erhält die Summe von Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle kleinen Bereiche und detektiert einen szenengeänderten Rahmen durch Vergleichen der Summe mit dem oben beschriebenen Standardwert.
Beispielsweise speichert die Detektionsbedingungs- Einstelleinheit 55 als die Detektionsbedingung den Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen. Die Codemengendifferenz-Berechnungseinheit 59 erhält die Rate der Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für jeden der kleinen Bereiche. Die einen szenengeänderten Rahmen detektierende Einheit 60 erhält die Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für kleine Bereiche und vergleicht die Durchschnittsrate einer Differenz mit dem oben beschriebenen Standardwert.
Die zweite Bilddaten-Codiervorrichtung umfaßt die zweite Szenenänderungs-Detektiervorrichtung, eine Rahmencodiereinheit 61 zum Codieren von der Szenenänderungs-Detektiervorrichtung zugeführten Bilddaten und eine Datenausgabeeinheit 62 zum Ausgeben eines einen szenengeänderten Rahmen angebenden Codes zusammen mit den durch die Rahmencodiereinheit 61 codierten Daten der Bilddaten, falls durch die Szenenänderungs-Detektiervorrichtung bestimmt wird, daß ein Rahmen ein szenengeänderter Rahmen ist, und zum Ausgeben allein der durch die Rahmencodiereinheit 61 codierten Daten der Bilddaten, falls bestimmt wird, daß ein Rahmen kein szenengeänderter Rahmen ist.
Fig. 11 ist das Blockdiagramm, das das Prinzip der dritten Bilddaten-Codiervorrichtung angibt.
Die Bilddaten-Codiervorrichtung umfaßt die zweite Szenenänderungs-Detektiervorrichtung, eine Rahmencodiereinheit 63 zum Codieren von der Szenenänderungs-Detektiervorrichtung zugeführten Bilddaten, eine Änderungsrahmen-Speichereinheit 64 zum Speichern der Identifizierungsinformation über den Rahmen, der durch die Szenenänderungs-Detektiervorrichtung als ein szenengeänderter Rahmen detektiert wurde, und eine Datenausgabeeinheit 65 zum sequentiellen Ausgeben von durch die Rahmencodiereinheit 63 codierten Bilddaten und zum Ausgeben der Identifizierungsinformation über alle, in der einen szenengeänderten Rahmen speichernden Einheit gespeicherten szenengeänderten Rahmen, nachdem alle codierten Daten ausgegeben wurden.
Fig. 12 ist das Flußdiagramm, das das Prinzip des zweiten Szenenänderungs-Detektierverfahrens angibt.
Das Szenenänderungs-Detektierverfahren ist ein Szenenänderungs-Detektierverfahren zum Detektieren einer Änderung von Szenen in Bewegtbilddaten. Es umfaßt einen Segmentierungsinformations-Speicherschritt 72 zum Speichern einer Segmentierungsinformation, die alle Bereiche angibt, die aus Bilddaten in Eingaberahmen extrahiert werden sollen, einen Detektionsbedingungs-Speicherschritt 73 zum Speichern der zum Detektieren eines szenengeänderten Rahmens eingestellten Bedingung, worin ein Bild die Differenz von dem im vorherigen Rahmen angibt, einen Bildsegmentierschritt 74 zum Segmentieren von Bilddaten in allen Bereichen, die durch die Segmentierungsinformation spezifiziert wurden, aus den Bilddaten in Eingaberahmen gemäß der im Segmentierungsinformations- Speicherschritt 72 gespeicherten Segmentierungsinformation, einen Codierschritt 75 zum Codieren von Bilddaten in allen Bereichen, die in dem Bildsegmentierschritt 74 segmentiert wurden, einen Codemengen-Speicherschritt 76 zum Speichern der Menge von Codes der Daten, die in Codierschritt 75 codiert wurden, in allen Bereichen in dem vorherigen Rahmen, einen Codemengendifferenz-Berechnungsschritt 77 zum Berechnen einer vorbestimmten Differenz zwischen der Menge von Codes in den Daten, die durch den Codierschritt 75 codiert wurden, in allen spezifizierten Bereichen in dem vorliegenden Rahmen und der in dem Codemengen-Speicherschritt 76 gespeicherten Menge von Codes in den codierten Daten in dem vorherigen Rahmen und einen Szenenänderungs-Detektierschritt 78 zum Bestimmen, ob eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich vorliegt oder nicht, gemäß der in dem Codemengendifferenz- Berechnungsschritt 77 berechneten Differenz und der in dem Detektionsbedingungs-Speicherschritt 76 gespeicherten Detektionsbedingung und Abgeben eines Szenenänderungssignals, falls die Bestimmung einen szenengeänderten Rahmen angibt.
Das zweite Szenenänderungs-Detektierverfahren kann auch wie folgt entworfen sein. Das heißt, die in dem Detektionsbedingungs-Speicherschritt 73 gespeicherte Detektionsbedingung bezieht sich auf den Standardwert der Summe der Absolutwerte der Differenzen in der Menge von Codes. Der Codemengendifferenz-Berechnungsschritt 77 erhält die Summe der Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche. Der Szenenänderungs-Detektierschritt 78 bestimmt, ob es eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich gibt oder nicht, indem die Summe der Absolutwerte der in dem Codemengendifferenz-Berechnungsschritt 77 berechneten Differenzen in der Menge von Codes mit dem oben beschriebenen Standardwert verglichen wird.
Die in dem Detektionsbedingungs-Speicherschritt 73 gespeicherte Detektionsbedingung bezieht sich gleichfalls auf den Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes. Der Codemengendifferenz-Berechnungsschritt 77 erhält die Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche. Der Szenenänderungs- Detektierschritt 78 bestimmt, ob es eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich gibt oder nicht, indem die Durchschnittsrate einer Differenz in der Menge von Codes, die in dem Codemengendifferenz-Berechnungsschritt 77 berechnet wurde, mit dem oben beschriebenen Standardwert verglichen wird.
Überdies kann der Bildsegmentierschritt 74 ausgelegt sein, um Bilddaten eines spezifizierten Bereichs in komprimierten Bilddaten, die durch Komprimieren von Ursprungsbilddaten in einem Rahmen durch ein vorbestimmtes Komprimierverfahren erhalten wurden, zu segmentieren.
Fig. 13 ist das Blockdiagramm, das das Prinzip der dritten Szenenänderungs-Detektiervorrichtung 1700 und der vierten Szenenänderungs-Detektiervorrichtung 1800 angibt. Die dritte Szenenänderungs-Detektiervorrichtung 1700 detektiert eine Änderung von Szenen in Bewegtbilddaten. Sie umfaßt eine Segmentierungsinformations-Speichereinheit 81 zum Speichern einer Segmentierungsinformation, die alle Bereiche angibt, die aus Bilddaten in Eingaberahmen extrahiert werden sollen, eine Detektionsbedingungs-Speichereinheit 82 zum Speichern der Bedingung, die zum Detektieren eines szenengeänderten Rahmens eingestellt wurde, worin ein Bild die Differenz von dem in dem vorherigen Rahmen angibt, eine Bildsegmentiereinheit 83 zum Segmentieren von Bilddaten in allen Bereichen, die durch die Segmentierungsinformation spezifiziert wurden, aus Bilddaten in Eingaberahmen gemäß der in der Segmentierungsinformations-Speichereinheit 81 gespeicherten Segmentierungsinformation, eine Codiereinheit 84 zum Codieren von Bilddaten in allen Bereichen, die in der Bildsegmentiereinheit 83 segmentiert wurden, eine Codemengen-Speichereinheit 85 zum Speichern der Menge von Codes der Daten, die in der Codiereinheit 84 codiert wurden, in allen Bereichen in dem vorherigen Rahmen, eine Codemengendifferenz-Berechnungseinheit 86 zum Berechnen einer vorbestimmten Differenz zwischen der Menge von Codes in den durch die Codiereinheit 84 codierten Daten in allen spezifizierten Bereichen in dem vorliegenden Rahmen und der in der Codemenge-Speichereinheit 85 gespeicherten Menge von Codes in den codierten Daten in dem vorherigen Rahmen und eine Szenenänderungs-Detektiereinheit 87 zum Bestimmen, ob es eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem durch die Bildsegmentiereinheit 83 segmentierten Bereich gibt oder nicht, gemäß der in der Codemengendifferenz-Berechnungseinheit 86 berechneten Differenz in der Menge von Codes und der in der Detektionsbedingungs-Speichereinheit 83 gespeicherten Detektionsbedingung und Abgeben eines Szenenänderungssignals, falls die Bestimmung einen szenengeänderten Rahmen angibt.
Die dritte Szenenänderungs-Detektiervorrichtung 1700 kann z. B. auch wie folgt entworfen sein. Das heißt, die Detektionsbedingung bezieht sich auf den Standardwert der Summe der Absolutwerte der Differenzen in der Menge von Codes. Die Codemengendifferenz-Berechnungseinheit 86 erhält die Summe der Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche. Die Szenenänderungs-Detektiereinheit 87 bestimmt, ob es eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich gibt oder nicht, indem die Summe der Absolutwerte der in der Codemengendifferenz-Berechnungseinheit 86 berechneten Differenzen in der Menge von Codes mit dem oben beschriebenen Standardwert verglichen werden.
Überdies kann sich die Detektionsbedingung auf die Durchschnittsrate einer Differenz in der Menge von Codes beziehen. Die Codemengendifferenz-Berechnungseinheit 86 erhält die Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche. Die Szenenänderungs-Detektiereinheit 87 bestimmt, ob es eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich gibt oder nicht, indem die Durchschnittsrate einer in der Codemengendifferenz-Berechnungseinheit 86 berechneten Differenz in der Menge von Codes mit dem oben beschriebenen Standardwert verglichen wird.
Wenn es eine Mehrzahl spezifizierter Bereiche gibt, kann außerdem beispielsweise die Codiereinheit 84 Bilddaten gleichzeitig für diese Bereiche codieren, als ob sie ein einziger Bereich wären.
Die vierte Szenenänderungs-Detektiereinheit 1800 kann überdies so entworfen sein, daß sie ferner zusätzlich zu der dritten Szenenänderungs-Detektiervorrichtung eine Datenreduziereinheit 89 zum Reduzieren von Bilddaten von Eingaberahmen durch ein vorbestimmtes Verfahren aufweist. Die Bildsegmentiereinheit 82 segmentiert Bilddaten eines spezifizierten Bereichs in den durch die Datenreduziereinheit 89 komprimierten Bilddaten in Eingaberahmen.
Überdies kann die Bildsegmentiereinheit 82 dafür ausgelegt sein, um die Bilddaten in Eingaberahmen für die anderen Bereiche als einen spezifizierten Bereich zu maskieren und an die Codiereinheit 84 die durch den Maskierprozeß erhaltenen Bilddaten als zu codierende Bilddaten auszugeben.
Als nächstes wird jedes der oben beschriebenen Verfahren und jede der oben beschriebenen Vorrichtungen im folgenden erläutert.
Zuerst detektieren das erste Bilddaten-Codierverfahren und die erste Bilddaten-Codiervorrichtung einen szenengeänderten Rahmen (einen eine Änderung von Szenen angebenden Rahmen) auf der Basis der Differenz in der Menge von Codes zwischen benachbarten Rahmen und geben einen einen szenengeänderten Rahmen angebenden Code bei der Detektion eines szenengeänderten Rahmens aus. Entsprechend werden Bewegtbilddaten codiert, so daß codierte Daten, die einen szenengeänderten Rahmen angeben, gegen diejenigen eines normalen Rahmens (einen keine Änderung von Szenen enthaltenden Rahmen) leicht unterschieden werden können.
Gemäß dem ersten Bilddaten-Codierverfahren und der ersten Bilddaten-Codiervorrichtung werden überdies nur die einen szenengeänderten Rahmen angebenden codierten Daten extrahiert, um Ursprungsbilddaten aus Bewegtbilddaten zu rekonstruieren, die gemäß dem ersten Bilddaten-Codierverfahren und der ersten Bilddaten-Codiervorrichtung codiert wurden. Demgemäß können nur die einen szenengeänderten Rahmen angebenden codierten Daten aus codierten Bewegtbilddaten extrahiert werden, und die Bilder für den szenengeänderten Rahmen können auf einem Bildschirm in einem vorbestimmten Format angezeigt werden.
Gemäß dem ersten Szenenänderungs-Detektierverfahren und der ersten Szenenänderungs-Detektiervorrichtung 1500 kann eine Änderung von Szenen in Bewegtbilddaten gemäß der Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen und einer vorbestimmten Detektionsbedingung (Standardwert) detektiert werden, und ein Szenenänderungs-Detektionssignal kann bei der Detektion einer Änderung von Szenen an eine externe Vorrichtung abgegeben werden.
Gemäß dem zweiten Bilddaten-Codierverfahren und der zweiten Szenenänderungs-Detektiervorrichtung 1600 wird ein Rahmen in eine Mehrzahl kleiner Bereiche geteilt, und eine Differenz (ein Absolutwert der Differenz in der Menge von Codes oder eine Rate der Differenz in der Menge von Codes). Die gesamte Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen (die Summe der Absolutwerte der Differenzen in der Menge von Codes für alle kleinen Bereiche oder eine Durchschnittsrate einer Differenz in der Menge von Codes für alle kleinen Bereiche) wird dann erhalten. Die Differenz wird dann mit einer vorbestimmten Detektionsbedingung (Standardwert) verglichen, um einen szenengeänderten Rahmen zu detektieren, in dem eine Szene von derjenigen im vorherigen Rahmen verschieden ist. Bei der Detektion eines szenengeänderten Rahmens wird ein externes Szenenänderungssignal abgegeben. Somit kann ein szenengeänderter Rahmen mit hoher Genauigkeit detektiert werden.
Gemäß dem zweiten Bilddaten-Codierverfahren und den zweiten und dritten Bilddaten-Codiervorrichtungen können Bewegtbilddaten so codiert werden, daß codierte Daten eines detektierten szenengeänderten Rahmens aus normalen Rahmen (keine szenengeänderten Rahmen) leicht extrahiert werden können.
Gemäß dem zweiten Szenenänderungs-Detektierverfahren und den dritten und vierten Szenenänderungs-Detektiervorrichtungen 1700 und 1800 kann eine Änderung von Bildern (Änderung von Szenen) in einem spezifischen Bereich auf der Basis der Differenz in der Menge von Codes in dem spezifischen Bereich in benachbarten Rahmen detektiert werden.
Praktischere Ausführungsformen der vorliegenden Erfindung werden im folgenden durch Bezugnehmen auf die beigefügten Zeichnungen wie folgt erläutert:
Fig. 14 ist das Blockdiagramm, das die Bewegtbilddaten- Codiervorrichtung gemäß der ersten Ausführungsform zeigt.
In Fig. 14 werden Bewegtbilddaten, die in einer Reihe von Rahmen extern codiert werden sollen, einem Eingangsanschluß 110a zugeführt. Eine Codiereinheit 111 codiert sequentiell dem Eingangsanschluß 110a zugeführte Bilddaten in Rahmeneinheiten. Ein Codepuffer 112 speichert codierte Daten in einem Rahmen, die durch die Codiereinheit 111 erzeugt wurden, berechnet die Menge von Codes in den codierten Daten und gibt die codierten Daten und die Menge von Codes an einen Schalter 115 bzw. eine Szenenänderungs-Bestimmungseinheit 113 aus. Detektionsbedingungs-Bezeichnungsdaten werden verwendet, um eine Änderung von Szenen in einem Bewegtbild zu detektieren und die Differenz in der Menge von Codes (Absolutwert der Differenz in der Menge von Codes) zwischen benachbarten Rahmen zu bezeichnen. Diese Daten werden einem Eingangsanschluß 110b zugeführt. Auf ein Empfangen der Detektionsbedingungs- Bezeichnungsdaten hin stellt die Detektionsbedingungs-Einstelleinheit 114 eine Detektionsbedingung ein. Die Szenenänderungs-Bestimmungseinheit 115 detektiert eine Änderung von Szenen gemäß der Detektionsbedingung, die durch die Detektionsbedingungs-Einstelleinheit 114 eingestellt wurde.
Die Szenenänderungs-Bestimmungseinheit 113 berechnet die Differenz zwischen der Menge von Codes in einem Rahmen, die von dem Codepuffer 112 zugeführt wurde (die Menge von Codes im vorliegenden Rahmen) und der Menge von Codes im vorherigen Rahmen. Falls die Differenz einen größeren Wert als denjenigen angibt, der durch die Detektionsbedingungs-Einstelleinheit 114 als die Detektionsbedingung (Differenz in der Menge von Codes) bestimmt wurde, gibt die Szenenänderungs- Bestimmungseinheit 113 einen COS-Code (Change-of-scene-Code), der eine Änderung von Szenen angibt, zusammen mit einem aktiven Auswahlsignal an den Schalter 115 aus. Der Schalter 115 gibt vom Codepuffer 112 zugeführte codierte Daten in dem vorliegenden Rahmen aus, wenn ein Auswahlsignal nicht aktiv ist. Wenn ein Auswahlsignal aktiv ist, addiert der Schalter 115 zu den codierten Daten den COS-Code, der zusammen mit dem Auswahlsignal zugeführt wurde, wobei folglich codierte Daten erzeugt werden, die eine Änderung von Szenen angeben. Die codierten Daten ersetzen dann die oben beschriebenen normalen codierten Daten (codierte Daten in einem Rahmen, der keine Änderung von Szenen enthält) und werden extern durch ein Ausgangsanschluß 110c ausgegeben.
Fig. 15 ist das Blockdiagramm, das ein Beispiel der Konfiguration der Codiereinheit 111 der Bewegtbild-Codiervorrichtung zeigt. Eine Codiereinheit für statische Bilder wird in dem Beispiel verwendet.
In Fig. 15 umfaßt die Codiereinheit 111 einen Bilddaten- Eingangsanschluß 120a zum Zuführen, in Blockeinheiten, von Mehrwert-Bilddaten, die in eine Mehrzahl von Blöcken geteilt sind, die jeweils 8 · 8 Bildelemente umfassen, eine zweidimensionale-DCT-Einheit zum orthogonalen Transformieren, durch eine zweidimensionale DCT, eines Bildsignals für die zugeführten 8 · 8 Bildelemente in 8 · 8 zweidimensionale DCT- Koeffizienten, die als Ortsfrequenzen verteilt sind, und Aus geben des Ergebnisses, eine Linearquantisiereinheit 123 zum linearen Quantisieren jedes der zweidimensionalen DCT- Koeffizienten gemäß einer entsprechenden Quantisierungsschwelle in einer Quantisierungsmatrix 122, eine Einheit 124 zum Codieren mit veränderlicher Länge zum Empfangen quantisierter Koeffizienten, die durch die durch die Linearquantisiereinheit 123 durchgeführte Linear-Quantisierung erhalten wurden, und Codieren einer Kette der quantisierten Koeffizienten in Codes mit veränderlicher Länge durch Bezugnehmen auf eine Codetabelle 123, die eine für DC-Komponenten und AC- Komponenten getrennt vorgesehene Huffman-Code-Liste enthält, und einen Ausgangsanschluß 120b für codierte Daten zum Ausgeben der durch die Codiereinheit codierten Daten.
Die durch die Codiereinheit 221 codierten Daten erfüllen den JPEG-Standard. Da der JPEG-Standard ursprünglich auf codierte Daten für statische Bilder Anwendung findet, enthält er keine Regeln über codierte Daten für ein Bewegtbild. Das heißt, er weist keine Beschreibung eines Rahmens auf (siehe Kapitel 1 von "International Standards on Multimedia Encoding" von YASUDA, Hiroshi, veröffentlicht von Maruzen 1991). In der vorliegenden Ausführungsform werden die codierten Daten gemäß dem JPEG-Standard durch die in Fig. 22 gezeigte Codiereinheit in eine Mehrzahl von codierten Datengruppen editiert, die Bewegtbilddaten entsprechen. Fig. 22 zeigt die Konfiguration der codierten Datengruppen.
In Fig. 16 dargestellte codierte Datengruppen 130 zeigen eine Sequenz von Daten (Daten in einer Reihe von Rahmen). Die Sequenz startet mit einem SOM-Code (Start-of-motion-Code), der den Header oder Anfangsblock codierter Datengruppen 130 eines Bewegtbildes angibt, und endet mit einem EOM-Code (Endof-motion-Code), der das Ende der Gruppen angibt. Die Gruppen umfassen codierte Datenbereiche jedes Rahmens 130-0, 130-1, 130-2, 130-3, ..., 130-n zwischen dem Anfangsblock und dem Ende der Gruppen. Codierte Daten 130-ib-2 in jedem codierten Datenbereich 130-i (i = 0, 1, 2, 3, ..., n) (in Fig. 24 sind nur 130-Ob-2 und 130-3b-2 als Beispiele gezeigt) sind diejenigen für ein statisches Bild gemäß dem JPEG-Standard, denen ein SOI-Code (Start-of-image-Code) vorausgeht und die mit einem EOI-Code (Endof-image-Code) enden.
Falls eine Änderung von Szenen in einem Rahmen (der im folgenden als ein szenengeänderter Rahmen bezeichnet wird) detektiert wird, weist ein entsprechender codierter Datenbereich 130-i, wie für den codierten Datenbereich 130-0 angegeben ist, eine Rahmennummer 130-0a, einen codierten Datenbereich 130-0b für ein statisches Bild und einen COS-Code auf, der einen szenengeänderten Rahmen zwischen diesen Bereichen angibt.
Falls andererseits keine szenengeänderten Rahmen detektiert werden, kann ein codierter Datenbereich 130-i durch eine Rahmennummer 130-3a und einen codierten Datenbereich 130- 3b für ein statisches Bild allein konfiguriert sein.
Folglich werden codierte Datengruppen 130 so entworfen, daß eine Rekonstruiereinheit in einem szenengeänderten Rahmen codierte Daten 130-i gemäß der Existenz eines COS-Codes leicht extrahieren kann.
Fig. 17 zeigt ein anderes Beispiel der Konfiguration von codierten Bewegtbild-Datengruppen.
Codierte Datengruppen 140 beginnen gleichfalls mit einem SOM-Code, der zu dem Anfangsblock der Sequenz addiert ist, und enden mit einem EOM-Code. Jedoch weist jeder codierte Datenbereich 140-i, der zwischen dem Anfangsblock und dem Ende eingebettet werden soll, nur eine Rahmennummer 140-ia (i = 0, 1, ..., n) und einen codierten Datenbereich 140-ib (i = 0, 1, ..., n) auf. Zusätzliche Daten 140-F werden zwischen dem letzten codierten Datenbereich 140-n und einem EOM-Code addiert. Die zusätzlichen Daten 140-F speichern Daten 140-F1, die die Zahl detektierter Änderungen von Szenen (die Zahl eines szenengeänderten Rahmens) und beispielsweise Zahlen 10, 65, ..., 600 für szenengeänderte Rahmen als die Zahl szenengeänderter Rahmen angibt.
Wenn diese codierten Datengruppen 140 erzeugt werden, wird der Schalter 115 der in Fig. 22 gezeigten Codiervorrichtung so eingestellt, daß die vom Codepuffer 112 zugeführten codierten Daten an den Ausgangsanschluß 110c für codierte Daten ausgegeben werden. Die Zahl der COS-Code-Eingabeoperationen, die durch die Szenenänderungs-Bestimmungseinheit 113 durchgeführt werden, wird somit gezählt, und die Rahmenzahl in diesem Moment wird in einem (in Fig. 14 nicht gezeigten) internen Puffer gespeichert, um addierte Daten 140-F zu er zeugen. Wenn ein EOM-Code nach dem letzten Codedatenbereich 140-n eingegeben wird, werden folglich die erzeugten addierten Daten 140-F vor dem EOM-Code eingefügt.
Wenn codierte Daten in einer Speichereinheit vorübergehend gespeichert werden, können szenengeänderte Rahmen aus den oben beschriebenen codierten Datengruppen 140 leicht extrahiert werden, falls auf alle codierten Datengruppen 140 als eine Indexdatei zugegriffen wird, und auf die addierten Daten 140-F, d. h. den letzten Abschnitt aller Daten, der eine Information über szenengeänderte Rahmen enthält, wird als ein Zeiger verwiesen.
Als nächstes wird die durch die in Fig. 14 gezeigte Codiereinheit durchgeführte Codieroperation wie folgt erläutert.
Fig. 18 ist ein Flußdiagrarnm, das die Basisoperation zeigt. Die Operation kann mit jedem der in Fig. 14 gezeigten Schaltungsblöcke durchgeführt werden, der durch die (in Fig. 14 nicht gezeigte) Steuereinheit in der Codiereinheit gesteuert wird.
Indem in Fig. 18 gezeigten Flußdiagramm wird eine Bedingung zum Extrahieren eines szenengeänderten Rahmens (Detektionsbedingungs-Bezeichnungsdaten) durch die Detektionsbedingungs-Einstelleinheit 114 eingestellt (5151). Folglich wird ein die Differenz in der Menge von Codes zwischen benachbarten Rahmen angebender Standardwert bestimmt, um einen szenengeänderten Rahmen zu detektieren. Normalerweise sind TV-Bilder beispielsweise in einer Reihe mit einer Rate von 30 Stück statische Bilder pro Sekunde sequentiell codiert. Zu diesem Zeitpunkt wird die Menge von Codes in Megabyte-Einheiten für jedes statische Bild ausgegeben. Die Menge von Codes ändert sich bei einer geringen Bewegung eines Merkmals in einer Szene nicht sehr. Wenn eine Szene von einem Merkmal in ein Gebäude etc. eines Hintergrunds geändert wird, gibt sie jedoch eine große Differenz an. Der Prozeß in Schritt S151 detektiert eine Änderung von Szenen (szenengeänderter Rahmen) gemäß dem Merkmal, daß die Menge von Codes fluktuiert, falls eine verschiedene Szene erschienen ist. Die Detektionsbedingungs-Einstelleinheit 114 stellt dann als eine Bedingung zum Extrahieren eines szenengeänderten Rahmens die Differenz in der Menge von Codes zwischen zwei Rahmen ein, die verglichen werden sollen.
Als nächstes bestimmt sie, ob die Codieroperation abgeschlossen ist oder nicht, d. h. ein Codierprozeß an allen Bildern (allen Rahmen) durchgeführt ist (5152). Das heißt, die Codiereinheit 111 bestimmt dies, nachdem sie durch den Eingangsanschluß 110a die Daten empfangen hat, die das Ende von Bildern (EOM-Code) angeben. Somit wird bestimmt, ob der Codierprozeß fortgesetzt oder beendet werden soll.
Falls die Bestimmung in 5152 angibt, daß der Codierprozeß nicht vorüber ist ("Nein" in 5152), codiert dann die Codiereinheit 111 die Bilddaten in dem durch den Eingangsanschluß 110a zugeführten nächsten Rahmen (5153), und die Szenenänderungs-Bestimmungseinheit 113 bestimmt, ob der Rahmen ein szenengeänderter Rahmen ist oder nicht (5154). In diesem Prozeß berechnet die Szenenbestimmungseinheit 113 die Differenz zwischen der Menge von Codes in dem vorliegenden Rahmen, eingegeben vom Codepuffer 112, und der Menge von Codes von Bilddaten im vorherigen Rahmen, die vorher eingegeben und intern gespeichert wurden, und bestimmt, daß der vorliegende Rahmen ein szenengeänderter Rahmen ist, wenn der Absolutwert der berechneten Differenz größer als derjenige der Differenz ist, der in der Detektionsbedingungs-Einstelleinheit 114 eingestellt wurde.
Falls die Bestimmung in 5154 keinen szenengeänderten Rahmen angibt, schaltet die Szenenänderungs-Bestimmungseinheit 113 ein für den Schalter 115 abgegebenes Auswahlsignal nicht aktiv, sondern gibt nur die vom Codepuffer 112 zugeführten codierten Daten aus (5156). Das heißt, der Schalter 115 gibt gemäß der Anweisung eines von der Szenenänderungs-Bestimmungseinheit 113 eingegebenen Auswahlsignals an den Ausgangsanschluß 110c die vom Codepuffer 112 zugeführten codierten Daten aus "wie sie sind".
Wenn andererseits die Änderungsszene-Bestimmungseinheit 113 einen szenengeänderten Rahmen bestimmt, schaltet sie ein Auswahlsignal aktiv, um den Schalter 115 über eine Änderung von Szenen zu informieren, und gibt gleichzeitig einen COS- Code aus (S155). Der Schalter 115 gibt somit die Zahl des szenengeänderten Rahmens, gefolgt vom oben beschriebenen COS- Code, und die codierten Daten in dem szenengeänderten Rahmen aus, wenn in Fig. 16 gezeigte codierte Datengruppen 130 erzeugt sind. Falls in Fig. 25 gezeigte codierte Datengruppen 140 erzeugt werden, zählt der Schalter 115 die Zahl der COS- Code-Eingabeoperationen und speichert intern die Zahl des szenengeänderten Rahmens und gibt dann durch den Ausgangsanschluß 110c die Zahl des szenengeänderten Rahmens gefolgt von den codierten Daten im szenengeänderten Rahmen aus.
Somit werden die Prozesse in 5152 bis 5156 wiederholt, bis in S152 bestimmt wird, daß Bewegtbilddaten in allen Rahmen codiert wurden, und codierte Datengruppen 130 oder 140 in dem in Fig. 16 und 17 gezeigten Format werden beispielsweise erzeugt und ausgegeben.
Fig. 19 ist ein Blockdiagramm der Schaltung einer Bewegtbild-Codiereinheit gemäß der zweiten Ausführungsform.
In Fig. 19 umfaßt die Codiereinheit einen Anschluß 200a zum Zuführen von Bilddaten, eine Codiereinheit 201 zum effizienten Codieren von Bilddaten, die vom Anschluß 200a eingegeben wurden, gemäß der oben beschriebenen ADCT etc. und einen Ausgangsanschluß 200b zum externen Ausgeben der durch die Codiereinheit 201 codierten Daten.
Die Codiereinheit 201 ist ähnlich der Codiereinheit 111 der Bewegtbild-Codiervorrichtung gemäß der ersten Ausführungsform, die in Fig. 14 gezeigt ist, entworfen. So codiert die Bewegtbild-Codiereinheit gemäß der dritten Ausführungsform nur Bilddaten effizient und detektiert keinen szenengeänderten Rahmen während des Codierprozesses.
Ursprungsbilddaten werden jedoch nicht notwendigerweise aus codierten Daten rekonstruiert. Das heißt, die codierten Daten können so verwendet werden, daß nur szenengeänderte Rahmen in codierten Daten detektiert werden (nur Szenenänderungen werden detektiert), und die Detektionsergebnisse werden effektiv verwendet, um ein Normalbild aufzeichnende und regenerierende Einheiten für andere Vorrichtungen, wie beispielsweise ein Videoband-Aufzeichnungsgerät etc. zu steuern.
Fig. 20 ist das Blockdiagramm, das eine Szenenänderungs- Detektiervorrichtung 220 zum Detektieren einer Änderung für Szenen in einer Reihe aufgezeichneter Bewegtbilddaten darstellt.
In Fig. 20 umfaßt die Szenenänderungs-Detektiervorrichtung 220, als durch gepunktete Linien eingeschlossen angege ben, eine Szenenänderungs-Detektiereinheit 221 zum Detektieren einer Szenenänderung in den Bewegtbilddaten, einen Anschluß 200a, durch den gerahmte Bilddaten eines Bewegtbildes für die Szenenänderungs-Detektiereinheit 221 bereitgestellt werden, einen Anschluß 200b, durch den Detektionsbezeichnungsdaten für die Szenenänderungs-Detektiereinheit 221 dargestellt werden, und einen Anschluß 200c, durch den ein Szenenänderungs-Detektionssignal extern abgegeben wird, das angibt, daß eine Änderung von Szenen detektiert wurde.
Im folgenden wird dann jeder Block erläutert, der einen Teil der Szenenänderungs-Detektiereinheit 221 bildet.
Die Codiereinheit 221 codiert effizient durch die ADCT etc. die gerahmten Bilddaten, die durch den Eingangsanschluß 200a eingegeben wurden.
Ein Codepuffer 222 empfängt und speichert 1-Rahmencodierte Daten, die durch die Codiereinheit 221 erzeugt wurden, und berechnet die codierten Daten.
Eine eine Codemenge in einem vorherigen Rahmen speichernde Einheit 223 speichert die Menge von Codes der Bilddaten in dem vorherigen Rahmen, nachdem sie vom Codepuffer 222 empfangen wurden.
Eine Codemengendifferenz-Speichereinheit 224 berechnet und speichert die Differenz zwischen der Menge von Codes in dem vorherigen Rahmen, die von der eine Codemenge in einem vorherigen Rahmen speichernden Einheit 223 empfangen wurde, und der Menge von Codes in dem vorliegenden Rahmen, die vom Codepuffer 222 empfangen wurden.
Eine Detektionsbedingungs-Einstelleinheit 225 stellt eine Detektionsbedingung (einen Standardwert, der die Differenz in der Menge von Codes angibt) für eine Änderung von Szenen ein, die gemäß der durch den Eingangsanschluß 200b empfangenen Detektionsbezeichnungsdaten bezeichnet wurde. Eine Vergleichseinheit 226 vergleicht die Detektionsbedingung (einen Standardwert, der die Differenz in der Menge von Codes angibt), die durch die Detektionsbedingungs-Einstelleinheit 223 eingestellt wurde, mit dem Absolutwert der Differenz in der Menge von Codes, der von der Codemengendifferenz-Speichereinheit 224 empfangen wurde, erzeugt ein Szenenänderungs-Detektionssignal, falls sie eine Änderung von Szenen (einen szenengeän derten Rahmen) detektiert hat, und gibt es durch den Ausgangsanschluß 200c ab.
Die Vergleichseinheit 226 vergleicht die beiden Codemengendifferenzen und bestimmt, daß eine verschiedene Szene erschienen ist, falls der Absolutwert der Codemengendifferenz, der von der Codemengendifferenz-Speichereinheit 224 empfangen wurde, größer als ein Standardwert für die Codemengendifferenz ist, der durch die Detektionsbedingungs-Einstelleinheit 225 eingestellt wurde.
Die Szenenänderungs-Detektiervorrichtung 220, die in Fig. 20 dargestellt ist, detektiert eine Änderung von Szenen, während 1-Rahmenbilddaten wie sie sind codiert werden. Sie realisiert eine Vorrichtung mit einfacher Schaltung und geringer Größe durch Reduzieren der Menge von Daten, die durch die Szenenänderungs-Detektiereinheit 221 verarbeitet werden, nachdem die Menge von Eingabebilddaten reduziert wurde.
Dies wird als die vierte Ausführungsform erläutert. Fig. 21 ist das Blockdiagramm, das eine Szenenänderungs-Detektiereinheit 230 als die vierte Ausführungsform zeigt. Wie in Fig. 21 gezeigt ist, ist die Szenenänderungs-Detektiereinheit 230 so entworfen, daß eine Datenreduziereinheit 227 zwischen der Szenenänderungs-Detektiereinheit 221, die in Fig. 20 dargestellt ist, und dem Bilddaten-Eingangsanschluß 200a vorgesehen ist.
Die Datenreduziereinheit 227 reduziert die Menge gerahmter Bilddaten mit einer vorbestimmten Kompressionsrate. Datenkompression wird realisiert, indem Farbbildaten durch Monochromdaten repräsentiert werden, indem gerahmte Bilddaten durch Bilddaten in entweder ungerad- oder geradzahligen Feldern dargestellt werden, indem Bildelemente mit einer vorbestimmten Rate weggelassen werden, zwei oder mehr der oben beschriebenen Verfahren kombiniert werden etc. Es ist offensichtlich, daß Ursprungsdaten zurückgehalten werden, falls eine Kompressionsrate "0" ist.
Fig. 22 bis 25 zeigen praktische Beispiele eines Reduzierens gerahmter Bilddaten.
Fig. 22 zeigt ein Verfahren zum Extrahieren und Ausgeben von entweder Bilddaten 231a in ungeradzahligen Feldern oder Bilddaten 231b in geradzahligen Feldern, die in Fig. 22b dargestellt sind, von in Fig. 22a gezeigten gerahmten Bilddaten 231. In diesem Fall ist die Datenkompressionsrate "¹/&sub2;".
Fig. 23 zeigt ein Verfahren zum Verarbeiten von Monochromdaten, indem z. B. G-Daten von Farbbildaten in einem Rahmen extrahiert werden, dargestellt durch drei Primärfarbsignale R (Rot), G (Grün) und B (Blau). Das heißt, wie in Fig. 23A gezeigt ist, werden z. B. die Inhalte eines G-Speichers 232 G extrahiert und ausgegeben, wenn jedes von R-, G- und B- Signalen in einem R-Speicher 232R, G-Speicher 232 G bzw. B- Speicher 232B gespeichert ist. Es ist nicht auf G-Daten begrenzt, sondern R- oder B-Daten können für eine Ausgabe extrahiert werden.
Fig. 24 zeigt ein Verfahren zum Erhalten komprimierter Bilddaten 233 s, wie in Fig. 24B gezeigt, indem mit einer bestimmten Rate (Unterabtastung) Bildelemente in den in Fig. 24A gezeigten gerahmten Bilddaten 233 weggelassen werden. Daten können gemäß einem der folgenden Verfahren weggelassen werden, z. B.:
1. Herabsetzen der Auflösung in der horizontalen Richtung (Fig. 25A)
2. Herabsetzen der Auflösung in der vertikalen Richtung (Fig. 25B)
3. Herabsetzen der Auflösung in der diagonalen Richtung (Fig. 25C).
Unter diesen sticht Verfahren 3 in der Sichtbarkeit hervor.
Daten können adaptiv, nicht festgelegt wie oben beschrieben weggelassen werden.
Folglich werden Bilddaten durch die Datenreduziereinheit 227 komprimiert und durch die Szenenänderungs-Detektiereinheit 220 verarbeitet, um eine Änderung von Szenen zu detektieren. Ein Szenenänderungssignal wird dann von der Szenenänderungs-Detektiereinheit 220 abgegeben, falls eine Änderung von Szenen detektiert wurde.
Fig. 26 zeigt die Operation zum Detektieren einer Änderung von Szenen, die durch die Szenenänderungs-Detektiervorrichtungen 220 und 230 durchgeführt werden.
Fig. 26 ist ein Flußdiagramm zum Erläutern der Basisoperation der Szenenänderungs-Detektiervorrichtungen 220 und 230. Die Operation wird so ausgeführt, daß jeder in Fig. 20 gezeigte Block durch eine in Fig. 26 nicht gezeigte Steuereinheit gesteuert wird, die in der Szenenänderungs-Detektiereinheit 221 vorgesehen ist.
Zuerst wird in Fig. 26 die Menge von Codes initialisiert (S241). Das heißt, die Menge von Codes wird gelöscht und initialisiert, die in jedem des Codepuffers 222, der eine Codemenge in einem vorherigen Rahmen speichernden Einheit 223 und der Codemengendifferenz-Speichereinheit 224 gespeichert sind, die in Fig. 20 gezeigt sind.
Die Extraktionsbedingung für eine Änderung von Szenen (Differenz in der Menge von Codes) wird dann eingestellt (S242). Das heißt, Detektionsbezeichnungsdaten werden durch den Anschluß 200b eingegeben, und die Detektionsbedingungs- Einstelleinheit 225 wird auf den Standardwert des Absolutwertes der Differenz in der Menge von Codes eingestellt, um eine Änderung von Szenen gemäß den Bezeichnungsdaten zu detektieren.
Als nächstes wird bestimmt, ob der Szenenänderungs- Detektierprozeß abgeschlossen werden soll oder nicht, d. h. ob der Szenenänderungs-Detektierprozeß an allen Rahmen durchgeführt wurde oder nicht (S243).
Falls in der Bestimmung in S243 bestimmt wird, daß der Szenenänderungs-Detektierprozeß an allen Rahmen durchgeführt wurde ("Ja" in S243), wird der Prozeß sofort beendet. Falls nicht ("Nein" in S243), werden die Bilddaten im nächsten Rahmen codiert (S244). Das heißt, die Codiereinheit 221 codiert Bilddaten in den Rahmen, die durch den Anschluß 200a als nächste eingegeben wurden, und speichert im Codepuffer 222 die codierten Daten im eingegebenen Rahmen (dem vorliegenden Rahmen). Der Codepuffer 222 berechnet und speichert die Menge von Codes in den in den Puffer eingegebenen codierten Daten.
Die Codemengendifferenz-Speichereinheit 224 empfängt dann die Menge von Codes in den vorherigen und vorliegenden Rahmen von der eine Codemenge im vorherigen Rahmen speichernden Einheit 223 bzw. dem Codepuffer 222 und berechnet und speichert die Differenz zwischen ihnen (S245).
Als nächstes wird bestimmt, ob eine Änderung von Szenen detektiert wurde oder nicht (S246). Das heißt, die Szenenänderungs-Detektiervorrichtung vergleicht die Detektionsbedingung (einen Standardwert des Absolutwertes der Codemengendif ferenz), die in der Detektionsbedingungs-Einstelleinheit 223 eingestellt wurde, mit dem Absolutwert der Codemengendifferenz, die durch die Codemengendifferenz-Speichereinheit 224 gespeichert wurde, und bestimmt, daß eine Änderung von Szenen detektiert wurde, falls der Absolutwert der in der Codemengendifferenz-Speichereinheit 224 gespeicherten Codemengendifferenz größer der Standardwert des Absolutwertes der Codemengendifferenz ist, der in der Detektionsbedingungs-Einstelleinheit 223 gespeichert wurde.
Die Vergleichseinheit 225 gibt über den Anschluß 200c extern ein Szenenänderungs-Detektionssignal ab, falls sie eine Änderung von Szenen als Folge der Bestimmung detektiert hat (S247). Ein nachfolgender Prozeß wird dann wie später beschrieben ausgeführt.
Als nächstes überträgt der Codepuffer 222 die Menge von Codes der gespeicherten Daten in dem vorliegenden Rahmen zu der eine Codemenge in einem vorherigen Rahmen speichernden Einheit 223, und die eine Codemenge in einem vorherigen Rahmen speichernde Einheit 223 speichert intern die Menge (S5248). Die Menge von Codes wird als die "Menge von Daten in dem vorherigen Rahmen" in der ähnlichen Berechnung verwendet, die in dem nachfolgenden Prozeß durchgeführt wird.
Falls in der Bestimmung in S246 keine szenengeänderten Rahmen detektiert werden können, wird der Prozeß in S248 sofort durchgeführt. Das heißt, in diesem Fall wird die durch die eine Codemenge in einem vorherigen Rahmen speichernde Einheit 223 gespeicherte Menge von Codes gespeichert wie sie ist.
Somit werden die Prozesse von S243 bis S248 wiederholt, bis das Ende der Szenenänderungen in S243 detektiert wird, und ein Szenenänderungs-Detektionssignal wird jedesmal extern abgegeben, wenn eine Änderung von Szenen detektiert wird.
Wie oben beschrieben wurde, detektieren die in Fig. 14 gezeigte Bewegtbild-Codiervorrichtung und die in Fig. 20 und 21 gezeigten Szenenänderungs-Detektiervorrichtungen 220 und 230 eine Änderung von Szenen (szenengeänderter Rahmen) auf der Basis eines Bildes in einem ganzen Rahmen. Das heißt, eine Änderung von Szenen wird auf der Basis der Differenz in der Menge von Codes in den Bilddaten in dem ganzen Rahmen zwischen benachbarten Rahmen detektiert.
In einem tätsächlichen Bewegtbild kann es jedoch einen Fall geben, in welchem ein szenengeänderter Rahmen beinahe die gleiche Menge von Codes für den ganzen Rahmen wie die durch den vorherigen Rahmen angegebene anzeigt. Unglücklicherweise ist es möglich, wenn auch sehr selten, daß die Menge von Codes in den vorliegenden und vorherigen Rahmen einander exakt gleich sind. In solch einem Fall scheitert jede der Vorrichtungen dabei, eine Änderung von Szenen überhaupt zu detektieren.
In der unten erläuterten Ausführungsform kann jedoch sogar der oben beschriebene verhängnisvolle Fall ohne Störung detektiert werden, und gerahmte Bilddaten können effizient codiert werden.
Fig. 27 ist ein Flußdiagramm zum Erläutern der fünften Ausführungsform der vorliegenden Erfindung zum Codieren von Bilddaten.
Zuerst wird eine Extraktionsbedingung eingestellt, um einen szenengeänderten Rahmen zu detektieren (einen Rahmen, dessen Bild von dem einen im vorherigen Rahmen geändert wurde, d. h. eine Änderung von Szenen) (S341). Die Extraktionsbedingung bezieht sich z. B. auf einen Standardwert der Summe der Absolutwerte der Codemengendifferenzen oder den Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes etc.
Dann wird bestimmt, ob der Codierprozeß an allen Rahmen ausgeführt wurde oder nicht (S342). Falls noch einige Rahmen zu verarbeiten sind ("Nein" in S342), werden dann die Bilddaten des nächsten Rahmens eingegeben und in eine Mehrzahl von kleinen Bereichen geteilt (S343).
Bilddaten können gemäß dem in Fig. 41 bis 39 gezeigten Verfahren wie folgt in kleine Bereiche geteilt werden.
1. Wie in Fig. 28 gezeigt ist, werden gerahmte Bilddaten 411 (siehe Fig. 28A) in einen Bereich 411a mit den Bilddaten in ungeradzahligen Feldern und den Bereich 411b mit den Bilddaten in geradzahligen Feldern geteilt (siehe Fig. 41B).
2. Wie in Fig. 29A gezeigt ist, wird, falls Rahmenbilddaten Farbbilddaten mit R-(Rot), G-(Grün) und B-(Blau)- Signalen sind und diese drei Primärfarbsignale in einem R- Speicher 421R, einem G-Speicher 421G bzw. einem B-Speicher 421B gespeichert sind, dann jeder dieser Speicher 421R, 421 G und 421B als ein kleiner Bereich verarbeitet. Die Daten sind nicht auf R-, G- und B-Daten beschränkt, sondern können Y-, U- und V-Daten oder Y-, M-, C- und K-Daten sein. Sie können auch, wie oben beschrieben wurde, geteilt werden (z. B. werden im Fall von Y-, U- und V-Daten nur Y-Daten extrahiert).
3. Wie in Fig. 30 gezeigt ist, werden gerahmte Bilddaten 431 (siehe Fig. 30A) gleich in eine Mehrzahl kleiner Bereiche 431b (siehe Fig. 30B) geteilt, d. h. in vorbestimmte Prozeßeinheiten (z. B. Codierprozeßeinheiten).
4. Wie in Fig. 31 gezeigt ist, werden, nachdem ein 1- Rahmen-Eingabebild 441 gemäß einem der oben aufgelisteten Verfahren 1, 2 oder 3 etc. in eine Mehrzahl kleiner Bereiche 441b geteilt ist, diese kleinen Bereiche 441b durch individuelle Codiereinheiten 442 separat parallel codiert. Das heißt, eine Mehrzahl kleiner Bereiche 441b kann parallel verarbeitet werden.
In dem Prozeß in S343 werden, nachdem gerahmte Bilddaten gemäß einem der oben aufgelisteten Verfahren in eine Mehrzahl von kleinen Bereichen geteilt sind, die Bilddaten in Einheiten von kleinen Bereichen codiert (S344).
Eine Differenz in der Menge von Codes, die durch den Codierprozeß erhalten wurden, in einem entsprechenden kleinen Bereich wird dann zwischen den vorherigen und vorliegenden Rahmen berechnet.
Wenn die Prozesse in S344 und S345 an allen kleinen Bereichen in den vorliegenden Rahmen durchgeführt wurden ("Ja" in S346), werden Skalendaten, die zum Detektieren einer Änderung von Szenen notwendig sind, auf der Basis der Differenz in der Menge von Codes aller kleiner Bereiche erhalten, wie sie in dem oben beschriebenen Prozeß S345 berechnet wurden (S347). Die Skalendaten sind z. B. die Summe der Absolutwerte der Codemengendifferenzen aller kleinen Bereiche, eine Durchschnittsrate einer Differenz in der Menge von Codes in einem kleinen Bereich zwischen den vorherigen und vorliegenden Rahmen etc.
Nachdem die Skalendaten erhalten sind, werden sie somit mit der Extraktionsbedingung (Standardwert) verglichen, die in dem Prozeß S341 eingestellt wurde, und es wird bestimmt, ob der vorliegende Rahmen sich auf einen szenengeänderten Rahmen (eine Änderung von Szenen) bezieht oder nicht (S348).
Das heißt, falls die Summe der Absolutwerte der Codemengendifferenzen in den kleinen Bereichen in dem vorliegenden Rahmen oder eine Durchschnittsrate einer Differenz in der Menge von Codes in einem kleinen Bereich zwischen den vorliegenden und vorherigen Rahmen größer als die Detektionsbedingung (der Standardwert) ist, ist man der Ansicht, daß sich der vorliegende Rahmen auf einen szenengeänderten Rahmen (eine Änderung von Szenen) bezieht. Falls sie kleiner als der Standardwert ist, ist man dann der Ansicht, daß er sich auf einen Rahmen ohne geänderte Szene bezieht.
Falls sich der vorliegende Rahmen auf einen szenengeänderten Rahmen (eine Änderung von Szenen) bezieht ("Ja" in S348), wird dann die Zahl des vorliegenden szenengeänderten Rahmens ausgegeben (S349), und die codierten Daten in dem vorliegenden Rahmen werden ausgegeben (S350).
Falls in S348 bestimmt wird, daß der vorliegende Rahmen kein szenengeänderter Rahmen (keine Änderung von Szenen) ist, werden dann nur die codierten Daten in dem vorliegenden Rahmen ausgegeben (S350).
Die oben beschriebenen Prozesse in S343 bis S350 werden an allen Rahmen eines Bewegtbildes durchgeführt. Falls bestimmt wird, daß die Prozesse am letzten Rahmen durchgeführt wurden, endet der Codierprozeß.
Gemäß dem Codierverfahren werden somit gerahmte Bilddaten in eine Mehrzahl kleiner Bereiche geteilt. Nachdem für jeden kleinen Bereich eine Codemengedifferenz berechnet ist, kann die Summe der Absolutwerte der Differenzen oder eine Durchschnittsrate einer Differenz erhalten werden. Falls die Summe oder die Durchschnittsrate einer Differenz größer als ein experimentell erhaltener Standardwert ist, wird dann bestimmt, daß sich der vorliegende Rahmen auf einen szenengeänderten Rahmen (eine Änderung von Szenen) bezieht. In einem Bewegtbild ist es selten, daß ein ganzes Bild in einem Rahmen komplett geändert wird. In den meisten Fällen wird nur ein Teil eines Rahmens geändert. Somit detektiert eine Prüfung der Differenz in der Menge von Codes in einem kleinen Bereich zwischen den vorherigen und vorliegenden Rahmen erfolgreich eine partielle Differenz in einem Rahmen. Überdies ermöglicht die Summe der Absolutwerte der Codemengendifferenzen in allen kleinen Bereichen zwischen den vorliegenden und vorherigen Rahmen oder eine Durchschnittsrate einer Differenz zwischen den vorliegenden und vorherigen Rahmen in kleinen Bereichen eine exakte Detektion eines szenengeänderten Rahmens.
Als nächstes zeigt Fig. 32 als die sechste Ausführungsform der vorliegenden Erfindung ein Beispiel der Konfiguration einer Szenenänderungs-Detektiervorrichtung 400 zum Detektieren einer Änderung von Szenen gemäß dem oben beschriebenen Verfahren.
Bei der Szenenänderungs-Detektiervorrichtung 400 in Fig. 32 teilt eine Kleine-Bereiche-Teilungseinheit 401 1-Rahmenbilddaten, die durch einen Eingangsanschluß 400a zugeführt wurden, in eine Mehrzahl kleiner Bereiche. Die Teilungsoperation wird gemäß einem der oben beschriebenen Verfahren, die in Fig. 28 bis 31 gezeigt sind, ausgeführt.
Eine Codiereinheit 402 empfängt sequentiell Bilddaten in kleinen Bereichen in einer vorbestimmten Reihenfolge von der Kleine-Bereiche-Teilungseinheit 401, codiert die Bilddaten in jedem der kleinen Bereiche separat gemäß der ADCT etc. und gibt an eine eine Codemenge eines kleinen Bereichs speichernde Einheit 403 die durch die Codiereinheit codierten Daten in jedem der kleinen Bereiche aus.
Die eine Codemenge eines kleinen Bereichs speichernde Einheit 403 berechnet die Menge von Codes der codierten Daten in kleinen Bereichen, nachdem sie von der Codiereinheit 402 empfangen sind, und speichert die Mengen von Codes in kleinen Bereichen.
Eine eine Codemenge eines kleinen Bereichs in einem vorherigen Rahmen speichernde Einheit 404 speichert die Menge von Codes in jedem der kleinen Bereiche im vorherigen Rahmen, die durch die eine Codemenge eines kleinen Bereichs speichernde Einheit 403 berechnet wurde.
Eine Interrahmendifferenz-Speichereinheit 405 empfängt die Mengen von Codes in den kleinen Bereichen in den vorliegenden und vorherigen Rahmen von der eine Codemenge eines kleinen Bereichs speichernden Einheit 403 bzw. der eine Codemenge eines kleinen Bereichs in einem vorherigen Rahmen speichernden Einheit 404, berechnet die Differenz zwischen den vorliegenden und vorherigen Rahmen in der Menge von Codes in den kleinen Bereichen und erhält die Summe der Absolutwerte der Differenzen, die wie oben beschrieben für alle kleinen Bereiche berechnet wurden. Die Summe wird an eine Vergleichseinheit 407 ausgegeben.
Wenn die Interrahmendifferenz-Speichereinheit 405 die Summe der Differenzen in der Menge von Codes an die Vergleichseinheit 407 ausgibt, gibt somit die eine Codemenge eines kleinen Bereichs speichernde Einheit 403 an die eine Codemenge eines kleinen Bereichs in einem vorherigen Rahmen speichernde Einheit 404 die Gesamtcodemenge in allen kleinen Bereichen in dem vorliegenden Rahmen aus, während die eine Codemenge eines kleinen Bereichs in einem vorliegenden Rahmen speichernde Einheit 404 die gegenwärtig gespeicherte Codemenge in die Menge von Codes in den kleinen Bereichen des vorliegenden Rahmens aktualisiert, die von der eine Codemenge eines kleinen Bereichs speichernden Einheit 403 zugeführt wird. Die letzte gespeicherte Codemenge wird als die Codemenge des vorherigen Rahmens verwendet, um die Differenz in der Menge von Codes in den kleinen Bereichen der Bilddaten zu erhalten, die durch den Eingangsanschluß 400a als nächste zugeführt werden.
Eine Detektionsbedingungs-Einstelleinheit 406 empfängt durch einen Eingangsanschluß 400b Detektionsbezeichnungsdaten und stellt die durch die Detektionsbezeichnungsdaten bezeichnete Codemengendifferenz ein und speichert diese intern. Die Codemengendifferenz bezieht sich auf einen Standardwert der Summe der Absolutwerte der Codemengendifferenzen, die verwendet wird, um einen szenengeänderten Rahmen zu detektieren.
Wenn die Vergleichseinheit 407 von der Interrahmendifferenz-Speichereinheit 405 die Summe der Absolutwerte der Differenzen in der Menge von Codes in einem kleinen Bereich des vorliegenden Rahmens empfängt, vergleicht sie die Summe mit der Codemengendifferenz, die durch die Detektionsbedingungs- Einstelleinheit 406 eingestellt wurde. Falls die Summe größer als die vorbereitend eingestellte Codemengendifferenz ist, wird dann der vorliegende Rahmen als ein szenengeänderter Rahmen (eine Änderung von Szenen) betrachtet. Zu dieser Zeit gibt die Vergleichseinheit 407 ein Szenenänderungs-Detektionssignal (COS-Signal) durch den Ausgangsanschluß 400c ab und gibt durch den Ausgangsanschluß 400d ein Auswahlsignal ab, das aktiv ist, während das Szenenänderungs-Detektionssignal (COS-Code) effektiv ist. Wenn die Summe kleiner als die vorbereitend eingestellte Differenz ist, wird keines der Signale abgegeben.
Als nächstes ist Fig. 33 das Blockdiagramm, das ein anderes Beispiel einer Konfiguration der Szenenänderungs- Detektiereinheit zeigt. Eine Szenenänderungs-Detektiervorrichtung 450 ist die siebte Ausführungsform der vorliegenden Erfindung und detektiert eine Änderung von Szenen gemäß einer variierten Rate einer Differenz in der Menge eines Codes in einem kleinen Bereich zwischen den vorliegenden und vorherigen Rahmen.
In Fig. 33 sind eine Kleine-Bereiche-Teilungseinheit 451, eine Codiereinheit 452, eine eine Codemenge eines kleinen Bereichs speichernde Einheit 453 und eine eine Codemenge eines vorherigen kleinen Bereichs speichernde Einheit 454 ähnlich jedem der in Fig. 45 gezeigten Blöcke entworfen, d. h. der Kleine-Bereiche-Teilungseinheit 401, der Codiereinheit 402, der eine Codemenge eines kleinen Bereichs speichernde Einheit 403 und der eine Codemenge eines kleinen Bereichs in einem vorherigen Rahmen speichernden Einheit 404.
Dementsprechend ist die Erklärung dieser Blöcke weggelassen. Eine Detektionsbedingungs-Einstelleinheit 456 stellt eine Rate einer Differenz ein und speichert diese, die gemäß den durch einen Eingangsanschluß 450b zugeführten Detektionsbezeichnungsdaten spezifiziert wurde. Die Rate einer Differenz ist ein Standardwert der Rate einer Differenz in der Menge von Codes, der als ein Bestimmungsstandard verwendet werden kann, gemäß dem eine Änderung von Szenen bestimmt werden kann.
Eine eine Rate einer Differenz zählende Einheit 455 empfängt die Mengen von Codes in allen kleinen Bereichen in den vorherigen und vorliegenden Rahmen von der eine Codemenge in einem vorherigen kleinen Bereich speichernden Einheit 454 bzw. der eine Codemenge eines kleinen Bereichs speichernden Einheit 453, wenn die eine Codemenge eines kleinen Bereichs speichernde Einheit 453 die Menge von Codes codierter Daten in allen kleinen Bereichen in dem vorliegenden Rahmen speichert. Sie zählt dann die Rate einer Differenz in der Menge von Codes für jeden der kleinen Bereiche und gibt an eine eine Durchschnittsrate einer Differenz zählende Einheit 456 die Rate einer Differenz in der Menge von Codes aller kleinen Bereiche in dem vorliegenden Rahmen aus.
Die eine Durchschnittsrate einer Differenz zählende Einheit 456 erhält einen Durchschnittswert der Raten von Differenzen in der Menge von Codes in allen kleinen Bereichen in dem vorliegenden Rahmen (eine Durchschnittsrate einer Differenz) und gibt sie an eine Vergleichseinheit aus.
Die Vergleichseinheit 457 vergleicht den Durchschnittswert der Rate einer Differenz in der Menge von Codes in kleinen Bereichen des zugeführten vorliegenden Rahmens mit der Standarddurchschnittsrate einer Differenz, die von der Detektionsbedingungs-Einstelleinheit 456 zugeführt wurde, erkennt, daß der vorliegende Rahmen ein szenengeänderter Rahmen (eine Änderung von Szenen) ist, nur wenn die Durchschnittsrate einer Differenz größer als die Standarddurchschnittsrate einer Differenz ist, und gibt ein Szenenänderungs-Detektionssignal (COS-Code) und ein aktives Auswahlsignal durch den Ausgangsanschluß 450c bzw. 450d extern ab.
Fig. 34 zeigt ein Beispiel einer Konfiguration der Bewegtbild-Codiervorrichtung als die achte Ausführungsform der vorliegenden Erfindung. In der Ausführungsform ist als eine Szenenänderungs-Detektiereinheit 510 die Szenenänderungs- Detektiereinheit der Szenenänderungs-Detektiervorrichtungen 400 oder 450 eingebaut. Die Codiervorrichtung erzeugt codierte Datengruppen 130 in dem in Fig. 24 gezeigten Format und gibt diese aus.
In Fig. 34 werden 1-Rahmenbilddaten durch einen Eingangsanschluß 500a wie den Eingangsanschluß 400a oder 450a, wie in Fig. 32 gezeigt, zugeführt. Desgleichen werden Detektionsbezeichnungsdaten, die die als ein Standardwert bei der Detektion einer Änderung von Szenen verwendete Differenz angeben, durch einen Eingangsanschluß 500b wie den Eingangsanschluß 400b oder 450b, die in Fig. 32 oder 33 gezeigt sind, zugeführt.
Die Szenenänderungs-Detektiereinheit 510 hat die gleiche Konfiguration wie diejenige der in Fig. 32 oder 33 gezeigten Szenenänderungs-Detektiervorrichtung 400 bzw. 450. Sie teilt ein 1-Rahmenbild in eine Mehrzahl kleiner Bereiche, codiert Bilddaten in jedem der kleinen Bereiche und detektiert einen szenengeänderten Rahmen (eine Änderung von Szenen). Falls ein szenengeänderter Rahmen detektiert wurde, werden ein Szenenänderungssignal und ein aktives Auswahlsignal an einen Schalter 530 abgegeben.
Eine Codiereinheit 520 codiert effizient durch den Eingangsanschluß 500a zugeführte Bewegtbilddaten und gibt an den Schalter 530 durch den Codierprozeß erhaltene Ein-Rahmencodierte Daten aus. Die Konfiguration der Codiereinheit 520 ist die gleiche wie diejenige der Codiereinheit 111 zum Codieren von Daten in Codes mit veränderlicher Länge gemäß z. B. der in Fig. 14 gezeigten ADCT. Das heißt, sie codiert durch den Eingangsanschluß 500a zugeführte 1-Rahmenbilddaten gemäß der ADCT in Codes mit veränderlicher Länge und erzeugt die codierten Daten gemäß dem JPEG-Standard und gibt diese aus.
Der Schalter 530 gibt durch den Ausgangsanschluß 500c durch die Codiereinheit 520 zugeführte 1-Rahmencodierte Daten aus, wenn von der Szenenänderungs-Detektiereinheit 510 keine aktiven Auswahlsignale angelegt werden. Wenn ein aktives Auswahlsignal angelegt wird, wird ein von der Szenenänderungs- Detektiereinheit 510 angelegtes Signaländerungs-Detektionssignal (COS-Code) durch einen Ausgangsanschluß 500c als zu dem Kopf der den JPEG-Standard erfüllenden codierten Daten addiert abgegeben und von der Codiereinheit 520 eingegeben. Gemäß einer Reihe von Prozessen, die oben beschrieben wurden, erzeugt die Bewegtbild-Codiervorrichtung codierte Datengruppen 130 in dem in Fig. 16 gezeigten Format und gibt diese aus.
Als nächstes ist Fig. 35 das Blockdiagramm, das die Bewegtbild-Codiervorrichtung gemäß der 9-ten Ausführungsform der vorliegenden Erfindung zum Erzeugen und Ausgeben von in Fig. 25 gezeigten codierten Datengruppen 140.
In Fig. 35 haben Eingangsanschlüsse 600a und 600b und ein Ausgangsanschluß 600c die gleiche Funktion wie diejenige der Eingangsanschlüsse 500a und 500b und des Ausgangsanschlusses 500c, die in Fig. 34 gezeigt sind. Eine Szenenänderungs-Detektiereinheit 610 und eine Codiereinheit 620 haben auch die ähnliche Konfiguration wie diejenige der Szenenänderungs-Detektiereinheit 510 und der Codiereinheit 520, die in Fig. 34 gezeigt sind. Dementsprechend ist hier die ausführliche Erklärung dieser Blöcke weggelassen.
Eine Szenenänderungssignal-Akkumuliereinheit 630 zählt jedesmal, wenn ein Szenenänderungs-Detektionssignal von der Szenenänderungs-Detektiereinheit 610 angelegt wird, und zählt die Zahl der Eingaben des Szenenänderungs-Detektionssignals. Zusammen mit der Eingabe des Szenenänderungs-Detektionssignals wird die Rahmenzahl eines szenengeänderten Rahmens eingegeben und intern akkumuliert. Wenn ein die Beendigung der Detektion einer Änderung von Szenen (Szenenänderungsdetektions-Abschlußsignal) anzeigendes Signal von der Szenenänderungs-Detektiereinheit 630 angegeben wird, wird zusammen mit den Szenenänderungsdaten mit der akkumulierten Zahl von Szenenänderungen und den Zahlen szenengeänderter Rahmen ein aktives Auswahlsignal an einen Schalter 640 abgegeben. Da die Szenenänderungs-Detektiereinheit 610 und die Codiereinheit 620 parallel arbeiten, um Bilddaten zu codieren, wird das Szenenänderungs-Detektionssignal abgegeben, unmittelbar nachdem die Codiereinheit 620 die codierten Daten der Bewegtbilddaten des letzten n-ten Rahmens an den Schalter 640 ausgegeben hat.
Der Schalter 640 gibt durch den Ausgangsanschluß 600c nur die von der Codiereinheit 620 ausgegebenen codierten Daten aus, während das aktive Auswahlsignal nicht eingegeben wird. Somit werden durch den Ausgangsanschluß 600c die codierten Daten von einem SOM-Code, gefolgt von dem 0-ten Rahmen bis zum n-ten (letzten) Rahmen, sequentiell abgegeben.
Falls die Szenenänderungssignal-Akkumuliereinheit 630 ein aktives Auswahlsignal eingibt, unmittelbar nachdem die codierten Daten auf dem n-ten Rahmen durch den Ausgangsanschluß 600c eingegeben sind, gibt dann der Schalter 640 Szenenänderungsdaten ein, die von der Szenenänderungssignal-Akkumuliereinheit 630 eingegeben wurden (die Daten mit der gleichen Konfiguration wie derjenigen der in Fig. 17 gezeigten addierten Daten 140-F) vor dem durch Codiereinheit 620 ausgegebenen EOM-Code ein und gibt sie durch den Ausgangsanschluß 600c aus.
Gemäß einer Reihe von Prozessen, die oben beschrieben wurden, kann ein Bewegtbild in codierte Datengruppen 140 in dem in Fig. 17 gezeigten Format codiert und dann ausgegeben werden.
Fig. 36 ist ein Flußdiagramm, das ein Verfahren zum Detektieren einer Änderung von Szenen bei einem spezifischen Bereich (Detektionsbereich) in einem Rahmen unter Verwendung von Bewegtbilddaten gemäß der 10-ten Ausführungsform der vorliegenden Erfindung zeigt.
Zuerst wird in diesem Verfahren die Menge von Codes in Bilddaten (Menge enthaltener Codes) in dem Detektionsbereich in dem vorherigen Rahmen auf einen vorbestimmten Wert initialisiert (S501).
Ein Detektionsbereich, in welchem eine Änderung von Szenen (eine Änderung von Bildern) in Bilddaten in einem Rahmen detektiert werden soll, wird dann eingestellt (5502). Ein Detektionsbereich kann entweder ein einziger Bereich oder eine Mehrzahl von Bereichen sein. Fig. 44 zeigt ein Beispiel. In Fig. 44A und 44D ist ein einziger Bereich spezifiziert, während eine Mehrzahl von Bereichen (segmentierte Bereiche A und B) in Fig. 44B und 44C spezifiziert sind.
Eine Bedingung (Detektionsbedingung) zum Extrahieren (Detektieren) einer Änderung von Szenen an dem Detektionsbereich wird dann eingestellt (S503). Die Extraktionsbedingung bezieht sich auf einen Absolutwert einer Codemengendifferenz (die Summe der Absolutwerte von Codemengendifferenzen, falls es mehrere Detektionsbereiche gibt) oder einen Standardwert (eine Schwelle) einer Rate einer Differenz in der Menge von Codes (eine Durchschnittsrate einer Codemengendifferenz, falls es mehrere Detektionsbereiche gibt).
Als nächstes wird bestimmt, ob der Codierprozeß an den Bilddaten in allen Rahmen durchgeführt wurde oder nicht (S504). Falls nicht ("Nein" in S504) werden die Bilddaten im nächsten Rahmen eingegeben, und die Bilddaten in allen spezifizierten Detektionsbereichen werden in den Bilddaten segmentiert (S505).
Die Bilddaten in allen segmentierten Detektionsbereichen werden dann codiert (S506) und als Skaleninformation zum Detektieren eines szenengeänderten Rahmens erhalten, wie z. B. ein Absolutwert der Differenz oder eine Rate einer Differenz in der Menge von Codes in codierten Daten in den entsprechenden Detektionsbereichen zwischen den vorherigen und vorliegenden Rahmen. Falls zu dieser Zeit eine Mehrzahl von Bereichen spezifiziert ist, wird die Summe von Absolutwerten von Codemengendifferenzen oder eine Durchschnittsrate einer Codemengendifferenz in der Mehrzahl von Bereichen erhalten wird (S347).
Der Absolutwert der Differenz in der Menge von Codes (oder die Summe der Absolutwerte der Differenzen in der Menge von Codes) oder die Rate einer Differenz in der Menge von Codes (oder eine Durchschnittsrate einer Differenz in der Menge von Codes) wird dann mit der Extraktionsbedingung (Standardwert) verglichen, um zu bestimmen, ob eine Änderung von Szenen in dem Detektionsbereich in dem vorliegenden Rahmen aufgetreten ist oder nicht (S508). Es wird bestimmt, daß eine Änderung von Szenen aufgetreten ist, falls der Absolutwert der Differenz in der Menge von Codes (oder die Summe der Absolutwerte der Differenzen in der Menge von Codes) oder die Rate einer Differenz in der Menge von Codes (oder eine Durchschnittsrate einer Differenz in der Menge von Codes) größer als der Wert der Extraktionsbedingung ist.
Falls eine Änderung von Szenen detektiert wurde ("Ja" in S501), wird dann ein Szenenänderungs-Detektionssignal (z. B. ein COS-Code) abgegeben (5509), und die Mengen von Codes aller Detektionsbereiche in dem vorliegenden Rahmen werden gespeichert (S510). Die Mengen von Codes werden als die Mengen von Codes der Detektionsbereiche in dem vorliegenden Rahmen verwendet, wenn die Bilddaten des nächsten Rahmens eingegeben werden.
Die Prozesse in S504 bis S510 werden an den Bewegtbilddaten in allen Rahmen durchgeführt, bis keine gerahmten Bilddaten detektiert werden ("Ja" in S504).
Im oben beschriebenen Verfahren können nur die Rahmen, die Änderungen von Bildern (Änderungen von Szenen) an einem spezifischen Bereich (Bereichen) (einem einzigen Bereich oder einer Mehrzahl von Bereichen) angeben, aus einer Reihe von Bildern extrahiert (detektiert) werden, die z. B. durch die Kamera einer Überwachungsvorrichtung aufgenommen wurden.
Fig. 37 ist dann das Blockdiagramm, das die Schaltungskonfiguration einer Szenenänderungs-Detektiervorrichtung 800 als die 11-te Ausführungsform der vorliegenden Erfindung zum Detektieren allein szenengeänderter Rahmen, die eine Änderung von Szenen angeben, in nur spezifischen Bereichen gemäß dem Szenenänderungs-Detektierverfahren zeigt.
In Fig. 37 stellt eine Detektionsbedingungs-Einstelleinheit 801 die Detektionsbedingung (einen Standardwert der Summe der Absolutwerte der Differenzen in der Menge von Codes) ein, die gemäß den durch einen Eingangsanschluß 800a zugeführten Detektionsbezeichnungsdaten spezifiziert wurde, und speichert diese. Der Standardwert wird in Abhängigkeit von der Zahl segmentierter Bereiche bestimmt. Falls ein einziger Bereich segmentiert ist, bezieht sich der Standardwert auf einen Absolutwert der Differenz in der Menge von Codes in dem Bereich.
Eine Segmentierungsinformations-Speichereinheit 802 stellt eine Segmentierungsinformation (eine einen segmentierten Bereich bezeichnende Information) ein, die gemäß durch einen Eingangsanschluß 800b zugeführten Segmentierungsbedingungs-Einstelldaten bezeichnet wurde, und speichert diese.
Eine Bildsegmentiereinheit 803 segmentiert Bilddaten in allen Bereichen (einem einzigen Bereich oder mehreren Bereichen), die gemäß der in der Segmentierungsinformations- Speichereinheit 802 gespeicherten Segmentierungsinformation bezeichnet wurden, von Bilddaten in jedem Rahmen, der Bewegtbilddaten enthält und durch einen Eingangsanschluß 800c sequentiell zugeführt wird, und gibt dann die Bilddaten an eine Codiereinheit 804 aus.
Die Codiereinheit 804 weist die in Fig. 15 gezeigte Schaltung auf und codiert sequentiell über z. B. die ADCT die Bilddaten in allen segmentierten Bereichen und speichert in einem Codepuffer 805 die codierten Daten, die durch den Codierprozeß erhalten wurden.
Der Codeepuffer 805 berechnet die Menge von Codes in den codierten Daten und liefert das Ergebnis für eine Codemengendifferenz-Speichereinheit 806, nachdem der Codierprozeß an den Daten in allen segmentierten Bereichen in dem vorliegenden Rahmen ausgeführt wurde.
Eine eine Codemenge in einem vorherigen Rahmen speichernde Einheit 807 empfängt die Menge von Codes in allen segmentierten Bereichen in dem vorherigen Rahmen und speichert diese, nachdem sie durch den Codepuffer 805 berechnet sind, und liefert dann die Menge von Codes für die Codemengendifferenz- Speichereinheit 807.
Wird vom Codepuffer 805 die Menge von Codes in allen segmentierten Bereichen in dem vorliegenden Rahmen empfangen, berechnet die Codemengendifferenz-Speichereinheit 806 für jeden segmentierten Bereich die Differenz in der Menge von Codes zwischen einem segmentierten Bereich in dem vorliegenden Rahmen und dem entsprechenden Bereich in dem vorherigen Rahmen, dessen Codemengeninformation durch die eine Codemenge in einem vorherigen Rahmen speichernde Einheit 807 geliefert wird. Die Einheit erhält dann die Summe der Absolutwerte der Differenzen und setzt eine Vergleichseinheit 808 über die Summe der Absolutwerte der Differenzen in Kenntnis.
Die Vergleichseinheit 808 vergleicht die Summe der Absolutwerte der Codemengendifferenzen in einem segmentierten Bereich zwischen den vorliegenden und vorherigen Rahmen mit dem Standardwert der Codemengendifferenz, um zu prüfen, ob eine Änderung von Szenen in dem bezeichneten segmentierten Bereich aufgetreten ist oder nicht. Es wird bestimmt, daß eine Änderung von Szenen aufgetreten ist, falls die Summe der Absolutwerte der Differenzen in der Menge von Codes in allen segmentierten Bereichen zwischen den vorliegenden und vorherigen Rahmen (in diesem Fall kann es einen einzigen Absolutwert der Differenz in der Menge von Codes geben) größer als ein Standardwert der Codemengendifferenz ist. Wenn eine Änderung von Szenen detektiert wurde, wird durch einen Ausgangsanschluß 800d ein Szenenänderungs-Detektionssignal extern abgegeben.
Wenn die Codemengendifferenz-Speichereinheit 806 die Differenz in der Menge von Codes berechnet hat, gibt der Codepuffer 805 die gespeicherte Menge von Codes an die eine Codemenge in einem vorherigen Rahmen speichernde Einheit 807 aus. Die eine Codemenge in einem vorherigen Rahmen speichernde Einheit 807 empfängt und speichert die Menge von Codes. Die Menge von Codes wird verwendet als die Menge von Codes in dem segmentierten Bereich im vorherigen Rahmen, wenn der nächste Rahmen eingegeben wird.
Gemäß der oben beschriebenen Ausführungsform können mehrere segmentierte Bereiche durch die Detektionsbedingungs- Einstelleinheit 801 eingestellt werden. Ein einziger Bereich kann jedoch auch segmentiert werden.
In diesem Fall segmentiert die Bildsegmentiereinheit 803 Bilddaten in einem einzigen segmentierten Bereich unter den in Rahmen eingegebenen Bilddaten. Nur die segmentierten Daten werden durch die Codiereinheit 804 codiert. Die codierten Daten werden in dem Codepuffer 805 gespeichert, und der Codepuffer 805 berechnet die Menge von Codes in den gespeicherten codierten Daten und liefert die Menge für die Codemengendifferenz-Speichereinheit 806.
Die Codemengendifferenz-Speichereinheit 806 berechnet den Absolutwert der Differenz in der Menge von Codes im segmentierten Bereich zwischen den vorliegenden und vorherigen Rahmen und liefert das Ergebnis für die Vergleichseinheit 808.
Die Vergleichseinheit 808 vergleicht den Absolutwert der Differenz mit dem Standardwert der Codemengendifferenz, die durch die Detektionsbedingungs-Einstelleinheit 801 mitgeteilt wurde, bestimmt gemäß dem Vergleichsergebnis, ob eine Änderung von Bildern (Szenen) in dem segmentierten Bereich detektiert wurde oder nicht, und gibt ein Szenenänderungssignal durch den Ausgangsanschluß 800d aus, falls der Absolutwert der Differenz größer als der Standardwert der Codemengendifferenz ist.
Mehrere segmentierte Bereiche können separat nach einer Änderung von Bildern (Szenen) abgesucht werden, indem mehrere Szenenänderungs-Detektiervorrichtungen 800 zum Detektieren einer Änderung von Bildern (Szenen) in einem einzigen segmentierten Bereich verwendet werden. Das heißt, gemäß dem ein Beispiel eines Detektierprozesses zeigenden Verfahren ermöglicht ein paralleler Prozeß, daß eine Änderung von Bildern (Szenen) in jedem von n segmentierten Bereichen 830 in eingegebenen Bilddaten 820 detektiert wird.
Die Szenenänderungs-Detektiervorrichtung 800 detektiert eine Änderung von Szenen in einem spezifischen Bereich in einem Rahmen gemäß der Differenz in der Menge von Codes. Im Gegensatz dazu detektiert eine Szenenänderungs-Detektiervorrichtung 900 gemäß der 16-ten Ausführungsform der vorliegenden Erfindung eine Änderung von Szenen in einem spezifischen Bereich in einem Rahmen gemäß der Rate einer Differenz in der Menge von Codes.
Fig. 39 ist das Blockdiagramm, das die Schaltung der Szenenänderungs-Detektiervorrichtung 900 darstellt. In Fig. 39 ist einem Block, der zu einem in Fig. 38 gezeigten identisch ist, die gleiche Zahl und das gleiche Symbol zugeord net, und die ausführliche Beschreibung wird hier nicht wiederholt.
In Fig. 39 stellt eine Detektionsbedingungs-Einstelleinheit 901 einen Standardwert der Rate einer Differenz in der Menge von Codes ein, der verwendet wird, wenn eine Änderung von Szenen in einem spezifizierten segmentierten Bereich detektiert wird, der gemäß den durch einen Eingangsanschluß 900a empfangenen Detektionsbezeichnungsdaten bezeichnet wurde, und setzt die Vergleichseinheit 908 vom Standardwert in Kenntnis.
Eine eine Rate einer Differenz zählende Einheit 906 berechnet eine Rate einer Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen gemäß der Menge von Codes in den segmentierten Bereichen in den vorliegenden und vorherigen Rahmen, die durch die Codemengen-Speichereinheit 805 und die eine vorherige Codemenge speichernde Einheit 807 mitgeteilt wurden, und liefert dann die resultierende Rate einer Differenz für die Vergleichseinheit 908.
Die Vergleichseinheit 908 vergleicht die mitgeteilte Codemengendifferenz mit dem Standardwert der Codemengendifferenz, der durch die Detektionsbedingungs-Einstelleinheit 901 mitgeteilt wurde, um zu prüfen, ob eine Änderung von Szenen in einem spezifizierten segmentierten Bereich aufgetreten ist oder nicht. Das heißt, falls die mitgeteilte Rate einer Differenz in der Menge von Codes größer als der Standardwert ist, wird dann bestimmt, daß eine Änderung von Szenen in dem spezifizierten segmentierten Bereich detektiert wurde. Falls eine Änderung von Szenen detektiert wurde, wird durch den Ausgangsanschluß 800d ein Szenenänderungs-Detektionssignal ausgegeben.
Die Szenenänderungs-Detektiervorrichtung 900 ist verwendbar, wenn es einen einzigen segmentierten Bereich gibt. Falls jedoch mehrere Segmentbereiche spezifiziert sind, ist dann die Schaltung einer Szenenänderungs-Detektiereinheit 1000 gemäß der 13-ten Ausführungsform wie in Fig. 40 gezeigt konfiguriert.
Das heißt, in diesem Fall segmentiert die Bildsegmentiereinheit 1003 mehrere segmentierte Bereiche von Bilddaten, die in jedem durch einen Eingangsanschluß 1002c zugeführten Rahmen eingegeben wurden, gemäß der in der Segmentierungsinfor mations-Speichereinheit 1002 eingestellten Segmentierungsinformation. Die Codiereinheit 1004 codiert separat Daten in jedem segmentierten Bereich und speichert die Menge codierter Daten in der Codemengen-Speichereinheit 1005. Die Codemengen- Speichereinheit 1005 zählt die Menge von Codes in jedem der segmentierten Bereiche gemäß den codierten Daten in jedem der segmentierten Bereiche und setzt eine eine Rate einer Differenz zählende Einheit 1006 von jeder der Mengen von Codes in Kenntnis.
Die eine Rate einer Differenz zählende Einheit 1006 vergleicht die Menge von Codes in jedem der segmentierten Bereiche in dem vorliegenden Rahmen mit der Menge von Codes in dem entsprechenden Bereich in dem vorherigen Rahmen, die durch die eine Codemenge in einem vorherigen Rahmen speichernde Einheit 1007 erhalten wurde, und berechnet die Rate einer Differenz in der Menge von Codes für jeden der segmentierten Bereiche. Die Zähleinheit setzt dann eine eine Durchschnittsrate einer Differenz zählende Einheit 1009 von der Rate einer Differenz in der Menge von Codes in jedem segmentierten Bereiche in Kenntnis.
Die eine Durchschnittsrate einer Differenz zählende Einheit 1009 zählt eine Durchschnittsrate einer Differenz in der Menge von Codes in jedem der segmentierten Bereiche und setzt die Vergleichseinheit 1008 von der Durchschnittsrate einer Differenz in Kenntnis.
Die Vergleichseinheit 1008 vergleicht die Durchschnittsrate einer Differenz in der Menge von Codes mit dem Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes, bestimmt, ob eine Änderung von Szenen aufgetreten ist oder nicht, und gibt ein Szenenänderungs-Detektionssignal durch einen Ausgangsanschluß 800d ab, wenn eine Änderung von Szenen detektiert wurde.
Die Szenenänderungs-Detektiervorrichtung 800 (900 oder 1000) detektiert eine Änderung von Szenen durch Codieren von Eingabebilddaten in einem segmentierten Bereich. Zu dieser Zeit kann die Menge von Daten, die durch die Szenenänderungs- Detektiervorrichtung 800 (900 oder 1000) verarbeitet wurde, reduziert werden, indem die Menge von zu codierenden Eingabebilddaten reduziert wird. Folglich kann die Schaltung der Szenenänderungs-Detektiervorrichtung 800 (900 oder 1000) ver einfacht, in der Größe reduziert und in der Verarbeitungsgeschwindigkeit verbessert werden.
Fig. 41 ist ein Blockdiagramm, das die Schaltung einer Szenenänderungs-Detektiervorrichtung 1100 gemäß der 14-ten Ausführungsform der vorliegenden Erfindung zeigt. In Fig. 41 reduziert eine Datenreduziereinheit 1101 mit einer vorbestimmten Rate die Menge von Daten, die durch den Eingangsanschluß 800c zugeführt wurden, und führt sie der Bilddaten- Segmentiereinheit 803 der Szenenänderungs-Detektiereinheit in der Szenenänderungs-Detektiervorrichtung 800 (900 oder 1000) zu. Die Datenreduziereinheit 1101 reduziert Bilddaten gemäß dem in Fig. 22, 23, 24 oder 25 gezeigten Verfahren.
Als nächstes wird unter Bezugnahme auf Fig. 42 ein praktisches Beispiel der Operation von jeder der Szenenänderungs- Detektiervorrichtungen 800, 900, 1000 und 1100 erläutert.
Zunächst kann ein Eingabebild 1201, d. h. eine Szene in einem Museum, durch eine Kamera wie in Fig. 42A gezeigt erhalten werden. Wie in Fig. 42B gezeigt, wird z. B. ein ein Bild 1202 enthaltender Bereich 1201a segmentiert. Wie in Fig. 42C gezeigt ist, ist folglich das Bild eines segmentierten Bereiches 1201a der zu codierende Bereich.
Durch Einstellen eines segmentierten Bereichs 1201a wie oben beschrieben kann eine Änderung von Bildern (Szenen) in einem segmentierten Bereich 1201 in dem Eingabebild 1201 detektiert werden, das durch die in einem Museum montierte Kamera erhalten wurde. Das heißt, die Menge von Codes in den Bilddaten eines segmentierten Bereichs 1201a ist während der Periode von t21 bis t22, wie in Fig. 43 gezeigt, konstant, falls der segmentierte Bereich 1201a des Eingabebildes 1201 dieselbe wie in der linken Spalte von Fig. 42D gezeigt beibehält. Falls jedoch eine Person 1203 dem Bild 1202 unmittelbar nach der Zeit T22 nahekommt, ändert sich das Bild des segmentierten Bereichs 1201a, wie in der rechten Spalte von Fig. 42D gezeigt ist. Gemäß der Änderung des Bildes ändert sich die Menge von Codes in den Bilddaten in dem segmentierten Bereich 1201a deutlich, wie in Fig. 43 gezeigt ist (die Menge von Codes nimmt um den Wert von DIF41 zu). Daher kann die Änderung von Bildern (Szenen) des segmentierten Bereichs 1201a detektiert werden, indem der Standardwert des Absolutwertes der Codemengendifferenz oder der Rate einer Differenz in der Menge von Codes auf einen entsprechenden Wert eingestellt wird. Das heißt, ein Szenenänderungs-Detektionssignal wird abgegeben, um die Änderung von Szenen mitzuteilen, sobald die Person 1203 dem Bild 1202 nahekommt.
Somit detektieren die Szenenänderungs-Dekektiervorrichtungen 800, 900, 1000 und 1100 automatisch durch eine Reihe von Bildern, die durch eine Kamera etc. aufgenommen wurden, die Bewegung eines Objektes und einer Person, die an einer spezifischen Stelle sind. Daher kann die Szenenänderungs- Detektiervorrichtung 800, 900, 1000 oder 1100 für eine automatische Überwachungsvorrichtung etc. verwendet werden.
Fig. 44 zeigt ein Beispiel eines Segmentierens eine Bildes durch die Bildsegmentiereinheit 803 (1003) der Szenenänderungs-Detektiervorrichtung 800, 900, 1000 und 1100.
Fig. 44A zeigt ein Beispiel eines Spezifizierens eines einfachen Bereichs 1411a eines Eingabebildes 1411 als einen segmentierten Bereich. Dementsprechend sind in diesem Fall nur die Bilddaten des segmentierten Bereichs 1411a zu codieren, und eine Änderung von Szenen kann durch eine einzige Szenenänderungs-Detektiervorrichtung 800, 900, 1000 oder 1100 detektiert werden.
Als nächstes zeigt Fig. 44B ein Beispiel eines Spezifizierens eines Mehrzahl segmentierter Bereiche für ein Eingabebild 1421 (in diesem Fall zwei Bereiche 1421A und 1421B). In diesem Beispiel wird jeder der segmentierten Bereiche (1421A und 1421B) separat codiert. Jeder von ihnen (1421A und 1421B) wird dann separat nach einer Änderung von Bildern (Szenen) abgesucht. Daher benötigt jeder der segmentieren Bereiche die Szenenänderungs-Detektiervorrichtungen 800, 900, 1000 und 1100. Eine der Szenen-Detektiervorrichtungen 800, 900, 1000 und 1100 kann verwendet werden, um eine Multiverarbeitungsoperation auszuführen.
Fig. 44C zeigt dann ein Beispiel eines Segmentierens einer Mehrzahl von Bereichen von einem Eingabebild 1431 wie in Fig. 44B (in diesem Fall zwei segmentierte Bereiche 1431A und 1431B). Beim Codieren von Bilddaten werden die mehreren Bereiche verarbeitet, als ob sie ein einziger Bereich 1432 wären, und werden kollektiv codiert. Daher kann eine der Szenenänderungs-Detektiervorrichtungen 800, 900, 1000 und 1100 zufriedenstellend arbeiten.
Überdies zeigt Fig. 44D ein Beispiel eines Codieren maskierter und gerahmter Bilddaten 1442, wobei andere Daten als diejenigen in segmentieren Bereichen 1441a maskiert sind (in diesem Beispiel ist nur ein Bereich 1441a segmentiert), obgleich die Größe eines Bildes die gleiche wie diejenige des Eingabebildes 1441 ist.
Die Szenenänderungs-Detektiervorrichtungen 800, 900, 1000 und 1100 können für die Szenenänderungs-Detektiereinheit 610 der Bilddaten-Codiervorrichtung, die in Fig. 35 gezeigt ist, verwendet werden. Wenn die Bilddaten-Codiervorrichtung wie oben beschrieben entworfen ist, kann eine Änderung von Szenen (Bildern) bei einem spezifischen Bereich in einem Rahmen detektiert werden, und codierte Daten 130 oder 140 können in dem in Fig. 16 oder 17 gezeigten Format erzeugt werden, wobei der Rahmen, in welchem die Änderung von Szenen detektiert wurde, als ein szenengeänderter Rahmen erkannt wird.
Die Szenenänderungs-Detektiervorrichtung 220, 230, 400, 450, 800, 900, 1000 oder 1100 steuert eine Bildaufzeichnungsvorrichtung etc. gemäß der Eingabe eines Szenenänderungs- Detektionssignals (Extraktionsinformation über eine Änderung von Szenen), wodurch ein auf die Bewegungen von Bildern ansprechendes Bildaufzeichnungssystem realisiert wird.
Eine Szenenänderungsdetektions-Aufzeichnungsvorrichtung zum Realisieren solch eines Bildaufzeichnungssystems wird unten als die 15-te Ausführungsform der vorliegenden Erfindung erläutert.
Fig. 45 ist ein Blockdiagramm, das die Szenenänderungsdetektions-Aufzeichungsvorrichtung zeigt.
In Fig. 45 werden Bilddaten durch einen Eingangsanschluß 250a eingegeben. Eine Szenenänderungs-Detektiereinheit 251 detektiert eine Änderung von Szenen gemäß den Eingabebilddaten und gibt ein Szenenänderungs-Detektionssignal an eine Signalumwandlungseinheit 252 ab. Die Signalumwandlungseinheit 252 wandelt das Szenenänderungs-Detektionssignal in ein Aufzeichnungs- (Bildaufzeichnungs-) Anweisungssignal für die Bildaufzeichnungsvorrichtung um und gibt es an eine Bildsignal-Aufzeichnungseinheit 253 ab. Die Bildsignal-Aufzeichnungseinheit 253 zeichnet durch den oben beschriebenen Eingangsanschluß 250a eingegebene Bilddaten in einem vorbestimm ten Speichermedium gemäß dem Aufzeichnungs- (Bildaufzeichnungs-) Anweisungssignal auf.
Die Szenendetektiereinheit 251 kann die Szenenänderungs- Detektiervorrichtung 220, 230, 400, 450, 800, 900, 1000 oder 1100 sein, und die Operation der Szenendetektiereinheit ist oben beschrieben. Die Bildsignal-Aufzeichnungseinheit 253 ist z. B. ein Videoband-Aufzeichnungsgerät, das mit einem Fernsehgerät verbunden ist, und arbeitet ähnlich. Das Videoband- Aufzeichnungsgerät sollte jedoch einen Eingangsanschluß aufweisen, durch den ein Aufzeichnungs- (Bildaufzeichnungs-) Anweisungssignal von der Signalumwandlungseinheit 252 empfangen wird, und Bilddaten gemäß dem Aufzeichnungs-Anweisungssignal aufzeichnen.
Es gibt verschiedene Verfahren zum Aufzeichnen von Bildern unter Verwendung der Bildsignal-Aufzeichnungseinheit 253 (z. B. eines Videoband-Aufzeichnungsgeräts), die gemäß einem durch die Signalumwandlungseinheit 252 abgegebenen Aufzeichnungs-Anweisungssignal betrieben wird. Fig. 46 bis 48 zeigen drei Beispiele solcher Bildaufzeichnungsverfahren. In den Fig. 46 bis 48 gibt die vertikale Achse die Menge von Codes in Animationsdaten in jedem Rahmen an, während die horizontale Achse die Zeit anzeigt, zu der Bilddaten in jedem Rahmen eingegeben werden.
In Fig. 46 detektiert die Szenenänderungs-Detektiereinheit 251 eine Differenz DIF0, DIF1, DIF2 oder DIF3, die größer als ein Standardwert einer vorbestimmten Codemengendifferenz oder einer Rate einer Differenz in der Menge von Codes ist, zu jeweiligen Zeiten t0, t1, t2 und t3. Das heißt, die Einheit detektiert eine Änderung von Szenen und gibt ein Szenenänderungs-Detektionsignal zur Zeit t0, t1, t2 bzw. t3 aus. Die Signalumwandlungseinheit 252 fährt damit fort, ein Aufzeichnungs-Anweisungssignal an die Bildsignal-Aufzeichnungseinheit 253 während einer vorbestimmten Zeitspanne jedesmal abzugeben, wenn das Szenenänderungs-Detektionssignal eingegeben wird. Die Bildsignal-Aufzeichnungseinheit 253 zeichnet Bilddaten auf, die durch den Eingangsanschluß 250a eingegeben wurden, während ein Szenenänderungs-Detektionssignal eingegeben wird. Folglich wird eine Animation nach einer Änderung von Szenen während einer vorbestimmten Zeit einschließlich des Bildschirmes (Rahmens), der die Änderung von Szenen angibt, jedesmal aufgezeichnet, wenn eine Szene sich ändert.
In Fig. 47 detektiert die Szenenänderungs-Detektiereinheit 251 eine Differenz DIF&sub1;&sub0;, DIF&sub1;&sub1;, DIF&sub1;&sub2; oder DIF&sub1;&sub3;, die größer als ein Standardwert einer vorbestimmten Codemengendifferenz oder einer Rate einer Differenz in der Menge von Codes ist, zu einer jeweiligen Zeit t4, t5, t6 und t7 und gibt an die Signalumwandlungseinheit 252 ein Szenenänderungs- Detektionssignal zur Zeit t4, t5, t6 bzw. t7 ab. In diesem Beispiel fährt die Signalumwandlungseinheit 252 damit fort, ein Bilddatenaufzeichnungs-Anweisungssignal an die Bildsignal-Aufzeichnungseinheit 253 während der Periode von t4, an dem ein Szenenänderungs-Detektionssignal eingegeben wird, bis t5 abzugeben, an dem das Szenenänderungs-Detektionssignal das nächste Mal eingegeben wird. Falls ein Szenenänderungs- Detektionssignal wieder bei t6 eingegeben wird, nachdem die Signalumwandlungseinheit 252 ein Abgeben des Aufzeichnungs- Anweisungssignals bei t5 gestoppt hat, fährt dann die Signalumwandlungseinheit 252 damit fort, das Aufzeichnungs-Anweisungssignal an die Bildsignal-Aufzeichnungseinheit 253 abzugeben, bis das Szenenänderungs-Detektionssignal bei t7 wieder eingegeben wird. In dem zweiten Beispiel werden somit, falls eine Reihe einer Animation einschließlich der Szene (Rahmen), die eine Änderung von Szenen angibt, bis zur nächsten Änderung von Szenen aufgezeichnet wird, dann die Rahmen einschließlich und nach der nächsten Änderung von Szenen nicht aufgezeichnet. Wenn eine Änderung von Rahmen aufgetreten ist, wird daher eine Animation zwischen Änderungen von Szenen bei jedem zweiten Szenenänderungs-Detektionssignal aufgezeichnet.
In Fig. 48 detektiert überdies die Szenenänderungs- Detektiereinheit 251 eine Differenz DIF&sub2;&sub0;, DIF&sub2;&sub1;, DIF&sub2;&sub2; oder DIF&sub2;&sub3;, die größer als ein Standardwert einer vorbestimmten Codemengendifferenz oder einer Rate einer Differenz in der Menge von Codes ist, zu einer jeweiligen Zeit t8, t9, t10 und t11 und gibt an die Signalumwandlungseinheit 252 ein Szenenänderungs-Detektionssignal zur Zeit t8, t9, t10 bzw. t11 ab. In dem dritten Beispiel zählt die Signalumwandlungseinheit 252 die Zahl von Eingaben eines Szenenänderungs-Detektionssignals und gibt ein Aufzeichnungs-Anweisungssignal an die Bildsignal-Aufzeichnungseinheit 253 während einer vorbestimm ten Periode jedesmal ab, wenn der Zählwert "3" angibt, d. h. bei jedem dritten Mal, wenn das Szenenänderungs-Detektionssignal eingegeben wird. In dem in Fig. 48 gezeigten Beispiel wird somit nur das Bild (Rahmen) mit der Menge von Codes 281 bei t10 aufgezeichnet.
Wie oben beschrieben wurde, kann ein eine Änderung von Szenen angebendes Bild in verschiedenen Verfahren gemäß dem durch die Szenenänderungs-Detektiereinheit 251 abgegebenen Szenenänderungs-Detektionssignal aufgezeichnet werden.
Dementsprechend kann das Verhalten einer fremden Person durch eine Kamera einer Überwachungsvorrichtung während einer vorbestimmten Periode von dem Moment an aufgezeichnet werden, indem er oder sie erschienen ist, indem die Szenenänderungs- Detektiervorrichtung 800, 900, 1000 oder 1100, die in Fig. 37, 39, 40 oder 41 dargestellt ist, als die Szenenänderungs- Detektiereinheit 251 verwendet wird. Dies bietet einen hervorragenden Effekt für Überwachungsdienste. Der ähnliche Effekt kann erhalten werden, indem jede der Szenenänderungs- Detektiervorrichtungen 220, 230, 400 und 450 als die Szenenänderungs-Detektiereinheit 251 verwendet wird:
Nur ein eine Änderung von Szenen angebender Rahmen kann regeneriert und aufgezeichnet werden, indem eine Szenenänderungs-Extraktionsinformation (ein Szenenänderungs-Detektionssignal) zusammen mit einer Bildinformation aufgezeichnet wird. Dies wird unten als die 16-te Ausführungsform erklärt.
Fig. 49 ist ein Blockdiagramm, das die Konfiguration der Szenenänderungs-Detektier- und Anzeigevorrichtung zum Regenerieren von Bildern wie oben beschrieben darstellt.
In Fig. 49 werden Bilddaten durch einen Eingangsanschluß 290a eingegeben. Eine Szenenänderungs-Detektiereinheit 291 detektiert eine Änderung von Szenen gemäß den Eingabebilddaten und gibt ein Detektionssignal (ein Szenenänderungs- Detektionssignal) ab. Die Szenenänderungs-Detektiereinheit 291 hat eine ähnliche Konfiguration zu derjenigen der in Fig. 45 gezeigten Szenenänderungs-Detektiereinheit 251. Eine Signalumwandlungseinheit 292 wandelt ein Szenenänderungs-Detektionssignal in ein Markierungssignal für eine Bildaufzeichnungsvorrichtung um und gibt es ab.
Beim Empfangen des Markierungssignals von der Signalumwandlungseinheit 292 addiert eine Bildsignal-Regenerierungs einheit 294 das Markierungssignal zu den durch einen Eingangsanschluß 290a eingegebenen Bilddaten und zeichnet sie auf einem vorbestimmten Speichermedium auf.
Die Bildsignal-Regenerierungseinheit 294 liest sequentielle Bildsignale, die in das vorbestimmte Speichermedium in einer Bildsignal-Aufzeichnungseinheit 293 aufgezeichnet wurden, und regeneriert Bilddaten.
Eine Markierungsignal-Detektiereinheit 295 extrahiert die Bilddaten, die mit einem Markierungssignal versehen sind, von den Bilddaten, die durch die Bildsignal-Regenerierungseinheit 294 regeneriert wurden und gibt sie aus.
Eine Bildanzeigeeinheit 296 empfängt nur die Bilddaten, die mit einem Markierungssignal von der Markierungssignal- Detektiereinheit 295 versehen sind, und zeigt die Bilddaten an.
Fig. 50 stellt die Konfiguration des in der Bildsignal- Aufzeichnungseinheit 293 aufgezeichneten und durch die Bildsignal-Regenerierungseinheit 294 regenerierten Bildsignals dar.
Bildsignale 300, die in Fig. 50 als Ganzes dargestellt sind, geben eine Sequenz (eine Reihe von Rahmenbilddaten) einer Animation an. Die Bildsignale 300 sind, wie bei codierten Datentgruppen 130 und 140, mit einem SOM-Signal als einem Anfangsblock und einem folgenden EOM-Signal versehen. Zwischen dem SOM-Signal und dem EOM-Signal ist ein Bildsignalbereich 300-0,300-1, 300-2, 300-3, ..., 300-n-1 oder 300-n zum Speichern von Bilddaten in jedem Rahmen vorgesehen. In jedem Bildsignalbereich 300-i (i = 0, 1, 2, 3, ..., n-1, n) werden nur eine Rahmenzahl 300-ia und Bilddaten 300-ib des Rahmens gespeichert (siehe Bildsignalbereich 300-3 in Fig. 50), falls keine Änderung von Szenen detektiert wurde. Falls andererseits eine Änderung von Szenen detektiert wurde, speichert ein eine Änderung von Szenen angebender Rahmen zusätzlich zur Rahmenzahl 300-ia und den Bilddaten 300-ib des Rahmens ein Markierungssignal 300-ic zwischen den oben beschriebenen Daten (siehe Bildsignalbereich 300-0 in Fig. 50).
Bei Empfang des Bildsignals 300 mit der oben beschriebenen Konfiguration liest die Markierungssignal-Detektiereinheit 295 Daten sequenentiell vom Bildsignalbereich 300-0, detektiert einen szenengeänderten Rahmen in Abhängigkeit von der Existenz eines Markierungssignals 300-ic und gibt nur die Bilddaten in dem szenengeänderten Rahmen auf der Bildanzeigeeinheit 296 aus. Folglich zeigt die Bildanzeigeeinheit 296 nur szenengeänderte Rahmen an.
Als Folge werden Bilder automatisch extrahiert und angezeigt, nur wenn eine fremde Person in Bildsignalen erschienen ist, die durch eine Kamera einer Überwachungsvorrichtung aufgenommen werden, indem die Szenenänderungs-Detektiervorrichtung 800, 900, 1000 und 1100, die in Fig. 37, 39, 40 oder 41 gezeigt ist, als die Szenenänderungs-Detektiereinheit 291 verwendet wird. Dies realisiert einen jeweiligen Überwachungsdienst. Ein ähnlicher Effekt kann erhalten werden, indem irgendeine der Szenenänderungs-Detektiervorrichtungen 220, 230, 400 und 450 als die Szenenänderungs-Detektiervorrichtung 291 verwendet wird.
In der obigen Ausführungsform kann nur ein eine Änderung von Szenen angebender Rahmen regeneriert und angezeigt werden. Es ist auch möglich, während mit hoher Geschwindigkeit alle aufgezeichneten Bilder regeneriert werden, nur Rahmen zu regenerieren und anzuzeigen, die eine Änderung von Szenen angeben, indem dies für eine vorbestimmte Periode gestoppt wird. Dies wird unten als die 17-te Ausführungsform erklärt.
Fig. 51 ist ein Blockdiagramm, das die Konfiguration der Szenenänderungs-Detektier- und Anzeigevorrichtung zum Stoppen und Anzeigen für eine vorbestimmte Periode nur eines Rahmens darstellt, der eine Änderung von Szenen angibt, während Bilder mit hoher Geschwindigkeit regeneriert werden.
In Fig. 51 regeneriert eine Bildsignal-Regenerierungseinheit 311 ein in einem vorbestimmten Aufzeichnungsmedium aufgezeichnetes Bildsignal in Bilddaten.
Eine Hochgeschwindigkeits-Bildregenerierungseinheit 312 extrahiert und regeneriert mit einer hohen Geschwindigkeit die regenerierten Bilddaten mit einigen der Bilder, die mit einer vorbestimmten Rate extrahiert wurden.
Eine Bildanzeigeeinheit 315 zeigt die Bilddaten an, die mit einer hohen Geschwindigkeit durch die Hochgeschwindigkeits-Bilderzeugungseinheit 312 erzeugt und extrahiert wurden.
Eine Szenenänderungs-Detektiereinheit 313 detektiert eine Änderung von Szenen in Animationsdaten, die mit einer hohen Geschwindigkeit durch die Hochgeschwindigkeits-Bildregenerierungseinheit 312 extrahiert und regeneriert wurden, und gibt ein Szenenänderungs-Detektionssignal ab, wenn eine Änderung von Szenen detektiert wurde. Die Szenenänderungs-Detektiereinheit 313 hat die Konfiguration, die zu derjenigen der in Fig. 45 gezeigten Szenenänderungs-Detektiereinheit 251 ähnlich ist.
Eine Signalumwandlungseinheit 314 wandelt das von der Szenenänderungs-Detektiereinheit 312 zugeführte Szenenänderungs-Detektionssignal in ein Zwischenstoppsignal um und gibt es an eine Bildsignal-Regenerierungseinheit 310 ab. Die Bildsignal-Regenerierungseinheit 313 stoppt vorübergehend ein Bild, wenn sie das Zwischenbildstoppsignal empfängt.
Die Operation der eine Szenenänderung detektierenden und anzeigenden Vorrichtung mit der oben beschriebenen Konfiguration wird durch Verweis auf Fig. 52, 53A und 53B erklärt.
Fig. 52 zeigt ein Beispiel einer Differenz in der Menge von Codes in jedem Rahmen, wenn durch die Bildsignal-Regenerierungseinheit 311 regenerierte Bilddaten (die Bilddaten, bevor sie extrahiert wurden) durch eine (in Fig. 52 nicht gezeigte) Codiereinheit in der Szenenänderungs-Detektiereinheit 313 codiert werden. Falls die Bilddaten mit einer hohen Geschwindigkeit durch die Hochgeschwindigkeits-Bildregenerierungseinheit 312 (durch Extrahieren jedes vierten Bildelements) extrahiert und regeneriert und in die Szenenänderungs-Detekiereinheit 313 eingegeben werden, wird dann die Menge von Codes in den schnell regenerierten Bilddaten, die durch eine Codiereinheit in der Szenenänderungs-Detektiereinheit 313 codiert wurden, in Fig. 53A gezeigt. In Fig. 53A und 53B gibt die vertikale Achse die Menge von Codes von Bilddaten an, während die horizontale Achse die Zeit angibt.
In den in Fig. 52 und 53 gezeigten Beispielen wird ein Regenerierungsprozeß mit einer hohen Geschwindigkeit durchgeführt, so daß eine Szene 330a mit 3 Rahmen, die in Fig. 53A gezeigt ist, aus einer Reihe von Szenen 320a mit neun Rahmen extrahiert wird, die in Fig. 52 gezeigt ist. Desgleichen werden Szenen 330b mit 5 Rahmen, 330c mit 4 Rahmen, 330d mit 5 Rahmen und 330e mit 4 Rahmen mit einer hohen Geschwindigkeit, wie in Fig. 53A gezeigt ist, aus einer Reihe von Szenen 320b mit 17 Rahmen, 320c mit 13 Rahmen, 320d mit 17 Rah men bzw. 330e mit 13 Rahmen (ein Teil von ihnen ist nicht exakt dargestellt) regeneriert, wie in Fig. 52 gezeigt ist.
Wenn die Szenenänderungs-Detektiereinheit 313 durch die Hochgeschwindigkeits-Bilderzeugungseinheit 312 mit hoher Geschwindigkeit regenerierte Bilddaten codiert und die Menge von Codes enthält, die in Fig. 53A gezeigt ist, detektiert sie die Codemengendifferenz, die größer als der Standardwert einer vorbestimmten Codemengendifferenz oder einer Rate einer Differenz in der Menge von Codes ist, zur Zeit t12, t13, t14 und t15 und gibt an die Szenenumwandlungseinheit 314 zur Zeit t12, t13, t14 und t15 ein Szenenänderungs-Detektionssignal ab. Die Szenenumwandlungseinheit 314 gibt ein Zwischenstoppsignal an die Bildsignal-Regenerierungseinheit 311 jedesmal ab, wenn ein Szenenänderungs-Detektionssignal eingegeben wird.
Die Bildsignal-Regenerierungseinheit 311 stoppt ein Regnerieren eines Bildsignals für eine vorbestimmte Periode jedesmal, wenn ein Zwischenstoppsignal eingegeben wird. Die Bildanzeigeeinheit 315 fährt somit fort, ein eine Änderung von Szenen anzeigendes Bild während einer vorbestimmten Periode jedesmal anzuzeigen, wenn eine Änderung von Szenen detektiert wurde, wie in Fig. 53B gezeigt ist. Nach der vorbestimmten Periode nimmt dann die Hochgeschwindigkeits-Bildregenerierungseinheit 312 die Hochgeschwindigkeitsregenerierung wieder auf. Daher startet die Bildanzeigeeinheit 315 die Hochgeschwindigkeitsanzeige mit einigen Rahmen, die mit einer vorbestimmten Rate extrahiert wurden. Ein eine Änderung von Szenen angebender Rahmen kann somit gestoppt und mit einer vorbestimmten Periode jedesmal angezeigt werden, wenn eine Änderung von Szenen während der Hochgeschwindigkeitsregenerierung detektiert wurde.
Daher kann ein eine fremde Person anzeigendes Bild sofort in Aufzeichnungsdaten von Bildsignalen einer Kamera einer Überwachungsvorrichtung detektiert werden, und das detektierte Bild kann genau geprüft werden, indem z. B. die in den Fig. 37, 38, 40 oder 41 gezeigte Szenenänderungs-Detektiervorrichtung 800, 900, 1000 oder 1100 als die Szenenänderungs- Detektiereinheit 313 verwendet wird. Ein ähnlicher Effekt kann erhalten werden, indem irgendeine der Szenenänderungs- Detektiervorrichtungen 220, 230, 400 und 450 verwendet wird.
Wie oben beschrieben wurde, weist die vorliegende Erfindung die folgenden vorteilhaften Effekte auf.
1. Nur ein eine Änderung von Szenen angebender Rahmen kann automatisch aus Animationsdaten extrahiert werden.
2. Animationsdaten in jedem Rahmen können in einem Format codiert werden, in welchem szenengeänderte Rahmen von normalen Rahmen (keine szenengeänderten Rahmen) durch eine Rekonstruiereinheit einfach erkannt werden können.
3. Animationsdaten in Rahmen, die jeweils eine Änderung von Rahmen angeben, können aus den codierten Animationsdaten durch eine gemäß dem JPEG-Verfahren betriebene Codiereinheit für ein universelles statisches Bild automatisch extrahiert werden. Das rekonstruierte Bild in einem szenengeänderten Rahmen kann in einem vorbestimmten Format angezeigt werden.
4. Daten in szenengeänderten Rahmen können von Animationsdaten automatisch extrahiert werden, und jedes jeder Änderung von Szenen entsprechende Bild kann in verschiedenen Verfahren aufgezeichnet werden.
5. Animationsdaten in szenengeänderten Rahmen können aus Animationsdaten automatisch extrahiert und dann angezeigt werden.
6. Nur ein szenengeänderter Rahmen kann gestoppt und mit einer vorbestimmten Periode angezeigt werden, während Animationsdaten mit hoher Geschwindigkeit regeneriert werden.
7. Eine Änderung von Bildern in einem spezifischen Bereich in einem Rahmen kann automatisch detektiert werden. Daher kann eine Änderung in einem spezifischen Teil eines Bildes automatisch detektiert werden. Dementsprechend kann die vorliegende Erfindung für eine automatische Überwachungsvorrichtung etc. verwendet werden.
8. Da nur ein szenengeänderter Rahmen in einem Bild (einschließlich eines Bildes, das eine Änderung von Szenen in einen spezifischen Bereich angibt) aufgezeichnet werden kann, kann eine Reihe von Bildern während einer langen Zeit aufgezeichnet werden.
9. In einer Vorrichtung mit den in 1 bis 8 oben aufgelisteten Effekten können Änderungen von Szenen in einer Reihe von Animationsdaten automatisch extrahiert werden, indem eine Codiereinheit für statische Bilder gemäß z. B. dem JPEG- Verfahren etc. verwendet wird. Daher kann eine Vorrichtung mit den oben aufgelisteten Effekten 1 bis 8 durch eine kleine Schaltung realisiert werden.

Claims

1. Bilddaten-Codierverfahren zum Codieren von Bilddaten, umfassend:

einen Detektionsbedingungs-Speicherschritt (1) zum Speichern einer zum Detektieren eines szenengeänderten Rahmens eingestellten Detektionsbedingung;

einen Codierschritt (2) zum Codieren von Bilddaten eines Eingaberahmens;

einen Codemengen-Speicherschritt (3) zum Speichern der Menge von Codes in den in dem Codierschritt (2) codierten Daten vorheriger und vorliegender Rahmen;

einen Bestimmungsschritt (4) zum Bestimmen, ob der vorliegende Rahmen ein szenengeänderter Rahmen ist oder nicht, gemäß der in dem Codemengen-Speicherschritt (3) gespeicherten Menge von Codes der vorherigen und vorliegenden Rahmen und der in dem Detektionsbedingungs-Speicherschritt (1) gespeicherten Bedingung, die zum Detektieren eines szenengeänderten Rahmens eingestellt wurde;

und einen Ausgabeschritt (5) zum Ausgeben, als ein Bestimmungsergebnis des Bestimmungsschrittes (4), der in dem Codemengen-Speicherschritt (3) erzeugten codierten Daten und eines Codes, der einen szenengeänderten Rahmen angibt, falls der vorliegende Rahmen ein szenengeänderter Rahmen ist, und nur der codierten Daten, falls der vorliegende Rahmen kein szenengeänderter Rahmen ist, worin

der Codierschritt (2), der Codemengen-Speicherschritt (3), der Bestimmungsschritt (4) und der Ausgabeschritt (5) an Bilddaten in einer Mehrzahl von Rahmen ausgeführt werden, deren Daten codiert werden sollen.

2. Bilddaten-Codiervorrichtung zum Codieren von Bilddaten, umfassend:

ein Rahmencodiermittel (8) zum sequentiellen Codieren von Bilddaten in einem Eingaberahmen;

ein codierte Daten von Rahmen speicherndes Mittel (9) zum Speichern codierter Daten von Rahmen, deren Daten durch das Rahmencodiermittel (8) codiert werden;

ein Detektionsbedingungs-Speichermittel (10) zum Speichern der Bedingung, die eingestellt wurde, um zu detektie ren, daß ein durch das Rahmencodiermittel (8) codierter Rahmen ein szenengeänderter Rahmen ist;

ein einen szenengeänderten Rahmen detektierendes Mittel (11) zum Detektieren eines szenengeänderten Rahmens gemäß der Differenz in der Menge von Codes zwischen den im Rahmencode- Speichermittel (9) gespeicherten codierten Daten in dem vorherigen Rahmen und den durch das Rahmencodiermittel (8) codierten Daten in dem vorliegenden Rahmen und der in dem Detektionsbedingungs-Speichermittel (10) gespeicherten Detektionsbedingung; und

ein Ausgabemittel (12) zum Ausgeben in dem Rahmencode- Speichermittel (9) gespeicherter codierter Daten und codierter Daten, die einen szenengeänderten Rahmen angeben, für einen szenengeänderten Rahmen, der durch das einen szenengeänderten Rahmen detektierende Mittel (11) detektiert wurde, und Ausgeben nur der codierten Daten für einen normalen Rahmen (kein szenengeänderter Rahmen).

3. Bilddaten-Codiervorrichtung nach Anspruch 2, worin das Detektionsbedingungs-Speichermittel (10) als die Detektionsbedingung eines szenengeänderten Rahmens einen Standardwert der Differenz in der Menge von Codes zwischen benachbarten Rahmen speichert.

4. Bilddaten-Codiervorrichtung nach Anspruch 2, worin das Detektionsbedingungs-Speichermittel (1) als die Detektionsbedingung eines szenengeänderten Rahmens den Standardwert der Rate einer Differenz in der Menge von Codes zwischen benachbarten Rahmen speichert.

5. Szenenänderungs-Detektierverfahren, umfassend:

einen Detektionsbedingungs-Speicherschritt (23) zum Speichern einer zum Detektieren von Änderungen von Szenen in Animationsdaten eingestellten Detektionsbedingung;

einen Codierschritt (24) zum Codieren von Bilddaten in einem Rahmen;

einen Codemengen-Speicherschritt (25) zum Speichern der Menge von durch den Codierschritt (24) codierten Codes in einem Rahmen;

einen Szenenänderungs-Bestimmungsschritt (26) zum Bestimmen einer Änderung von Szenen gemäß der in dem Codemengen- Speicherschritt (25) gespeicherten Menge von Codes der vorherigen und vorliegenden Rahmen und der in dem Detektionsbedin gungs-Speicherschritt (23) gespeicherten Detektionsbedingung; und

einen Änderungssignal-Abgabeschritt (27) zum Abgeben eines Szenenänderungs-Detektionssignals gemäß dem Bestimmungsergebnis des Szenenänderungs-Bestimmungsschritts (26).

6. Szenenänderungs-Detektierverfahren nach Anspruch 5, worin

der Codierschritt (24) ein Ursprungsbild reduziert und

einen Codierprozeß an Bilddaten mit der reduzierten Menge von Daten durchführt.

7. Szenenänderungs-Detektiervorrichtung, umfassend:

ein Detektionsbedingungs-Speichermittel (28) zum Speichern der zum Detektieren von Änderungen von Szenen in Animationsdaten eingestellten Bedingung;

ein eine Codemenge in einem vorherigen Rahmen speicherndes Mittel (29) zum Speichern der Menge von Codes in Bilddaten in dem vorherigen Rahmen;

ein eine Codemenge in einem vorliegenden Rahmen speicherndes Mittel (30) zum Speichern der Menge von Codes in Bilddaten in dem vorliegenden Rahmen;

ein Codedifferenz-Speichermittel (31) zum Erhalten der Differenz zwischen der Menge von Codes in dem im eine Codemenge in einem vorherigen Rahmen speichernden Mittel (29) gespeicherten vorherigen Rahmen und der Menge von Codes in dem im eine Codemenge in einem vorliegenden Rahmen speichernden Mittel (30) gespeicherten vorliegenden Rahmen und Speichern der Differenz; und

ein Szenenänderungs-Detektiermittel (32) zum Detektieren von Änderungen von Szenen gemäß der in dem Codedifferenz- Speichermittel (31) gespeicherten Differenz in der Menge von Codes und der in dem Detektionsbedingungs-Speichermittel (28) gespeicherten Detektionsbedingung und Abgeben eines Szenenänderungs-Detektionssignals, wenn Änderungen von Szenen detektiert werden.

8. Bilddaten-Codierverfahren nach Anspruch 1, ferner umfassend:

einen Bereiche-Teilungsschritt (42) zum Teilen von Bilddaten in dem Eingaberahmen in eine Mehrzahl kleiner Bereiche; und

einen Codemengendifferenz-Berechnungsschritt (45) zum Erhalten einer vorbestimmten Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in jedem kleinen Bereich gemäß der in dem Codemengen-Speicherschritt (3) gespeicherten Menge von Codes der vorliegenden und vorherigen Rahmen in jedem kleinen Bereich; worin:

der Codierschritt (2) die Bilddaten separat für jeden kleinen, in dem Bereiche-Teilungsschritt (42) erhaltenen Bereich des Eingaberahmens codiert;

der Codemengen-Speicherschritt (3) die Menge von Codes codierter Daten in jedem kleinen Bereich, die in dem Codierschritt (2) erhalten wurden, berechnet und speichert; und

der Bestimmungsschritt (4) bestimmt, ob der vorliegende Rahmen der Szenenänderungsrahmen ist oder nicht, gemäß der in dem Codemengendifferenz-Berechnungsschritt (45) berechneten Differenz in der Menge von Codes in jedem kleinen Bereich zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen und der in dem eine Szenenänderungs-Detektionsbedingung speichernden Schritt (1) gespeicherten Detektionsbedingung.

9. Bilddaten-Codierverfahren nach Anspruch 8, worin eine in dem eine Szenenänderungs-Detektionsbedingung speichernden Schritt (1) gespeicherte Detektionsbedingung auf einen Standardwert der Summe von Absolutwerten der Differenzen zwischen den vorliegenden und vorherigen Rahmen für alle kleinen Bereiche Bezug nimmt;

der Codemengendifferenz-Berechnungsschritt (45) die Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich erhält; und

der Bestimmungsschritt (4) die Summe von Absolutwerten der Differenzen in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen erhält und die Summe mit dem Standardwert verglichen werden kann, um einen szenengeänderten Rahmen zu detektieren.

10. Bilddaten-Codierverfahren nach Anspruch 8, worin eine in dem eine Szenenänderungs-Detektionsbedingung speichernden Schritt (1) gespeicherte Detektionsinformation auf einen Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich Bezug nimmt;

der Codemengendifferenz-Berechnungsschritt (45) die Rate der Differenz zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich erhält; und

der Bestimmungsschritt (46) die Durchschnittsrate einer Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich erhalten kann, um einen szenengeänderten Rahmen zu detektieren, indem die Durchschnittsrate einer Differenz mit dem oben beschriebenen Standardwert verglichen wird.

11. Bilddaten-Codierverfahren nach Anspruch 8, worin der Bereiche-Teilungsschritt (42) einen Eingaberahmen in zwei kleine Bereiche, d. h. gerade Felder und ungerade Felder, teilen kann.

12. Bilddaten-Codierverfahren nach Anspruch 8, worin der Bereiche-Teilungsschritt (42) einen Eingaberahmen in kleine Bereiche teilen kann, die jeweils eine Farbkomponente angeben, wenn sich der Eingaberahmen auf Farbbilddaten bezieht.

13. Bilddaten-Codierverfahren nach Anspruch 8, worin der Bereiche-Teilungsschritt (42) einen Eingaberahmen in eine Mehrzahl von Blöcken als kleine Bereiche gleich teilen kann.

14. Bilddaten-Codierverfahren nach Anspruch 8, worin der Codierschritt (43) Bilddaten in jedem kleinen Bereich parallel codiert.

15. Szenenänderungs-Detektiervorrichtung nach Anspruch 7, ferner umfassend:

ein Kleine-Bereiche-Teilungsmittel zum Teilen von Bilddaten in einem Eingaberahmen in eine Mehrzahl kleiner Bereiche; und

ein Codiermittel zum individuellen Codieren von Bilddaten in der Mehrzahl kleiner Bereiche, die durch das Kleine- Bereiche-Teilungsmittel erhalten wurden; worin

das eine Codemenge in einem vorherigen Rahmen speichernde Mittel (29) die Menge von Codes von durch das Codiermittel codierten Daten in allen kleinen Bereichen in dem vorherigen Rahmen berechnet und speichert;

das Codedifferenz-Speichermittel (31) die Menge von Codes von durch das Codiermittel codierten Daten in allen kleinen Bereichen in dem vorliegenden Rahmen berechnet, eine Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen in jedem kleinen Bereich gemäß der erhaltenen Menge von Codes in jedem der kleinen Bereiche in dem vorliegenden Rahmen und der Menge von Codes in jedem der kleinen Bereiche in dem vorherigen Rahmen erhält, die in dem eine Codemenge eines kleinen Bereichs im vorherigen Rahmen speichernden Mittel (29) gespeichert wurde, und die Differenz speichert; und

das Szenenänderungs-Detektiermittel (32) die Änderungen von Szenen gemäß der in dem Codedifferenz-Speichermittel (31) gespeicherten Differenz und der durch das Detektionsbedingungs-Speichermittel (28) gespeicherten Detektionsbedingung detektiert und das Szenenänderungs-Detektionssignal abgibt, falls ein szenengeänderter Rahmen detektiert wurde.

16. Szenenänderungs-Detektiervorrichtung nach Anspruch 15, worin

das Detektionsbedingungs-Einstellmittel (55) als eine Detektionsbedingung einen Standardwert der Summe der Absolutwerte der Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle kleinen Bereiche speichert;

das Codemengendifferenz-Berechnungsmittel (59) die Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für jeden der kleinen Bereiche erhält; und

das einen szenengeänderten Rahmen detektierende Mittel (60) die Summe der Absolutwerte von Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle kleinen Bereiche erhält und einen szenengeänderten Rahmen detektiert, indem die Summe mit dem oben beschriebenen Standardwert verglichen wird.

17. Szenenänderungs-Detektiervorrichtung nach Anspruch 15, worin

das Detektionsbedingungs-Einstellmittel (55) als eine Detektionsbedingung einen Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen speichert;

das Codemengendifferenz-Berechnungsmittel (59) die Rate der Differenz in der Menge von Codes zwischen dem vorliegen den Rahmen und dem vorherigen Rahmen für jeden der kleinen Bereiche erhält; und

das einen szenengeänderten Rahmen detektierende Mittel (60) die Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für kleine Bereiche erhält und die Durchschnittsrate einer Differenz mit dem Standardwert vergleicht.

18. Szenenänderungs-Detektiervorrichtung nach Anspruch 15, ferner umfassend:

ein Rahmencodiermittel (61) zum Codieren von Bilddaten in dem Eingaberahmen; und

ein Datenausgabemittel (62) zum Ausgeben eines einen szenengeänderten Rahmen angebenden Codes zusammen mit den durch das Rahmencodiermittel (61) codierten Daten der Bilddaten, falls durch das Szenenänderungs-Detektiermittel (60) bestimmt wird, daß ein Rahmen ein szenengeänderter Rahmen ist, und Ausgeben nur der durch das Rahmencodiermittel (61) codierten Daten der Bilddaten, falls bestimmt wird, daß ein Rahmen kein szenengeänderter Rahmen ist.

19. Szenenänderungs-Detektiervorrichtung nach Anspruch 15, ferner umfassend:

ein Rahmencodiermittel (63) zum Codieren von Bilddaten in dem Eingaberahmen;

ein einen szenengeänderten Rahmen speicherndes Mittel (64) zum Speichern einer Identifizierungsinformation über einen Rahmen, der durch das einen szenengeänderten Rahmen detektierende Mittel (60) als ein szenengeänderter Rahmen detektiert wurde; und

ein Datenausgabemittel (65) zum sequentiellen Ausgeben von Bilddaten, die durch das Rahmencodiermittel (61) codiert wurden, und zum Ausgeben einer Identifizierungsinformation über alle szenengeänderten Rahmen, die in dem einen szenengeänderten Rahmen speichernden Mittel (64) gespeichert wurden, nachdem alle codierten Daten ausgegeben wurden.

20. Szenenänderungs-Detektierverfahren nach Anspruch 5, ferner aufweisend:

einen Segmentierungsinformations-Speicherschritt (72) zum Speichern einer Segmentierungsinformation, die alle Bereiche angibt, die aus Bilddaten in Eingaberahmen extrahiert werden sollen;

einen Bildsegmentierungsschritt (74) zum Segmentieren von Bilddaten in allen Bereichen, die durch eine Segmentierungsinformation aus Bilddaten in Eingaberahmen gemäß der Segmentierungsinformation spezifiziert wurden, die in dem Segmentierungsinformations-Speicherschritt (72) gespeichert wurde; und

einen Codemengendifferenz-Berechnungsschritt (77) zum Berechnen einer vorbestimmten Differenz zwischen den Mengen von durch den Codierschritt (24) codierten Codes in allen spezifizierten Bereichen im vorliegenden Rahmen und der Menge von Codes in den codierten Daten, die in dem Codemengen-Speicherschritt (25) gespeichert wurde, in dem vorherigen Rahmen; worin

der Codierschritt (24) Bilddaten in allen in dem Bildsegmentierschritt (24) segmentierten Bereichen codiert;

der Codemengen-Speicherschritt (25) die Menge von Codes der Daten, die im Codierschritt (24) codiert wurden, in allen Bereichen in dem vorherigen Rahmen speichert; und

der Szenenbestimmungsschritt (26) gemäß dem Codemengendifferenz-Berechnungsschritt (77) und der in dem Detektionsbedingungs-Speicherschritt (23) gespeicherten Detektionsbedingung bestimmt, ob eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich vorliegt oder nicht.

21. Szenenänderungs-Detektierverfahren nach Anspruch 20, worin

die in dem Detektionsbedingungs-Speicherschritt (23) gespeicherte Detektionsbedingung auf einen Standardwert der Summe der Absolutwerte der Differenzen in der Menge von Codes Bezug nimmt;

der Codemengendifferenz-Berechnungsschritt (77) die Summe der Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche erhält;

der Szenenänderungs-Bestimmungsschritt (26) bestimmt, ob eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich vorliegt oder nicht, indem die Summe der Absolutwerte der Differenzen in der Menge von Codes, die in dem Codemengendiffe renz-Berechnungsschritt (77) berechnet wurden, mit dem Standardwert verglichen werden.

22. Szenenänderungs-Detektierverfahren nach Anspruch 20, worin

die in dem Detektionsbedingungs-Speicherschritt (23) gespeicherte Detektionsbedingung auf einen Standardwert einer Durchschnittsrate einer Differenz in der Menge von Codes Bezug nimmt;

der Codemengen-Differenzberechnungsschritt (77) die Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche erhält;

der Szenenänderungs-Bestimmungsschritt (26) bestimmt, ob eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich vorliegt oder nicht, indem die Durchschnittsrate einer Differenz in der Menge von Codes, die in dem Codemengendifferenz- Berechnungsschritt (77) berechnet wurde, mit dem Standardwert verglichen wird,

23. Szenenänderungs-Detektierverfahren nach Anspruch 20, worin der Bildsegmentierschritt (74) Bilddaten eines spezifizierten Bereichs in komprimierten Bilddaten segmentiert, die erhalten werden, indem Ursprungsbilddaten in einem Rahmen durch ein vorbestimmtes Komprimierverfahren komprimiert werden.

24. Szenenänderungs-Detektiervorrichtung nach Anspruch 13, ferner umfassend:

ein Segmentierungsinformations-Speichermittel (81) zum Speichern einer Segmentierungsinformation, die alle Bereiche angibt, die aus Bilddaten in Eingaberahmen extrahiert werden sollen;

ein Bildsegmentiermittel (83) zum Segmentieren von Bilddaten in allen Bereichen, die durch die Segmentierungsinformation spezifiziert wurden, unter den Bilddaten in Eingaberahmen gemäß der in dem Segmentierungsinformations-Speichermittel (81) gespeicherten Segmentierungsinformation; und

ein Codiermittel (84) zum Codieren von Bilddaten in allen Bereichen, die im Bildsegmentiermittel segmentiert wurden;

worin

das eine Codemenge in einem vorherigen Rahmen speichernde Mittel (29) die Menge von Codes der Daten, die in dem Codiermittel codiert wurden, in allen Bereichen im vorherigen Rahmen speichert;

das Codedifferenz-Speichermittel (31) eine vorbestimmte Differenz zwischen der Menge von Codes in den durch das Codiermittel codierten Daten in allen spezifizierten Bereichen in dem vorliegenden Rahmen und der Menge von Codes in den im eine Codemenge in einem vorherigen Rahmen speichernde Mittel (23) gespeicherten codierten Daten im vorherigen Rahmen berechnet und die vorbestimmte Differenz speichert; und

das Szenenänderungs-Detektiermittel (32) bestimmt, ob eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem durch das Bildsegmentiermittel segmentierten Bereich vorliegt oder nicht, gemäß der in dem Codedifferenz-Speichermittel (31) gespeicherten vorbestimmten Differenz und der in dem Detektionsbedingungs-Speichermittel (26) gespeicherten Detektionsbedingung und das Szenenänderungs-Detektionssignal abgibt, falls ein szenengeänderter Rahmen detektiert wurde.

25. Szenenänderungs-Detektiervorrichtung nach Anspruch 24, worin

die Detektionsbedingung auf einen Standardwert der Summe der Absolutwerte der Differenzen in der Menge von Codes Bezug nimmt;

das Codedifferenz-Speichermittel (31) die Summe der Differenzen in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche erhält; und

das Szenenänderungs-Detektiermittel (32) bestimmt, ob eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich vorliegt oder nicht, indem die Summe der Absolutwerte der Differenz in der Menge von Codes, die in dem Codemengendifferenz- Berechnungsmittel (86) berechnet wurde, mit dem Standardwert verglichen wird.

26. Szenenänderungs-Detektiervorrichtung nach Anspruch 24, worin

die Detektionsbedingung auf eine Durchschnittsrate einer Differenz in der Menge von Codes Bezug nimmt;

das Codedifferenz-Speichermittel (31) die Durchschnittsrate einer Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen für alle spezifizierten Bereiche erhält; und

das Szenenänderungs-Detektiermittel (32) bestimmt, ob es eine Änderung von Szenen zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in einem spezifizierten Bereich gibt oder nicht, indem die Durchschnittsrate einer Differenz in der Menge von Codes, die in dem Codedifferenz-Speichermittel (31) berechnet wurde, mit dem Standardwert verglichen wird.

27. Szenenänderungs-Detektiervorrichtung nach Anspruch 24, worin das Codiermittel (84) Bilddaten gleichzeitig für diese Bereiche codiert, als ob sie ein einziger Bereich wären, wenn es mehrere spezifizierte Bereiche gibt.

28. Szenenänderungs-Detektiervorrichtung nach Anspruch 24, worin das Bildsegmentiermittel (83) Bilddaten in Eingaberahmen für andere Bereiche als einen spezifizierten Bereich maskiert und an das Codiermittel (84) die durch den Maskierprozeß erhaltenen Bilddaten als zu codierende Daten ausgibt.

29. Szenenänderungs-Detektiervorrichtung nach Anspruch 24, ferner umfassend:

ein Datenreduziermittel (89) zum Reduzieren von Bilddaten von Eingaberahmen durch ein vorbestimmtes Verfahren;

worin das Bildsegmentiermittel (83) Bilddaten eines spezifizierten Bereichs in den durch das Datenreduziermittel (89) komprimierten Bilddaten in Eingaberahmen segmentiert.

30. Szenenänderungs-Detektiervorrichtung nach Anspruch 7, ferner umfassend:

ein Markierungssignal-Umwandlungsmittel (95) zum Umwandeln eines durch das Szenenänderungs-Detektiermittel (32) abgegebenen Szenenänderungs-Detektionssignals in ein Markierungssignal, das eine Änderung von Szenen angibt, und Abgeben dieses;

ein Bildaufzeichnungsmittel (96) zum Addieren eines durch das Markierungssignal-Umwandlungsmittel (95) abgegebenen Mar kierungssignals zu entsprechenden Bilddaten, wenn Bilddaten aufgezeichnet werden;

ein Bildregenerierungsmittel (97) zum Regenerieren der Bilddaten, die durch das Bildaufzeichnungsmittel (96) aufgezeichnet wurden; und

ein Bildextrahiermittel (98) zum Extrahieren allein der Bilddaten, die mit einem Markierungssignal versehen sind, aus den durch das Bilddaten-Antwortmittel (97) regenerierten Bilddaten; und

ein Bildanzeigemittel (99) zum Anzeigen von Bilddaten, die durch das Bildextrahiermittel (98) extrahiert wurden.

31. Bilddaten-Codiervorrichtung nach Anspruch 2, ferner umfassend:

ein Bereiche-Teilungsmittel zum Teilen von Bilddaten in dem Eingaberahmen in eine Mehrzahl kleiner Bereiche; worin

das Rahmencodiermittel (8) die Bilddaten separat für jeden kleinen Bereich des Eingaberahmens codiert, der in dem Bereiche-Teilungsmittel erhalten wurde;

das codierte Daten von Rahmen speichernde Mittel (9) die Menge von Codes codierter Daten in jedem kleinen Bereich berechnet und speichert, die in dem Rahmencodiermittel (8) erhalten wurden; und

das einen szenengeänderten Rahmen detektierende Mittel (11) eine vorbestimmte Differenz in der Menge von Codes zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen in jedem kleinen Bereich gemäß der Menge von Codes der vorliegenden und vorherigen Rahmen in jedem kleinen Bereich erhält, die in dem codierte Daten von Rahmen speichernden Mittel (9) gespeichert sind, und bestimmt, ob der vorliegende Rahmen der szenengeänderte Rahmen ist oder nicht, gemäß der Differenz in der Menge von Codes in jedem kleinen Bereich zwischen dem vorliegenden Rahmen und dem vorherigen Rahmen und der in dem Detektionsbedingungs-Speichermittel (10) gespeicherten Detektionsbedingung.

32. Bilddaten-Codiervorrichtung nach Anspruch 31, worin das Detektionsbedingungs-Speichermittel (10) eine Detektionsbedingung speichert, die auf einen Standardwert der Summe von Absolutwerten der Differenzen zwischen den vorliegen den und vorherigen Rahmen für alle kleinen Bereiche Bezug nimmt;

das codierte Daten von Rahmen speichernde Mittel (9) die Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich erhält; und

das einen szenengeänderten Rahmen detektierende Mittel (11) die Summe von Absolutwerten der Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen erhält und die Summe mit dem Standardwert vergleicht, um den Szenenänderungsrahmen zu detektieren.

33. Bilddaten-Codiervorrichtung nach Anspruch 31, worin das Detektionsbedingungs-Speichermittel (10) eine Detektionsbedingung speichert, die auf einen Standardwert der Durchschnittsrate einer Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich Bezug nimmt;

das codierte Daten von Rahmen speichernde Mittel (9) die Rate der Differenz zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich speichert; und

das Szenenänderungsrahmen-Detektiermittel (11) die Durchschnittsrate einer Differenz in der Menge von Codes zwischen den vorliegenden und vorherigen Rahmen für jeden kleinen Bereich erhält, um einen Szenenänderungsrahmen zu detektieren, indem die Durchschnittsrate einer Differenz mit dem oben beschriebenen Standardwert verglichen wird.

34. Bilddaten-Codiervorrichtung nach Anspruch 31, worin das Bereiche-Teilungsmittel einen Eingaberahmen in kleine Bereiche, d. h. gerade Felder und ungerade Felder, teilt.

35. Bilddaten-Codiervorrichtung nach Anspruch 31, worin das Bereiche-Teilungsmittel einen Eingaberahmen in kleine Bereiche teilt, die jeweils eine Farbkomponente angeben, wenn sich der Eingaberahmen auf Farbbilddaten bezieht.

36. Bilddaten-Codiervorrichtung nach Anspruch 31, worin das Rahmencodiermittel einen Eingaberahmen gleichmäßig in mehrere Blöcke als kleine Bereiche teilt.

37. Bilddaten-Codiervorrichtung nach Anspruch 31, worin das Codiermittel (8) Bilddaten in jedem kleinen Bereich parallel codiert.