DE69625789T2

DE69625789T2 - System zur Indexierung und zum Suchen von bewegten Bildern

Info

Publication number: DE69625789T2
Application number: DE69625789T
Authority: DE
Inventors: Hironobu Abe; Junshiro Kanda; Koji Wakimoto
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1996-01-30
Filing date: 1996-09-11
Publication date: 2003-11-27
Anticipated expiration: 2016-09-12
Also published as: EP0788064B1; EP0788064A2; US5894333A; DE69625789D1; EP0788064A3; JPH09214866A; JP3432348B2

Description

Hintergrund der Erfindung

Gebiet der Erfindung

Die Erfindung bezieht sich auf eine Darstellungsvorrichtung für repräsentative Bilder mit einer Reihe von mehrfachen Bildern, in die ein Bewegungsbild umgewandelt ist, und die ein repräsentatives Bild jeder Szene darstellt, und auf eine Bewegungsbild- Suchvorrichtung, welche Suchen nach einem Bewegungsbild unter Verwendung der Darstellungsvorrichtung für repräsentative Bilder durchführt.

Beschreibung des Standes der Technik

Im Allgemeinen enthält ein Bewegungsbild eine Vielzahl von Szenen. Jede Szene hat eine unabhängige Bedeutung und ist definiert durch eine Gruppe von aufeinander folgenden Bildern. Fig. 2 zeigt eine Situation, bei der drei Szenen auf einem Videoband aufgezeichnet wurde. Szene A ist eine Ansicht einer Person, Szene B ist eine eines Hauses und Szene C ist eine eines Automobils. Jede Szene weist jeweils zwei (A1 und A2), zwei (B1 und B2) und drei (C1-C3) Bilder auf. Eine Bewegungsbild-Suchvorrichtung wird verwendet, um schnell eine geforderte Szene aus einem Bewegungsbild auf Aufzeichnungsmedien wie Videobändern auszuwählen, wenn Bewegungsbilder wie diejenigen, die bei der Schaffung einer Multimediendarstellung oder beim Aussenden erforderlich sind, aufzubereiten. Kürzlich wurden Vorrichtungen entwickelt, die ein repräsentatives Bild (nachfolgend als repräsentatives Bild bezeichnet) jeder Szene darstellen, nachdem ein Bewegungsbild in Szeneeinheiten geteilt wurde, und die ermöglichen, dass eine gewünschte Szene unter Verwendung des repräsentativen Bildes als ein Index ausgewählt wird.
Fig. 3 ist ein Blockschaltbild aus einem Katalog für "Mediachef/CUT" von Hitachi, Ltd., das ein das Produkt verwendetes System zeigt. Einzelheiten seiner Arbeitsweise sind gegeben in "Mediachef/CUT for Windows User Operation Manual" (Windows ist eine eingetragene Marke). In der Figur umfasst das System einen PC 2, der eine allgemeine Steuerung durchführt, eine Videowiedergabevorrichtung 4, die das Bewegungsbild zu dem PC2 liefert, und einen Farbdrucker 6, der die aufbereiteten Bilder druckt. Der PC 2 enthält eine Videoeinfangtafel 8, die von einer Videowiedergabevorrichtung 4 gelieferte Bilder einfängt und digitalisiert. Diese Anordnung führt beispielsweise die folgenden Schritte durch.
(1) Zuerst wird das zu verarbeitende Bewegungsbild geladen, (2) ein Übergangspunkt in der Szene wird automatisch identifiziert auf der Grundlage des Grades der Farbänderung in den Bildern, (3) ein Bild wird als ein repräsentatives Bild bestimmt, das unmittelbar nach dem Beobachten des Übergangspunktes erscheint und (4) das repräsentative Bild wird als ein Index für jede Szene gespeichert oder gedruckt. In dem Fall von Fig. 2 wird ein Szeneübergangspunkt zwischen A2 und B1 und zwischen B2 und C1 identifiziert und die ersten Bilder jeder Szene, B1 und C1 werden die repräsentativen Bilder.
Dieses System hilft dem Benutzer bei der Bandaufbereitung, z. B. durch Ausdrucken der repräsentativen Bilder, die in einer Videobandkassette enthalten sind, auf einem kleinen Blatt und befestigen des Blattes an der Seite der Videobandkassette. Zusätzlich sind Aufbereitungsprozesse wie Sortieren, Mischen und Schneiden der Szenen mit dem PC2 möglich.
Bei dem vorbeschriebenen System ermöglicht die Bezugnahme auf die repräsentativen Bilder dem Benutzer, nach gewünschten Szenen zu sehen und diese wiederzugeben, d. h. nach einem Bewegungsbild zu suchen. Jedoch kann bei repräsentativen Bildern, bei denen z. B. ein Schiff auf dem Ozean schwimmt, die Richtung der Bewegung des Schiffes nur bestimmt werden durch Wiedergabe des Bewegungsbildes. Wenn mehrere repräsentative Bilder dieser Art existieren, wenn z. B. nach Bildern gesucht, bei denen sich das Schiff nach rechts bewegt, muss der Benutzer jede Szene, die das repräsentative Bild enthält nacheinander prüfen. Diese manuelle Suche ist nicht nur arbeitsaufwendig, wenn eine große Anzahl von ähnlichen repräsentativen Bildern vorhanden ist, sondern unzweckmäßig, wenn man versucht, die allgemeine Bewegung eines Bewegungsbildes zu erfassen, und lässt viel Raum für eine Verbesserung einer wirksamen Aufbereitung.
Proc. from Interchi' 93, Conference an Human Factors in Computing Systems, 24. April 1993, Seite 525, Artikel von Ueda et al. "IMPACT: Interactive Motion- Picture Authoring System for Creative Talent" offenbart bereits eine Darstellungsvorrichtung für repräsentative Bilder, welche aufweist: einen Bildeingabeabschnitt zur Aufnahme und Speicherung eines Bewegungsbildes, das eine Folge von vielfachen Bildern enthält; einen Szeneteilungsabschnitt zum Analysieren des eingegebenen Bewegungsbildes, Erfassen von Übergangspunkten in den Szenen und Teilen des Bewegungsbildes in Szenen; einen Auswahlabschnitt für repräsentative Bilder zum Auswählen eines ordnungsgemäßen Bildes aus dem Bewegungsbild und Setzen von diesem als ein repräsentatives Bild; einen Bewegungsbeschreibungsbild-Erzeugungsabschnitt, der die Eigenschaften der Bewegung des gefilmten Objekts oder der Kameraarbeit (Zoomen und Schwenken der Kamera) erfasst; einen Änderungsinformations-Halteabschnitt zum Assoziieren und Halten der auf das Bewegungsbeschreibungsbild für jede Szene bezogenen Informationen; und einen Anzeigesteuerabschnitt zum Anzeigen des repräsentativen Bildes der Szene mit seinen assoziierten Änderungsinformationen. Insbesondere wird ein repräsentatives Bild ausgewählt für jeden Schnitt des Bewegungsbildes und in einer zeitlichen Reihenfolge angeordnet, und die Klassifizierung jedes Schnitts wird durch einen Pfeil als das Bewegungsbeschreibungsbild dargestellt. Genauer gesagt, eine Bewegung wird in Muster klassifiziert, und die Richtungen, Farben und dergleichen der Pfeile werden geändert auf der Grundlage der Klassifizierung.

Zusammenfassung der Erfindung

Es ist die Aufgabe der vorliegenden Erfindung, eine Darstellungsvorrichtung für repräsentative Bilder und eine Bewegungsbild-Suchvorrichtung zu schaffen, welche es dem Benutzer ermöglichen, den Inhalt eines Bewegungsbildes leicht und intuitiv zu erfassen.
Diese Aufgabe wird erfindungsgemäß gelöst für die Darstellungsvorrichtung für repräsentative Bilder durch die Merkmale des Anspruchs 1 und für die Bewegungsbild-Suchvorrichtung durch die Merkmale des Anspruchs 4. Bevorzugte Ausführungsbeispiele der Darstellungsvorrichtung für repräsentative Bilder sind in den Ansprüchen 2 und 3 definiert.
Die Darstellungsvorrichtung für repräsentative Bilder nach der Erfindung enthält einen Bildeingabeabschnitt, der ein Bewegungsbild enthaltend eine Folge von mehreren Bildern aufnimmt und speichert, einen Szeneteilungsabschnitt zum Analysieren des eingegebenen Bewegungsbildes, Erfassen von Übergangspunkten der Szenen und Teilen des Bewegungsbildes in Szenen, einen Auswahlabschnitt für repräsentative Bilder zur Auswahl eines geeigneten Bildes aus dem jede Szene aufweisenden Bildern als das repräsentative Bild, einen Bewegungsbeschreibungsbild-Erzeugungsabschnitt, der ein Bild schafft, das visuelle die Bewegung eines Gegenstands auf der Grundlage eines Unterschieds zwischen mehreren Bildern zeigt, einen Änderungsinformations-Halteabschnitt zum Assoziieren und Halten der Informationen, die auf das Bewegungsbeschreibungsbild für jede Szene mit dem repräsentativen Bild der Szene bezogen sind, und einen Darstellungssteuerabschnitt zum Kombinieren und Darstellen des repräsentativen Bildes von zumindest einer Szene mit seinen assoziierten Änderungsinformationen.
Bei dieser Konfiguration wird das Bewegungsbild, das in die Vorrichtung eingegeben wurde, zuerst von dem Bildeingabeabschnitt gespeichert. Als Nächstes wird das Bewegungsbild gelesen, seine Szeneübergangspunkte werden erfasst und es wird in Szenen unterteilt. Dann werden sowohl ein repräsentatives Bild jeder Szene geschaffen als auch die Informationen über Änderungen, die in einem Gegenstand in jeder Szene auftreten, assoziiert und mit den repräsentativem Bild der entsprechenden Szene gehalten. Schließlich werden ein repräsentatives Bild von zumindest einer Szene und die Änderungsinformationen, die mit dem repräsentativen Bild assoziiert wurden, kombiniert und dargestellt. Somit kann die Bewegung eines Gegenstands leicht erfasst werden.
Natürlich kann die "Bewegung des Gegenstands" als ein Ergebnis der Bewegung der Kamera stattfinden. Ein "Unterschied" zwischen Bildern wird z. B. bestimmt, indem die Differenz von Pixelwerten an entsprechenden Stellen erhalten wird.
Weiterhin holt der vorgenannte Bewegungsbeschreibungsbild-Erzeugungsabschnitt in einem voreingestellten Zeitintervall das in dem Bildeingabeabschnitt gespeicherte Bild und erzeugt sein Umrissbild. Das Umrissbild wird dann einem vorher geschaffenen Bewegungsbeschreibungsbild so überlagert, dass ein neues Bewegungsbeschreibungsbild geschaffen wird, und die Vorgänge des Holens, des Schaffens des Umrissbildes und der Überlagerung werden wiederholt, um neue Bewegungsbeschreibungsbilder in Folge zu schaffen. Das "voreingestellte Zeitintervall" kann von einer externen Quelle bestimmt sein oder es kann der Standardwert der Vorrichtung sein. In dieser Hinsicht werden die Umrissbilder zu den verschiedenen Zeiten alle in einem Bild gezeigt. Nur das Umrissbild, das zuerst geschaffen wurde, kann ohne Änderung als ein Bewegungsbeschreibungsbild verwendet werden.
Demgemäß ist es sogar leichter, die Bewegung zu erfassen.
Weiterhin schafft, wenn Umrissbilder in voreingestellten Zeitintervallen geschaffen werden, der vorgenannte Bewegungsbeschreibungsbild- Erzeugungsabschnitt neue Bewegungsbeschreibungsbilder, während die Farben der Umrisse auf der Grundlage der von einer Szenenstartzeit an verstrichenen Zeit geändert werden. Hier enthält "Farbe" schwarz, weiß und neutrale Schattierungen (oder farblose Schattierungen).
Somit kann nicht nur die Bewegung, sondern auch die Richtung der Bewegung leicht erfasst werden.
Bei einem anderen Ausführungsbeispiel der Erfindung hebt, wenn eine willkürliche Zeit zwischen der Startzeit und Endzeit einer Szene bestimmt ist, der vorgenannte Darstellungssteuerabschnitt die Stelle des Gegenstandes zu der bestimmten Zeit in dem vorgenannten Bewegungsbeschreibungsbild hervor. Da die "Stelle des Gegenstands" von dem Umrissbild angezeigt wird, besteht eine Anwendung des Aspekts darin, die Intensität des Umrissbildes zu ändern, das dem bestimmten Zeitpunkt entspricht.
Gemäß diesem Ausführungsbeispiel wird es leicht, die Stelle oder den Ort des Gegenstands zu einer bestimmten Zeit zu erfassen, und dies kann die Suche nach der Suchstartposition erleichtern.
Die Bewegungsbild-Suchvorrichtung nach der Erfindung führt Suchen nach Bewegungsbildern durch und enthält eine der vorgenannten Darstellungsvorrichtungen für repräsentative Bilder, eine Videoquelle, die ein Bewegungsbild wiedergibt und zu der vorgenannten Darstellungsvorrichtung für repräsentative Bilder liefert, einen Videoquellen-Steuerabschnitt, der die Wiedergabe des Bewegungsbildes durch die Videoquelle steuert, und einen Befehlseingabeabschnitt, der Befehle für die Suchverarbeitung aufnimmt. Bei dieser Konfiguration folgt, wenn eine Szene und eine Wiedergabestartzeit von den dargestellten Szenen durch den Befehl bestimmt sind, der Videoquellensteuerabschnitt den Befehl und führt eine Wiedergabe des Bewegungsbildes von der vorgenannten Wiedergabestartzeit der bestimmten Szene an durch. Die Wiedergabe ermöglicht dem Benutzer, das Suchergebnis zu bestätigen. Durch die Bewegungsbild-Suchvorrichtung nach der Erfindung sind alle Vorteile der vorgenannten Darstellungsvorrichtung für repräsentative Bilder erhältlich und der Wirkungsgrad der Bewegungsbildaufbereitung wird stark verbessert.

Kurzbeschreibung der Zeichnungen

Fig. 1 ist ein Gesamtblockschaltbild der Bewegungsbild-Suchvorrichtung betreffend das Ausführungsbeispiel 1.
Fig. 2 veranschaulicht einen Zustand, in welchem drei Szenen auf einem Videoband aufgezeichnet wurden.
Fig. 3 ist ein Blockschaltbild, entnommen einem Katalog für Mediachef/CUT, von einem System unter Verwendung von "Mediachef/CUT".
Fig. 4 ist ein Blockschaltbild des Bewegungsbeschreibungsbild-Erzeugungsabschnitts 123 nach Ausführungsbeispiel 1.
Fig. 5 ist ein Flussdiagramm, das den Ablauf von Vorgängen zeigt, die von dem Bewegungsbeschreibungsbild-Erzeugungsabschnitt 123 nach Ausführungsbeispiel 1 durchgeführt werden.
Fig. 6 zeigt ein UI, das von dem Darstellungsabschnitt 104 nach Ausführungsbeispiel 1 dargestellt wird.
Fig. 7 ist ein Flussdiagramm, das den Ablauf von Vorgängen zeigt, welche das UI nach Fig. 6 verwenden.
Fig. 8 ist eine Vergrößerung des Bewegungsbeschreibungsbild-Darstellungsbereichs, der in Fig. 6 enthalten ist.
Fig. 9 ist ein Blockschaltbild eines Bewegungsbeschreibungsbild-Erzeugungsabschnitts nach Ausführungsbeispiel 2.
Fig. 10 ist ein Flussdiagramm, das den Ablauf von Vorgängen zeigt, die von dem Bewegungsbeschreibungsbild-Erzeugungsabschnitt 123 nach Ausführungsbeispiel 2 durchgeführt werden.
Fig. 11 zeigt ein Ergebnis, das erhalten wird, wenn das Bewegungsbeschreibungsbild nach Fig. 8 durch die Vorrichtung nach Ausführungsbeispiel 2 wieder geschaffen wird.
Fig. 12 ist ein Blockschaltbild eines Katalogerzeugungsabschnitts 123 nach Ausführungsbeispiel 3.
Fig. 13 ist ein Blockschaltbild eines Katalogspeicherabschnitts 130 nach Ausführungsbeispiel 3.
Fig. 14 zeigt das UI, das von dem Darstellungsabschnitt 104 nach Ausführungsbeispiel 3 dargestellt wird.

Beschreibung von bevorzugten Ausführungsbeispielen

Hier werden bevorzugten Ausführungsbeispiele einer Darstellungsvorrichtung für repräsentative Bilder und einer Bewegungsbild-Suchvorrichtung, die die Darstellungsvorrichtung für repräsentative Bilder enthält, beschrieben. Diese Beschreibung erklärt auch das Darstellungsverfahren für repräsentative Bilder nach der Erfindung. In der in den nachfolgenden Ausführungsbeispielen beschriebenen Bewegungsbild- Suchvorrichtung ist eine Wiedergabevorrichtung enthalten, die ein Videomedium wiedergibt, und die Wiedergabevorrichtung wird elektrisch direkt gesteuert von einem Hauptsteuerabschnitt in der Bewegungsbild- Suchvorrichtung. Obgleich diese Konfiguration z. B. für Rundfunksendungen ideal ist, bei denen relativ fortgeschrittene Funktionen erforderlich sind, sind seine Anwendungen selbstverständlich nicht hierauf beschränkt.

Ausführungsbeispiel 1

Bei diesem Ausführungsbeispiel wird eine Vorrichtung beschrieben, die ein Bild erzeugt, das die Bewegung eines Gegenstands in jeder Szene zeigt, und es zusammen mit einem repräsentativen Bild darstellt.

Konfiguration

Fig. 1 ist ein Gesamtblockschaltbild der Bewegungsbild-Suchvorrichtung betreffend dieses Ausführungsbeispiel. Da ein Hauptsteuerabschnitt 110 die Gesamtvorrichtung in dieser Figur steuert, entsprechen dieser und ein später beschriebener Befehlseingabeabschnitt 103 der Darstellungsvorrichtung für repräsentative Bilder. Eine Videoquelle 101 gibt ausgezeichnete Videomedien wieder wie solche für Videokassettenrecorder und liefert ein Bewegungsbild zu dem Hauptsteuerabschnitt 110 und einen Bewegungsbild- Darstellungsabschnitt 102. Der Hauptsteuerabschnitt 110 erzeugt repräsentative Bilder und die Bewegungsbeschreibungsbilder aus dem gelieferten Bewegungsbild, und der Bewegungsbild-Darstellungsabschnitt 102 stellt einfach das gelieferte Bewegungsbild dar. Der Bewegungsbild-Darstellungsabschnitt 102, z. B. ein Monitor, der gewöhnliche Signale vom NTSC-Format darstellt, ermöglicht einem Benutzer, das gesuchte Bewegungsbild direkt zu betrachten.
Ein Videoquellen-Steuerabschnitt 112 steuert die Wiedergabe des Bewegungsbildes von einer Videoquelle 101. Er führt Steuerfunktionen durch, die für den Suchvorgang erforderlich sind, wie beispielsweise "Anhalten nach 10 Sekunden nach dem Start", zusätzlich zu den verschiedenen Steuerfunktionen (Bandrückspulen, schnellen Vorwärtsspulen, Pause usw.), die auf der Frontplatte von Videokassetten-Heimrecordern auslösbar sind. Steuersignale sind durch ein Kabel mit der Videoquelle 101 verbunden. Ein Videoquellen- Steuerabschnitt 112 steuert die Wiedergabe des Bewegungsbildes, das für den Hauptsteuerabschnitt 110 erforderlich ist, um ein repräsentatives Bild zu schaffen, und erforderlich ist für die Darstellung durch den Bewegungsbild-Darstellungsabschnitt 102.
Das wiedergegebene Bewegungsbild wird von einem Bildeingabeabschnitt 111 aufgenommen. Der Bildeingabeabschnitt 111 enthält einen A/D-Wandler und einen Vollbildspeicher (nicht gezeigt). Der Bildeingabeabschnitt 111 digitalisiert das eingegebene Bild, speichert es in dem Vollbildspeicher und wartet auf eine weitere Verarbeitung. Der Bildeingabeabschnitt 111 kann auch eine Scheibenspeichervorrichtung enthalten, die den Inhalt des Vollbildspeichers sekundär speichert. In diesem Fall wird es nicht erforderlich, das für die Verarbeitung erforderliche Bewegungsbild jedes Mal aus der Videoquelle 101 zu lesen, und der Verarbeitungswirkungsgrad kann verbessert werden.
Ein Katalogerzeugungsabschnitt 120 ist aus einer Reihe von Softwaremodulen zusammengesetzt, die Bilddaten aus dem Vollbildspeicher lesen und einen auf diesen Daten basierenden Katalog schaffen, und der einen Szenenteilungsabschnitt 121, einen Auswahlabschnitt 122 für repräsentative Bilder und einen Bewegungsbeschreibungsbild-Erzeugungsabschnitt 123 aufweist. Ein Katalog ist eine Liste von Informationen, die eine Vielzahl von Szenen betreffen. Andererseits sortiert und speichert ein Katalogspeicherabschnitt 130 die Daten auf der Grundlage des Inhalts der von dem Katalogerzeugungsabschnitt 120 ausgegebenen Daten, und er weist einen Szenenteilungsdaten-Speicherabschnitt 131, einen Speicherabschnitt 132 für repräsentative Bilder und einen Bewegungsbeschreibungsbild- Speicherabschnitt 133 auf.
Der Szenenteilungsabschnitt 121 analysiert das digitalisierte Bild unter Anwendung bekannter Verfahren und teilt das Bewegungsbild in Szenen auf der Grundlage des Unterschieds zwischen zwei aufeinander folgenden Szenen. Basierend auf der Position (z. B. ein Zeitcode oder Zählwert wie LTC oder VITC, die auf einem Band aufgezeichnet sind) auf dem Medium zu dem Teilungspunkt werden der Startpunkt und der Endpunkt jeder Szene in einem Szenenteilungsdaten- Speicherabschnitt 131 gespeichert.
Der Auswahlabschnitt 122 für repräsentative Bilder wählt ein bestimmtes Vollbild aus der Szene als ein repräsentatives Bild aus. Das repräsentative Bild kann ein Vollbild am Anfang, in der Mitte oder am Ende der Szene sein, oder ein durch den Benutzer bestimmtes Vollbild. Um die Szene zu identifizieren, welche das repräsentative Bild darstellt, werden Informationen wie eine Szenennummer in dem Speicherabschnitt 132 für repräsentative Bilder gespeichert.
Der Bewegungsbeschreibungsbild-Erzeugungsabschnitt 123 führt bei diesem Ausführungsbeispiel einen charakteristischen Prozess durch. Fig. 4 ist ein Blockschaltbild eines Bewegungsbeschreibungsbild- Erzeugungsabschnitts 123. In dieser Figur verarbeitet ein Umrissbild-Erzeugungsabschnitt 201 das Eingangsbild und erzeugt ein Umrissbild. Ein Erzeugungsabschnitt 202 für zusammengesetzte Bilder führt einen Zusammensetzvorgang bei dem erzeugten Umrissbild durch und ein Umrissbild-Speicherabschnitt 203 speichert vorübergehend das zusammengesetzte Umrissbild. Bei diesem Ausführungsbeispiel wird der Umriss eines in einem gegebenen Bild innerhalb einer Szene enthaltenen Gegenstands in jedem Bild abgetastet und diese Umrisse werden einander überlagert, um ein Bild zu erzeugen.
Der Befehlseingabeabschnitt 103 ermöglicht die Eingabe von Befehlen durch den Benutzer und verwendet eine Vorrichtung wie eine Tastatur, eine Maus oder verschiedene Zeigervorrichtungen. Der eingegebene Befehl wird durch einen Eingangsverwaltungsabschnitt 113 verarbeitet, der eine Befehlsverteilungsvorrichtung ist, um die erforderlichen Aktionen innerhalb des Hauptsteuerabschnitts 110 zu initiieren.
Ein Darstellungssteuerabschnitt 114 enthält ein Systemprogramm für das Darstellungssystem, das zentral die Darstellung der verschiedenen Bilder wie der repräsentativen Bilder und der Bewegungsbeschreibungsbilder steuert, und eine Darstellungsschaltung wie eine VGA-Steuervorrichtung und deren Treiberschaltung. In dem Darstellungssteuerabschnitt 114 wird der Darstellungszustand wie für den Ort eines Katalogs, der aus dem Katalogspeicherabschnitt 130 gelesen ist, schließlich bestimmt und durch einen Darstellungsabschnitt 104 dargestellt. Der Darstellungsabschnitt 104 kann eine gewöhnliche Darstellungsvorrichtung sein, auf der repräsentative Bilder und Bewegungsbeschreibungsbilder dargestellt werden.

Prozessvorgänge

Der Hauptsteuerabschnitt 110, der auf Grundlage von Befehlseingaben einen Szenenteilungs-Startbefehl empfängt, gibt einen Wiedergabebefehl über den Videoquellen-Steuerabschnitt 112 zu der Videoquelle 101 aus. Das von der Videoquelle 101 ausgegebene Bewegungsbild wird durch den Bewegungsbild- Darstellungsabschnitt 102 dargestellt und in Vollbildeinheiten durch den Bildeingabeabschnitt 111 digitalisiert.
Als Nächstes wird jedes Vollbild zu einem Katalogerzeugungsabschnitt 120 gesandt. In dem Szenenteilungsabschnitt 121 wird ein Histogramm für das eingegebene Bild und sein vorhergehendes Bild genommen, und ein Szenenteilungspunkt wird festgestellt, wenn der absolute Wert ihrer Differenz einen Schwellenwert erreicht oder überschreitet. Dieses Verfahren selbst ist bekannt. Anstelle dieses Verfahrens kann jeder charakteristische physikalische Parameter zwischen aufeinander folgenden Bildern verglichen werden, um den Teilungspunkt zu erfassen. Wenn der Teilungspunkt festgestellt ist, werden Informationen wie ein auf dem Videoband aufgezeichneter Zeitcode von der Videoquelle 101 erhalten und in einem Szenenteilungsdaten- Speicherabschnitt. 131 gespeichert. Parallel hierzu wird ein repräsentatives Bild geschaffen und als eine Standbilddatei in dem Speicherabschnitt 132 für repräsentative Bilder gespeichert. Als Nächstes wird das Bewegungsbeschreibungsbild geschaffen.
Fig. 5 ist ein Flussdiagramm, das den Ablauf von Vorgängen durch den Bewegungsbeschreibungsbild- Erzeugungsabschnitt 123 zeigt. Gemäß dieser Figur wird das gesendete Bild durch ein Kompass- Gradientenfilter in dem Umrissbild- Erzeugungsabschnitt 201 hindurchgeführt und ein Umrissbild wird geschaffen (S211). In dem Umrissbild nimmt jedes Pixel einen von zwei Werten 0 und 1 an, wobei Pixel auf dem Umriss gleich 1 und andere Pixel gleich 0 werden. Umrissbilder können in einem vom Benutzer bestimmten Vollbildintervall, z. B. alle 10 Vollbilder, oder in einem als ein Standardwert in der Vorrichtung eingestellten Intervall erhalten werden. Als Nächstes wird das Bild, das in dem Umrissbild- Speicherabschnitt 203 gespeichert wurde, gelesen und von dem Erzeugungsabschnitt 202 für zusammengesetzte Bilder mit dem in S211 geschaffenen Umrissbild zusammengesetzt. Das Zusammensetzen des Bildes wird erreicht durch Verwenden des logischen ODER von Pixelwerten an denselben Koordinaten für alle Pixel in den beiden Bildern. Das so geschaffene zusammengesetzte Bild wird in dem Umrissbild-Speicherabschnitt 203 gespeichert (S213). Diese Vorgänge werden wiederholt, bis ein Szenenteilungspunkt erfasst wird. Wenn der Szenenteilungspunkt erfasst ist, wird das in dem Umrissbild-Speicherabschnitt 203 gespeicherte Bild zu dem Bewegungsbeschreibungsbild-Speicherabschnitt 133 übertragen und in diesem gespeichert.
Hier werden die obigen Prozesse zusammen mit Benutzereingabevorgängen und tatsächlichen Bilddarstellungsbeispielen geschrieben.
Fig. 6 zeigt eine Benutzerschnittstelle (UI), die von dem Darstellungsabschnitt 104 dargestellt wird, und Fig. 7 ist ein Flussdiagramm, das den Ablauf von Vorgängen unter Verwendung der UI zeigt. In Fig. 6 startet ein Szenenteilungs-Startknopf 153 die Szenenteilung. Ein Wiedergabeknopf 153 initiiert die Wiedergabe des Bewegungsbildes für die ausgewählte Szene und ein Stoppknopf 154 hält die Wiedergabe des Bewegungsbildes an. In Fig. 6 ist der gesamte Schirm oberhalb dieser Knöpfe ein Katalogdarstellungsbereich 151, der in 3 Szenendarstellungsbereiche 155 organisiert ist, wobei jeder einer Szene entspricht. Jeder Szenendarstellungsbereich 155 enthält einen repräsentativen Bilddarstellungsbereich 156, der das repräsentative Bild dieser Szene darstellt, einen Bewegungsbeschreibungsbild-Darstellungsbereich 157, der das Bewegungsbeschreibungsbild darstellt, und einen Szenenteilungsdaten-Darstellungsbereich 158, der den Startpunkt (Startzeit) und den Endpunkt (Endzeit) jeder Szene darstellt. Die ersten beiden Ziffern der Zeitdarstellung zeigen die Stunden an, gefolgt durch Minuten, Sekunden und die Vollbildzahl. Die Vollbildzahl für das NTSC-Format läuft von 0 bis 29, da die Anzahl von dargestellten Vollbildern 30 pro Sekunde beträgt. Wenn ein Bewegungsbild wiedergegeben wird, wird dem Benutzer ermöglicht, vorher zu bestimmen, wie viel wiederzugeben ist (d. h., für wie viel des Bewegungsbildes die Szenenteilung durchzuführen ist). Diese bestimmte Menge wird in einen Zeitcode auf dem Medium umgewandelt und in der Vorrichtung als die bestimmte Endposition gehalten.
Wenn der Benutzer den Szenenteilungs-Startknopf 152 drückt, interpretiert in der UI der Eingabeverwaltungsabschnitt 113 diesen Befehl (S170) und ein Wiedergabebefehl (S171) wird zu der Videoquelle 101 gesandt. Das Medium in der Videoquelle 101 wird wiedergegeben (S172) und das Bewegungsbild wird zu dem Katalogerzeugungsabschnitt 120 gesandt (S173). Zu dieser Zeit wird festgestellt, ob der Zeitcode auf dem Medium die bestimmte Endposition anzeigt (S174) oder der Zustand die Endposition des Mediums anzeigt (S175), und wenn eines hiervon realisiert ist, endet der Prozess (S176).
Wenn der Prozess nicht endet (Nein bei S175), wird ein Umrissbild für dieses Vollbild geschaffen und ein Bewegungsbeschreibungsbild wird geschaffen (S177) Parallel hierzu wird das eingegebene Bild beurteilt (S178), ob es ein repräsentatives Bild sein sollte, und ein repräsentatives Bild wird geschaffen (S179), z. B., wenn ein vorher durch den Benutzer bestimmtes Vollbild zu verarbeiten ist.
Als Nächstes wird festgestellt (S180), ob der Szenenteilungspunkt erreicht ist, und wenn er es ist, wird das Bewegungsbeschreibungsbild zu dem Bewegungsbeschreibungsbild-Speicherabschnitt 132 übertragen (S182), und Katalogdarstellungsinformationen werden erzeugt (S183), um Szenenteilungsdaten, das repräsentative Bild und das Bewegungsbeschreibungsbild darzustellen (S184). Dann endet der Prozess. Wenn der Szenenteilungspunkt nicht erreicht wird, wird das nächste Vollbild gelesen und derselbe Vorgang wird wiederholt.
Von den obigen Schritten werden ein repräsentatives Bild und ein Bewegungsbeschreibungsbild einer Szene durch eine Darstellungsvorrichtung dargestellt. Ein vergrößertes Bild des in Fig. 6 enthaltenen Bewegungsbeschreibungsbild-Darstellungsbereich ist in Fig. 8 gezeigt, wo die Bewegung des sich über mehrere Bilder erstreckenden Gegenstands aufeinander folgend in einem Bild ausgedrückt ist. Als ein Ergebnis kann der Benutzer die Szene im Allgemeinen aus dem repräsentativen Bild und im Einzelnen aus dem Bewegungsbeschreibungsbild verstehen. Auf der Grundlage dieser Typen von Informationen kann der Benutzer tatsächlich die Szene betrachten durch ihre Auswahl auf dem Schirm, beispielsweise durch Verwendung einer Maus. Wie in Fig. 6 gezeigt ist, ist der Vollbildbereich der ausgewählten Szene hervorgehoben. Die obigen Knöpfe werden wirksam für die ausgewählte Szene. D. h., der Wiedergabeknopf 153 ermöglicht die Wiedergabe der Szene und der Stoppknopf 154 ermöglicht das Anhalten der Wiedergabe. Auf diese Weise wird eine sehr wirksame Bewegungsbildsuche erzielt. Das Vorstehende ist eine Übersicht über das Ausführungsbeispiel. Mögliche Verbesserungen und Veränderungen dieses Ausführungsbeispiels werden im Folgenden diskutiert.

(1) Darstellung der Bewegungsbeschreibungsinformationen als Zeichen, Symbole usw.

Anstelle der Verwendung eines Bewegungsbeschreibungsbildes kann die Richtung der Bewegung des Gegenstandes ausgedrückt werden durch Verwendung von Zeichen wie "rechts" und "aufwärts" oder durch Verwendung von Symbolen "→" und "1". Dies kann erreicht werden durch Beurteilen des Winkels des Bewegungsvektors des Gegenstandes. Wenn die Bewegung unter Verwendung von Zeichen, Symbolen usw. ausgedrückt wird, können die Verarbeitungszeit und Speicherkapazität, die für die Bilderzeugung erforderlich sind, reduziert werden.

(2) Darstellung der Übergangsinformationen, die sich nicht auf die Bewegung beziehen.

Wenn z. B. der Gegenstand ein Leuchtzeichen ist, bewegt sich der Gegenstand selbst nicht, aber seine Farbe ändert sich. In diesem Fall ermöglicht die Prüfung solcher Unterschiede wie der Farbe oder Helligkeit des Gegenstands vor und nach der Änderung die Darstellung von Informationen wie "wird rot", "wird weiß" oder "wird hell" als Textdaten neben dem repräsentativen Bild.

Ausführungsbeispiel 2

Obgleich beim Ausführungsbeispiel 1 das Bewegungsbeschreibungsbild durch Überlagerung aufeinander folgender Umrissbilder geschaffen wurde, wird die Überlagerung beim Ausführungsbeispiel 2durchgeführt, während die Farbe des Umrissbildes verändert wird. Aus diesem Grund wird es, wenn z. B. das Umrissbild betreffend ein nachfolgend eingegebenes Vollbild unter Verwendung einer dunkleren Farbe dargestellt wird, leichter, die Bewegung der Darstellung zu erfassen.
Fig. 9 ist ein Blockschaltbild des Bewegungsbeschreibungsbild-Erzeugungsabschnitts 123 bei diesem Ausführungsbeispiel. Der Unterschied zwischen dieser Figur und Fig. 4 besteht darin, dass ein Farbton- Einstellabschnitt 301 hinzugefügt ist. Der Farbton- Einstellabschnitt 301 variiert den Farbton des Umrissbildes mit dem Ablauf der Zeit.
Fig. 10 ist ein Flussdiagramm, das den Ablauf der von dem Bewegungsbeschreibungsbild-Erzeugungsabschnitt 123 durchgeführten Vorgänge zeigt. Die Differenz zwischen dieser Figur und Fig. 5 besteht darin, dass S312 nach S211 eingefügt ist. D. h., nachdem ein Umrissbild geschaffen ist (S211) wird der Farbton des Umrisses von dem Farbton-Einstellabschnitt 301 mit dem Ablauf der Zeit von der Startzeit der Szene ab verändert (S312). Danach wird der Vorgang wiederholt, wie in Fig. 5 gezeigt ist, und das Bewegungsbeschreibungsbild wird geschaffen. Eine Gradationsverarbeitung, bei der nur die Helligkeit verringert wird, kann bei der Verarbeitung durch den Farbton- Einstellabschnitt 301 verwendet werden. In diesem Fall werden die Umriss-Pixelwerte für das zum ersten Mal erhaltene Umrissbild auf einen Maximalwert von 255 auf einer 8-Bit-Grauskala eingestellt und jedes Mal um beispielsweise 5 bei nachfolgend eingegebenen Bildern verringert. Fig. 11 ist ein Bild, das als ein Ergebnis der Wiederschaffung des Bewegungsbeschreibungsbildes nach Fig. 8 unter Verwendung der Vorrichtung dieses Ausführungsbeispiels erhalten wurde, und es wird leichter, die Bewegung des Gegenstands zu erfassen.

Ausführungsbeispiel 3

Bei diesem Ausführungsbeispiel hebt die Eingabe einer willkürlichen Zeit zwischen der Startzeit und der Endzeit einer Szene das Umrissbild entsprechend der eingegebenen Zeit (nachfolgend als bestimmte Zeit bezeichnet) in dem Bewegungsbeschreibungsbild für die Szene hervor. Weiterhin wird das Medium tatsächlich vorwärts oder rückwärts bewegt, bis die Position, an der sich das Bild entsprechend der bestimmten Zeit befindet, gefunden ist.
Fig. 12 ist ein Blockschaltbild eines Katalogerzeugungsabschnitts 120 bei diesem Ausführungsbeispiel und Fig. 13 ist ein Blockschaltbild eines Katalogspeicherabschnitts 130. Ein in Fig. 12 hinzugefügter neuer Block ist ein Zeitberechnungsabschnitt 401, der die Größe der zeitlichen Änderung erhält, die stattfindet, wenn ein nachfolgend beschriebener Zeitknopf gedrückt wird, nachdem die bestimmte Zeit für eine Szene eingegeben wurde. Andererseits ist ein neuer Block in Fig. 13 ein Zeitspeicherabschnitt 411, der für jede Szene die durch den Zeitberechnungsabschnitt 401 berechnete Zeit speichert. Der Zeitspeicherabschnitt 411 ist ein Puffer, der zumindest einen Zeitwert für jede Szene speichern kann, und der nützlich ist, wenn eine Suche sich vorübergehend zu einer anderen Szene bewegt und dann zu der anfänglichen Szene zurückkehrt, so dass der Benutzer bestimmen kann, auf welches Bild vorher Bezug genommen wurde.
Fig. 14 zeigt die durch den Darstellungsabschnitt 104 darstellte UI. Der Unterschied zwischen dieser Figur und Fig. 6 besteht darin, dass eine Darstellung der "gegenwärtigen Zeit" neu hinzugefügt ist. Wenn eine bestimmt Zeit eingegeben ist, wird die gegenwärtige Zeit mit diesem Wert initialisiert. Nachfolgend wird jedes Mal, wenn ein Zeitknopf gedrückt wird, die gegenwärtige Zeit erhöht oder erniedrigt. Zeitknöpfe umfassen einen vorhergehenden Zeitknopf 451, der eine vorhergehende Zeit bestimmt, und einen nachfolgenden Zeitknopf 452, der eine nachfolgende Zeit bestimmt.
Unter Verwendung der obigen Konfiguration wählt der Benutzer zuerst eine Szene aus. Hier wird die oberste Szene ausgewählt. Als Nächstes wird die bestimmte Zeit beispielsweise über eine Tastatur eingegeben. In der Figur liegt die zulässige Eingabe im Bereich der Szenenstartzeit 00 : 00 : 00 : 00 bis zur Endzeit 00 : 02 : 05 : 20. Wenn z. B. 00 : 01 : 02 : 28 bestimmt ist, wird das Umrissbild mit der nächstliegenden Zeit hervorgehoben. Bilder werden in Einheiten von 1/30 Sekunde eingegeben, und wenn z. B. ein Umrissbild für jedes Bild erzeugt wird, nimmt die Zeit entsprechend dem Umrissbild (als Umrissbildzeit bezeichnet) einen diskreten Wert in Einheiten von 1/15 Sekunde an. Aus diesem Grund stimmen die bestimmte Zeit und die Umrissbildzeit üblicherweise nicht genau überein, so dass die nächstliegende Zeit ausgewählt wird. Die ausgewählte Umrissbildzeit wird in einem Zeitspeicherabschnitt 411 gespeichert.
Bei diesem Ausführungsbeispiel wird zusammen mit der Hervorhebung des Umrissbildes die Wiedergabeposition des tatsächlichen Mediums vorwärts oder rückwärts zu der Umrissbildzeit gespult. Somit erscheint der Gegenstand auf dem Medium an der Position des hervorgehobenen Umrissbildes. Als eine Folge kann der Benutzer sehen, wo sich der Gegenstand zu der bestimmten Zeit befindet, und wenn eine Wiedergabe von dieser Position aus gewünscht wird, kann dies erreicht werden, indem einfach ein Wiedergabebefehl ausgegeben wird.
Wenn die Position zu der bestimmten Zeit unterschiedlich gegenüber der ist, zu der die Wiedergabe beginnen soll, werden die obigen Zeitknöpfe gedrückt. Das Drücken des Knopfes wird von dem Eingabeverwaltungsabschnitt 113 beurteilt, und eine neue gegenwärtige Zeit wird von dem Zeitberechnungsabschnitt 401 berechnet. Da die Umrissbildzeit einen diskreten Wert in Einheiten von 1/15 Sekunden annimmt, wird die gegenwärtige Zeit jedes Mal, wenn der Knopf gedrückt wird, um 1/15 Sekunde erhöht oder erniedrigt, und das Umrissbild benachbart dem gegenwärtig hervorgehobenen Umrissbild wird hervorgehoben. Die Wiedergabeposition auf dem Medium wird auch genau eingestellt. Der Inhalt des Zeitspeicherabschnitts 411 wird mit der neuen gegenwärtigen Zeit aktualisiert. Anhand der obigen Vorgänge wird es möglich, die Startposition der Wiedergabe mit extrem hoher Genauigkeit einzustellen. Wenn der nachfolgende Zeitknopf 452 bei der letzten Umrissbildzeit der Szene gedrückt wird, oder umgekehrt, wenn der vorhergehende Zeitknopf 451 zu der anfänglichen Umrissbildzeit gedrückt wird, werden diese Befehle ignoriert.
Bei diesem Ausführungsbeispiel ist es erforderlich, zu berücksichtigen, dass das Bewegungsbeschreibungsbild nur ein Bild ist. D. h., wenn das Bild geschaffen ist, wird es erforderlich, Informationen zu dem Bewegungsbeschreibungsbild hinzuzufügen, die sich darauf beziehen, welcher Umriss welcher Zeit entspricht. Aus diesem Grund werden (1) Bewegungsbeschreibungsbilder mit unterschiedlichen Helligkeitspegeln gemäß voreingestellten Zeiten unter Verwendung des Verfahrens nach Ausführungsbeispiel 2 geschaffen, (2) die Zuordnung zwischen den verschiedenen Helligkeitspegeln und Zeiten hergestellt, (3) die Pixel mit der Helligkeit entsprechend der gegenwärtigen Zeit in dem Bewegungsbeschreibungsbild abgetastet, und (4) alle passenden Pixel hervorgehoben. Das Ergebnis dieser Schritte besteht darin, dass nur der gewünschte Umriss hervorsteht.
Während beschrieben wurde, was gegenwärtig als die bevorzugten Ausführungsbeispiele der Erfindung betrachtet wird, ist darauf hinzuweisen, dass verschiedene Modifikationen bei diesen erfolgen können, und es ist beabsichtigt, dass die angefügten Ansprüche alle derartigen Modifikationen abdecken.

Claims

1. Darstellungsvorrichtung für repräsentative Bilder, welche aufweist:

einen Bildeingabeabschnitt (111) zur Aufnahme und Speicherung eines bewegten Bildes mit einer Folge von mehreren Bildern,

einen Szenenteilungsabschnitt (121) zum Analysieren des eingegebenen bewegten Bildes, Erfassen von Übergangspunkten in den Szenen und Teilen des bewegten Bildes in Szenen,

einen Auswahlabschnitt (122) für repräsentative Bilder zur Auswahl eines geeigneten Bildes aus dem bewegten Bild mit mehreren Szenen und zum Setzen von diesem als ein repräsentatives Bild, einen Bewegungsbeschreibungs- Bildschaffungsabschnitt (123), welcher ein Bild schafft, das visuell die Bewegung eines Gegenstands zeigt, und in einem voreingestellten Zeitintervall das in dem Bildeingabeabschnitt (111) gespeicherte Bild holt und sein Umrissbild schafft, und das Umrissbild über ein vorher geschaffenes Bewegungsbeschreibungsbild überlagert, um wiederholt ein neues Bewegungsbeschreibungsbild zu schaffen,

einen Änderungsinformations-Halteabschnitt (130) zum Assoziieren und Halten der Informationen, die auf das Bewegungsbeschreibungsbild für jede Szene mit dem repräsentativen Bild der besagten Szene bezogen sind, und

einen Darstellungssteuerabschnitt (114) zum Kombinieren und Darstellen des repräsentativen Bildes der Szene mit seinen assoziierten Änderungsinformationen für wenigstens eine Szene, dadurch gekennzeichnet, dass der Bewegungsbeschreibungsbild-Schaffungsabschnitt (123) neue Bewegungsbeschreibungsbilder schafft, während Farben der Umrisse auf der Grundlage der von der Startzeit der Szene verstrichenen Zeit geändert werden.

2. Darstellungsvorrichtung für repräsentative Bilder nach Anspruch 1, worin der Darstellungssteuerabschnitt (114) die Position eines Gegenstands in einem Bewegungsbeschreibungsbild zu einer bestimmten Zeit hervorhebt, wenn eine beliebige Zeit zwischen der Startzeit und der Endzeit einer Szene spezifiziert ist.

3. Darstellungsvorrichtung für repräsentative Bilder nach Anspruch 2, worin der Darstellungssteuerabschnitt (114) nach Pixeln mit einer Farbe entsprechend einer gegebenen Zeit abtastet und den Ort des Gegenstands in einem Bewegungsbeschreibungsbild hervorhebt durch Änderung der Farbe aller durch Abtastung gefundener Pixel.

4. Bewegungsbild-Suchvorrichtung zur Durchführung einer Suche nach einem Bewegungsbild, welche aufweist:

die Darstellungsvorrichtung für repräsentative Bildet nach einem der Ansprüche 1 bis 3, eine Videoquelle (101) zur Wiedergabe und Lieferung eines Bewegungsbildes zu der Darstellungsvorrichtung für repräsentative Bilder, einen Videoquellen-Steuerabschnitt (112) zur Steuerung der Wiedergabe des Bewegungsbildes von der Videoquelle, und

einen Befehlseingabeabschnitt (103) zur Eingabe von Befehlen für die Suchverarbeitung, worin der Videoquellen-Steuerabschnitt (112), wenn eine Szene aus dargestellten Szenen und eine Wiedergabe-Startzeit für die Szene durch einen Befehl spezifiziert sind, die Wiedergabe des Bewegungsbildes von der Wiedergabe-Startzeit der Szene an auf der Grundlage des Befehls durchführt.