DE69022461T2

DE69022461T2 - Bildbewegungsvektordetektor.

Info

Publication number: DE69022461T2
Application number: DE69022461T
Authority: DE
Inventors: Hirofumi Ishii; Atsushi Morimura
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp
Priority date: 1989-03-20
Filing date: 1990-03-15
Publication date: 1996-05-02
Anticipated expiration: 2010-03-16
Also published as: US5157732A; EP0392671A2; JPH02246686A; KR930002613B1; EP0392671B1; KR900015551A; DE69022461D1; EP0392671A3; JPH07105949B2

Description

HINTERGRUND DER ERFINDUNG

Diese Erfindung bezieht sich auf Bewegungsvektorerfassung für Bilder und Bildverarbeitung zum Stabilisieren gegen Schwankungen.
Kürzlich sind die Bewegungsvektorerfassung für Bilder und eine Glättungssignalverarbeitungsvorrichtung in der japanischen ungeprüften Patentveröffentlichung Nr. 61-107886 offenbart worden.
Im folgenden werden die konventionelle Bewegungsvektorerfassung für Bilder und Glättungssignalverarbeitungvorrichtung erklärt. Fig. 1 ist ein Blockdiagramm der Bewegungsvektorerfassungsvorrichtung&sub1; die eine konventionelle Bewegungsvektorglättungsschaltung für Bilder verwendet. Fig. 2 ist ein Diagramm zum erklären des Betriebs der Vorrichtung. In Fig. 1 ist die Ziff. 1 ein Bildsignaleingangsanschluß, 2 ist ein Repräsentativpunktspeicher, der Signale von Pixeln an repräsentativen Punkten in dem eingegebenen Bildsignal speichert, und 3 ist ein Differential-Absolutwertwandler, der den Absolutwert der Differenz von Eingängen erzeugt. Bezugsziffer 4 ist ein akkumulierender Addierer, 5 ist eine Minimalpunkterfassungsschaltung, 6 ist eine Auswahleinrichtung und 7 ist eine Bewegungsvektorglättungseinrichtung. In den Fig. 7A und 7B ist 8 ein Vollbild, sind 9a bis 9d Bewegungsvektorerfassungsbereiche und sind 10a-10d in den entsprechenden Bereichen erfaßte Bewegungsvektoren.
Im folgenden wird die wie beschrieben aufgebaute konventionelle Bildbewegungsvektorerfassungsvorrichtung hinsichtlich ihres Betriebs beschrieben. Zuerst wird ein in dem Zeitbereich kontinuierliches Bildsignal an den Eingangsanschluß 1 eingegeben. Der Repräsentativpunktspeicher 2, für den eine Vielzahl von repräsentativen Punkten in den Erfassungsbereichen 9a-9d des Vollbilds 8 im voraus bestimmt werden, speichert Signale von Pixeln der repräsentativen Punkte entsprechend dem Eingangsbildsignal. Der Differential-Absolutwertwandler 3 wertet den Absolutwert L (i, j) der Differenz zwischen dem Signal in der Position eines repräsentativen Punktes in einem einem gegenwärtigen Halbbild unmittelbar vorhergehenden Halbbild und dem Signal an der Position mit einer Verschiebung (um in der Horizontalrichtung und in der Vertikalrichtung) von dem repräsentativen Punkt des momentanen Feldes aus. Der akkumulierende Addierer 4 beinhaltet eine Tabelle von Verschiebungen (i, j) für die Erfassungsbereiche 9a-9d und führt getrennt für jede Verschiebung (i, j) eine kumulative Addition mit dem Signal aus dem Differential-Absolutwertwandler 3 aus. Das Resultat wird als Korrelationswert Σ L (i, j) für die Verschiebung (i, j) bezeichnet. Die Minimalpunkterfassungsschaltung 5 erfaßt eine Verschiebung (i', j'), die den Minimalwert der Korrelationswerte liefert, und liefert die Werte als Bewegungsvektoren 10a-10d in den Erfassungsbereichen 9a-9d. Die Auswahleinrichtung 6 liefert aus den Bewegungsvektoren 10a-10d in allen Erfassungsbereichen einen Bewegungsvektor des ganzen Vollbilds. Die Bewegungsvektorglättungseinrichtung 7 liefert einen in dem Zeitbereich geglätteten Wert des in jedem Halbbild gelieferten Bewegungsvektors, und zwar auf der Grundlage der folgenden Gleichung.
Vo(k) = W(k) x Vi(k) + (1-W(k)) x Vo(k-1)
(wobei Vi(k) der Eingangsbewegungsvektor des k-ten Halbbildes ist, Vo(k) der Ausgangsbewegungsvektor des k-ten Halbbildes ist und W(k) ein Gewichtungsfaktor des k-ten Halbbildes ist).
Der Betrieb besteht darin, den Glättungsprozeß für den Bewegungsvektor in der Zeitachsenrichtung so auszuführen, daß in dem Fall, daß der von der Auswahleinrichtung 6 erfaßte Bewegungsvektor des ganzen Vollbildes ein falscher Vektor ist, die Diskontinuität der Bewegungsvektoren in dem Zeitbereich wegen des falschen Vektors dadurch reduziert wird, um die visuellen Eigenschaften im Fall der Durchführung einer sogenannten Bewegungskorrektur zu verbessern.
W(k) nimmt in einem Fall wie etwa bei Szenenwechseln bei einer schnellen Veränderung den Wert 1 an und nimmt in einem stabilen Zustand einen Wert von ungefähr 1/8 an, um eine erhöhte Rauscheliminierungswirkung zu haben.
Wenn jedoch die die konventionelle Bildbewegungsvektorglättungsschaltung verwendende Bewegungsvektorerfassungsvorrichtung zum Stabilisieren schwankender Bilder oder Vollbilder verwendet wird, treten die folgenden Probleme auf.
Das Stabilisieren schwankender Bilder wird ausgeführt in einem Verfahrensablauf des Speicherns eines Halbbildes des Bildsignals in dem Speicher im voraus, während ein Bewegungsvektor des ganzen Vollbildes eines einem momentanen Halbbild unmittelbar vorhergehenden Halbbildes erfaßt wird, und des Verschiebens oder Veränderns der Speicherausleseposition (d.h. der Bildposition in dem Vollbild) in einer Bewegungskorrekturrichtung für jedes Halbbild.
Dementsprechend wird die Speicherausleseposition im Prinzip aus dem integrierten Wert der erfaßten Bewegungsvektoren bestimmt. Im folgenden wird eine Schwankungsstabilisierungsoperation der Bewegungsvektorerfassungsvorrichtung unter Verwendung der konventionellen Bildbewegungsvektorglättungsschaltung anhand der Fig. 3(a), 3(b) und 3(c) erklärt. Fig. 3(a) zeigt einen Fehler in dem Fall, daß der von der Auswahleinrichtung 6 in einem Halbbild erfaßte Bewegungsvektor des ganzen Vollbildes ein falscher Vektor war, Fig. 3(b) zeigt einen dann an dem Ausgang der Vektorglättungseinrichtung 7 erzeugten Fehler und Fig. 3(c) einen integrierten Fehler als Resultat der Integrationsoperation.
In dem Fall, daß der von der Auswahleinrichtung 6 erfaßte Bewegungsvektor des ganzen Vollbildes ein falscher Vektor ist und ein in Fig. 3(a) gezeigter Fehler 20 auftritt, wird in einem Halbbild die Diskontinuität in dem Zeitbereich der Bewegungsvektoren wegen des falschen Vektors reduziert, wie in Fig. 3(b) gezeigt. Der letztliche Integrationsfehler 21 des in dem integrierten Wert der erfaßten Bewegungsvektoren verursachen kumulativen Fehlers wird, wie in Fig. 3(c) gezeigt, nicht reduziert, weil der Fehler des auftretenden falschen Vektors eher über mehrere Halbbilder geglättet wird. Aus diesem Grund wird die Schwankungsstabilisierung von dem Fehler eines solchen falschen Vektors direkt beeinträchtigt, was zu einer Fehlfunktion wie einer Verschiebung des Stabilisierungsbildes in der dem Fehler entgegengesetzten Richtung führt.
Die Glättungsoperation erzeugt eine Zeitverzögerung in dem Bewegungsvektor, und daher werden nur Niederfrequenzkomponenten von Schwankungen stabilisiert, während ihre Hochfrequenzkomponenten unstabilisiert gelassen werden, was Betrachtern einen unnatürlichen Eindruck vermittelt.
Wie oben beschrieben, bringt die die konventionelle Bildbewegungsvektorglättungsschaltung verwendende Bewegungsvektorerfassungsvorrichtung bei Verwendung zum Stabilisieren schwankender Bilder Nachteile wie Fehloperationen und den Betrachtern vermittelte unnatürliche Eindrücke mit sich.

ZUSAMMENFASSENDE BESCHREIBUNG DER ERFINDUNG

Diese Erfindung soll die vorstehenden Probleme des Standes der Technik lösen, und ihre Aufgabe ist es, eine Bildbewegungsvektorerfassungsvorrichtung, die die Einflüsse von Fehlern von falschen Vektoren, die mit einer gewissen Wahrscheinlichkeit auftreten, effektiv reduziert und das Auftreten von Zeitverzögerungen unterdrückt, und einen Bildschwankungsstabilisierer anzugeben, der ein hochstabilisiertes Bild erzeugt, ohne unnatürliche visuelle Eindrücke zu verursachen. Die Merkmale der Erfindung sind durch Anspruch 1 definiert.

KURZBESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ein Blockdiagramm der konventionellen Bildbewegungsvektorerfassungsvorrichtung;
Fig. 2 ist ein den Betrieb der obigen konventionellen Vorrichtung erklärendes Diagramm;
Fig. 3 ist ein den Betrieb der obigen konventionellen Vorrichtung als Schwankungsstabilisierer erklärendes Diagramm;
Fig. 4 ist ein Blockdiagramm einer auf dem ersten Ausführungsbeispiel dieser Erfindung basierenden Bildbewegungsvektorerfassungsvorrichtung;
Fig. 5 ist ein Blockdiagramm einer auf dem zweiten Ausführungsbeispiel dieser Erfindung basierenden Bildbewegungsvektorerfassungsvorrichtung;
Fig. 6 ist ein Blockdiagramm eines auf dem dritten Ausführungsbeispiel dieser Erfindung basierenden Bildschwankungsstabilisierers;
Fig. 7 ist ein den Betrieb des auf dem dritten Ausführungsbeispiel dieser Erfindung basierenden Bildschwankungsstabilisierers erklärendes Diagramm.

BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE

Fig. 4 ist ein Blockdiagramm der auf dem ersten Ausführungsbeispiel dieser Erfindung basierenden Bildbewegungsvektorerfassungsvorrichtung. In Fig. 4 ist mit 1 ein Bildsignaleingangsanschluß bezeichnet, 2 ist ein Repräsentativpunktspeicher, der Pixelsignale an repräsentativen Punkten in dem eingegebenen Bildsignal speichert. Ziff. 3 ist ein Differential- Absolutwertwandler, der den Absolutwert der Differenz von Eingängen erzeugt. Ziff. 4 ist ein kumulierender Addierer, 5 ist eine Minimalpunkterfassungsschaltung und 11 ist eine Medianwertauswahleinrichtung. 12 ist eine Zuverlässigkeitsbeurteilungseinrichtung und 13 und 14 sind Speicher.
Der Betrieb der auf dem ersten Ausführungsbeispiel dieser Erfindung basierenden und wie oben beschrieben aufgebauten Bildbewegungsvektorerfassungsvorrichtung wird im folgenden beschrieben. Zuerst geht ein in dem Zeitbereich kontinuierliches Bildsignal in den Eingangsanschluß 1 ein. Für den Repräsentativpunktspeicher 2 werden im voraus eine Vielzahl repräsentativer Punkte in den Erfassungsbereichen 9a-9d des Vollbildes 8 bestimmt, und er speichert Pixelsignal an den Positionen repräsentativer Punkte in dem Eingangsbildsignal. Der Differential-Absolutwertwandler 3 wertet den Absolutwert L (i, j) der Differenz aus zwischen dem Signal an der Position eines repräsentativen Punkts in einem einem momentanen Halbbild unmittelbar vorhergehenden Halbbild und dem Signal in der Position mit einer Verschiebung (um in der Horizontalrichtung und in der Vertikalrichtung) von dem repräsentativen Punkt des momentanen Halbbildes. Der kumulative Addierer 4 beinhaltet eine Verschiebungen (i, j) in den Erfassungsbereichen 9a-9d wiedergebende Tabelle und akkumuliert Signale aus dem Differential- Absolutwertwandler 3 getrennt für jede Verschiebung (i, j), um einen Korrelationswert Σ L (i, j) für eine Verschiebung (i, j) zu erzeugen. Die Minimalpunkterfassungsschaltung 5 erfaßt eine den Minimalwert der Korrelationswerte liefernde Verschiebung (i', j') und liefert diese als Bewegungsvektor 10a-10d in jedem Erfassungsbereich 9a-9d. Die Zuverlässigkeitsbeurteilungseinrichtung 12 führt die Beurteilung der Zuverlässigkeit der Bewegungsvektoren in jedem Bereich aus und liefert an die Medianwertauswahleinrichtung 11 und den Speicher 13 einen als zuverlässig beurteilten Bewegungsvektor. Der Speicher 14 speichert einen Satz als zuverlässig beurteilter Bewegungsvektoren in den Erfassungsbereichen und die Ausgangsbewegungsvektoren eines ersten vorhergehenden Halbbildes und eines zweiten vorhergehenden Halbbildes, das einem momentanen Halbbild um zwei vorhergeht. (Im folgenden wird ein einem momentanen Halbbild unmittelbar vorhergehendes Halbbild als "erstes vorhergehendes Halbbild" und ein dem ersten vorhergehenden Halbbild unmittelbar vorhergehendes Halbbild als "zweites vorhergehendes Halbbild" bezeichnet). In dem Fall, daß ein Bewegungsvektor in den Erfassungsbereichen in einem momentanen Halbbild als zuverlässig beurteilt worden ist, hält der Speicher 13 den Bewegungsvektor bis zu einem um zwei späteren Halbbild als das momentane Halbbild. Die Medianauswahleinrichtung 11 erzeugt auf der Grundlage der Ausgangssignale der Zuverlässigkeitsbeurteilungseinrichtung 12, des Speichers 13 und des Speichers 14 einen Ausgangsbewegungsvektor des ganzen Halbbilds auf die folgende Weise. [Es wird angemerkt, daß die oben bezeichnete Tabelle 64 um 64 horizontale Verschiebungen Erfassungspixel (i = -31 - 0 -+32) und 16 vertikale Erfassungszeilen (j = -7 - 0 - +8) definiert. Bezüglich der Zuverlässigkeitsbeurteilung von Bewegungsvektoren kann beispielsweise auch auf die JP-A-61-269475 bezug genommen werden. Wie hier im folgenden anhand der Fig.7A und 7B diskutiert, werden Bewegungsvektoren der Erfassungsbereiche 9a und 9d in Fig. 7A als zuverlässig beurteilt, die keine sich bewegenden Bildbereiche enthalten. Andererseits werden die Vektoren in Fig. 7B in den sich bewegende Bildbereiche enthaltenden Erfassungsbereichen 9a-9c als nicht zuverlässig beurteilt.]
In dem ersten Fall, daß die Anzahl der Bewegungsvektoren in den Erfassungsbereichen, die als zuverlässig beurteilt worden sind, in einem momentanen Halbbild drei oder mehr beträgt, wird ein Medianwert eines Satzes der zuverlässigen Bewegungsvektoren (der Wert einer mittelbaren Größe der Bewegungsvektoren oder im Fall einer geraden Anzahl der Mittelwert zweier dem Größenmittel der Bewegungsvektoren nächster Bewegungsvektoren) ausgegeben. Solche Vektoren werden bezüglich ihrer Werte in der Horizontalrichtung und Vertikalrichtung unabhängig behandelt, und der Ausgangsvektor wird durch den Medianwert jedes Satzes wiedergegeben.
In dem Fall, daß die Anzahl der in den Erfassungsbereichen in dem momentanen Halbbild als zuverlässig beurteilten Bewegungsvektoren zwei ist, wird der Ausgangsbewegungsvektor eines ersten vorhergehenden Halbbildes zu dem Satz der Bewegungsvektoren hinzugefügt, so daß die Anzahl der Bewegungsvektoren insgesamt drei wird, und danach wird ihr Medianwert ausgegeben.
In dem Fall, daß ein einzelner Bewegungsvektor in den Bewegungsbereichen des momentanen Halbbildes als zuverlässig beurteilt worden ist, wird der einzelne Bewegungsvektor zu den Ausgangsbewegungsvektoren eines ersten vorhergehenden Halbbildes und eines zweiten vorhergehenden Halbbildes hinzugefügt, um einen Satz von drei zuverlässigen Bewegungsvektoren zu erzeugen, und danach wird ihr Medianwert ausgegeben.
Selbst wenn ein solcher in den Erfassungsbereichen als zuverlässig beurteilter einzelner Bewegungsvektor sich über drei Halbbilder oder mehr fortsetzt, werden zu dem einzelnen Bewegungsvektor Bewegungsvektoren in den Erfassungsbereichen, die in einem ersten vorhergehenden Halbbild und in einem zweiten vorhergehenden Halbbild als zuverlässig beurteilt worden sind, hinzugefügt, um einen Satz von drei zuverlässigen Bewegungsvektoren zu erzeugen, und danach wird ihr Medianwert ausgegeben. (Dies geschieht, um eine solche Fehlfunktion zu vermeiden, bei der nach aufeinanderfolgenden Ausgaben eines gleichen Werts für zwei Halbbilder der gleiche Wert in den folgenden Halbbildern kontinuierlich ausgegeben wird. Unter dem fortgesetzten Zustand, daß ein einzelner Bewegungsvektor in den Erfassungsbereichen über mehrere Halbbilder als zuverlässig beurteilt wird, und wenn die Ausgangsbewegungsvektoren des ersten vorhergehenden Halbbildes und des zweiten vorhergehenden Halbbildes zu dem einzelnen Bewegungsvektor hinzugefügt werden, um den Satz von drei Bewegungsvektoren zu erzeugen, und danach der Medianwert ausgegeben wird, dann wird nämlich die Fehlfunktion verursacht.)
In dem Fall, daß die Anzahl der in dem momentanen Halbbild als zuverlässig beurteilten Bewegungsvektoren Null ist, werden die Ausgangsbewegungsvektoren des ersten vorhergehenden Halbbildes und des zweiten vorhergehenden Halbbildes und der mit einem Faktor von eins oder weniger multiplizierte Ausgangsbewegungsvektor des ersten vorhergehenden Halbbildes zusammengefügt, um den Satz von drei zuverlässigen Bewegungsvektoren zu erzeugen, und danach wird ihr Medianwert ausgegeben.
Wie oben erwähnt, ist es mit solchen drei Bewegungsvektoren und durch danach Erzeugen ihres Medianwertes, selbst wenn einer der drei Bewegungsvektoren ein falscher Vektor ist, die verbleibenden beiden Vektoren jedoch einwandfrei zuverlässig sind, möglich, einen einwandfreien Vektorwert selektiv auszugeben, ohne durch den falschen Vektor überhaupt beeinträchtigt zu werden.
Nur in dem Fall, daß die Anzahl der in den Erfassungsbereichen des momentanen Halbbildes als zuverlässig beurteilten Bewegungsvektoren niedriger als drei ist, werden die Ausgangsbewegungsvektoren eines vorhergehenden Halbbildes / vorhergehender Halbbilder vor einem momentanen Halbbild oder in den Erfassungsbereichen solcher vorhergehender Halbbilder als zuverlässig beurteilte Bewegungsvektoren hinzugefügt, um den Satz von drei Bewegungsvektoren zu erzeugen, und danach wird ein Medianwert des Satzes ausgegeben, so daß die Wahrscheinlichkeit des Auftretens einer Zeitverzögerung in dem erfaßten Vektor sehr gering ist.
Man betrachte zum Beispiel den Fall zweier Bewegungsvektoren in den Bereichen, die in dem momentanen Halbbild als zuverlässig beurteilt worden sind. Wenn beide Bewegungsvektoren korrekte Bewegungsvektoren in dem momentanen Halbbild sind, sollten sie den gleichen Wert haben, und daher wird die Auswahl eines Medianwerts des Satzes nach Hinzufügen der Ausgangsbewegungsvektoren in dem vorhergehenden Halbbild zu dem Satz zu einer Auswahl eines korrekten Werts eines Bewegungsvektors in dem momentanen Halbbild führen und keine Zeitverzögerung auftreten. Wenn einer der beiden Bewegungsvektoren ein falscher Vektor ist, der von dem Bewegungsvektor in dem momentanen Halbbild erheblich abweicht, wird der Ausgangsbewegungsvektor des vorhergehenden Halbbildes zu dem Satz der beiden Bewegungsvektoren hinzugefügt und der Medianwert des Satzes gewählt, so daß irgendeiner der korrekten Bewegungsvektoren in dem momentanen Halbbild oder Ausgangsbewegungsvektoren des vorhergehenden Halbbildes nahe bei diesem Wert ausgegeben wird, und daher der Binfluß des falschen Vektors ausgeschlossen werden kann.
Fig. 5 ist ein Blockdiagramm einer weiteren auf dem zweiten Ausführungsbeispiel dieser Erfindung basierenden Bildbewegungsvektorerfassungsvorrichtung. In Fig. 5 ist die Ziffer 1 ein Bildsignaleingangsanschluß, 2 ist ein Repräsentativpunktspeicher, 3 ist ein Differential-Absolutwertwandler, 4 ist ein akkumulierender Addierer, 5 ist eine Minimalpunkterfassungsschaltung, 11 ist eine Medianwertwahleinrichtung, 12 ist eine Zuverlässigkeitsbeurteilungseinrichtung und 13 ist ein Speicher. In Fig. 5 sind mit Fig. 1 gemeinsame Schaltungsabschnitte mit den gleichen Ziffern bezeichnet. Diese Bildbewegungsvektorerfassungsvorrichtung wird im folgenden erklärt.
Der Aufbau und Betrieb der Abschnitte einschließlich des Bildsignaleingangsanschlusses 1, des Repräsentativpunktspeichers 2, des Differential-Absolutwertwandlers 3, des akkumulierenden Addierers 4, der Minimalpunkterfassungsschaltung 5 und der Zuverlässigkeitsbeurteilungseinrichtung 12 sind mit dem ersten Ausführungsbeispiel identisch. Folglich führt die Zuverlässigkeitsbeurteilungseinrichtung 12 die Beurteilung der Zuverlässigkeit von Bewegungsvektoren in allen Bereichen aus, und als zuverlässig beurteilte Bewegungsvektoren werden an den Speicher 13 ausgegeben. Der Speicher 13 speichert vier Vektoren in der von der Zuverlässigkeitsbeurteilungseinrichtung 12 ausgegebenen Reihenfolge oder Sequenz und gibt die vier Vektoren an die Medianwertwahleinrichtung 11 aus. Die Medianwertwahleinrichtung 11 gibt einen Medianwert des Satzes der vier Vektoren als Bewegungsvektor des Vollbildes aus.
Nach diesem Ausführungsbeispiel, bei dem der Medianwert des Satzes aus vier Vektoren als Bewegungsvektor des Vollbildes ausgegeben wird, kann ein stabilisierter Bewegungsvektor ohne Beeinflussung durch den falschen Vektor erfaßt werden, wenn ein Vektor des Satzes ein falscher Vektor ist.
In dem Fall, daß die von der Zuverlässigkeitsbeurteilungseinrichtung 12 für das momentane Halbbild gelieferte Zahl von Vektoren vier ist, sind alle vier von dem Speicher 13 gelieferte Vektoren in dem momentanen Halbbild erfaßt worden, und daher weist die Ausgabe des Medianwerts des Satzes der vier Vektoren keine Zeitverzögerung auf.
Selbst in dem Fall, daß die Anzahl der von der Zuverlässigkeitsbeurteilungseinrichtung 12 für das momentane Halbbild gelieferten Vektoren kleiner als vier ist, wird die Anzahl der Vektoren durch Hinzufügen von von der Zuverlässigkeitsbeurteilungseinrichtung 12 vor dem momentanen Halbbild gelieferten Vektoren auf vier erhöht, so daß der Medianwert der vier Vektoren als Bewegungsvektor des Vollbildes ausgegeben wird, wodurch der Einfluß eines falschen Vektors eliminiert werden kann.
Dementsprechend kann eine dem ersten Ausführungsbeispiel fast identische Wirkung einfacher erreicht werden.
Fig. 6 ist ein Blockdiagramm eines Bildschwankungsstabilisierers nach dem dritten Ausführungsbeispiel dieser Erfindung. In Fig. 6 ist die Ziff. 1 ein Bildsignaleingangsanschluß, 2 ist ein Repräsentativpunktspeicher, 3 ist ein Differential-Absolutwertwandler, 4 ist ein akkumulierender Addierer, ist eine Minimalpunkterfassungsschaltung, 11 ist eine Medianwertwahleinrichtung, 12 ist eine Zuverlässigkeitsbeurteilungseinrichtung, 13 und 14 sind Speicher, 15 ist ein Halbbildspeicher, 17 ist eine Auslesesteuereinrichtung und 18 ist eine Interpolations-Vergrößerungseinrichtung. In Fig. 3 sind mit den Schaltungsabschnitten aus Fig. 4 identische Schaltungsabschnitte mit gleichen Ziffern bezeichnet. Ein Teil des Aufbaus einschließlich des Repräsentativpunktspeichers 2, des Differential-Absolutwertwandlers 3, das akkumulierenden Addierers 4, der Minimalpunkterfassungsschaltung 5, der Medianwertglättungseinrichtung 11, der Zuverlässigkeitsbeurteilungseinrichtung 12 und der Speicher 13 und 14 ist eine Bewegungsvektorerfassungseinrichtung.
Der Betrieb des wie oben aufgebauten Bildschwankungsstabilisierers wird im folgenden erklärt.
Zuerst wird aus dem Eingangsanschluß 1 ein Bildsignal angelegt. Der Halbbildspeicher 15 speichert das Bildsignal für ein Halbbild.
Die Bewegungsvektorerfassungseinrichtung 16, die dem ersten Ausführungsbeispiel und der Bewegungsvektorerfassungseinrichtung aus Fig. 4 in Aufbau und Betrieb identisch ist, erfaßt einen Bewegungsvektor des ganzen Vollbildes in einem momentanen Halbbild relativ zu dem vorhergehenden Halbbild und gibt ein Signal des Vektors an die Auslesesteuereinrichtung 17 aus.
Die Auslesesteuereinrichtung 17 spricht auf das eingegebene Bewegungsvektorsignal an zum Verschieben der Speicherausleseposition in einer Richtung zur Korrektur oder Einstellung der Bewegung relativ zu der Ausleseposition für ein erstes vorhergehendes Halbbild und führt solche Prozesse wie Zentrieren und Clipping aus, so daß die Ausleseposition nicht aus dem Vollbild läuft, und gibt das Resultat an die Interpolations-Vergrößerungseinrichtung 18 aus.
Die Interpolations-Vergrößerungseinrichtung 18 liest aus dem Halbbildspeicher 15 Bildsignale eines durch die eingegebene Ausleseposition spezifizierten Bereichs aus, führt die vergrößerte Interpolation für die ausgelesenen Bildsignale zum Ausgeben als Bildsignale für ein Vollbild aus. Diese Einrichtung kann z.B. anhand des Artikels "Picture center correction" auf den Seiten 43 bis 48 in Japanese TV Society Technical Report vom 28. Mai 1987 ausgeführt werden.
Die Fig. 7A und 7B sind einfache Illustrationen von Vollbildern zur Erklärung der obigen Operation in weiteren Einzelheiten. In den Fig. 7A und 7B ist 8 ein Rahmen, 9a, 9b 9c und 9d sind eine Anzahl in der Bewegungsvektorerfassungseinrichtung 16 beinhaltete Vielzahlbewegungsvektorerfassungsbereiche und 10a, 10b, 10c und 10d sind in den entsprechenden Bereichen erfaßte Bewegungsvektoren. 19a, 19b und 19c sind sich bewegende Objekte in dem Vollbild mit von der Bewegung des ganzen Bildes in dem Vollbild verschiedenen Bewegungen.
Fig. 7A ist ein Fall ohne sich bewegender Objekte in dem Vollbild. In diesem Fall beurteilt die Bewegungsvektorerfassungseinrichtung 16 alle in den entsprechenden Erfassungsbereichen 9a, 9b, 9c und 9d erfaßten Vektoren 10a, 10b, 10c und 10d als zuverlässig und gibt einen Medianwert von ihnen als Ausgangsbewegungsvektor des Vollbildes aus. Dementsprechend wird selbst in dem Fall, daß einer der erfaßten Vektoren 10a, 10b, 10c und 10d ein falscher Vektor ist, dadurch, daß man von dessen Einfluß frei ist, ein stabilisierter Bewegungsvektor erfaßt, und es wird ein befriedigend korrigiertes stabilisiertes Vollbild dargestellt. In dem Fall, daß sich in dem Vollbild keine sich bewegenden Objekte befinden, wie in Fig. 7A gezeigt, kann eine kleine Restkorrektur in dem stabilisierten Vollbild visuell leicht bemerkt werden, was einen unnatürlichen Eindruck bewirkt. In diesem Fall jedoch weist der von der Bewegungsvektorerfassungseinrichtung 16 gelieferte Bewegungsvektor keine Zeitverzögerung auf, und daher entsteht keine Restkorrektur wegen einer Zeitverzögerung in dem stabilisierten Vollbild.
Fig. 7B ist ein Fall, bei dem es in dem Vollbild viele sich bewegende Objekte gibt. In diesem Fall beurteilt die Bewegungsvektorerfassungseinrichtung 16 wegen der sich bewegenden Objekte 19a, 19b und 19c unter den in den entsprechenden Erfassungsbereichen 9a-9d erfaßten Vektoren 10a-10d nur den Vektor 10d als zuverlässig. Dementsprechend wird ein Satz von drei zuverlässigen Bewegungsvektoren aus dem 10d, den Ausgaben des ersten vorhergehenden Halbbildes und des zweiten vorhergehenden Halbbildes oder einem als zuverlässig beurteilten Vektor in jedem Bereich gebildet, und ein Medianwert des Satzes wird als Bewegungsvektor des Vollbildes ausgegeben. Dementsprechend wird selbst in dem Fall, daß der erfaßte Vektor 10d in einem momentanen Halbbild ein falscher Vektor ist, ein stabilisierter Bewegungsvektor erfaßt, indem man von den Einflüssen des falschen Vektors frei ist, und es wird ein befriedigend stabilisiertes Vollbild angezeigt. In diesem Fall jedoch kann der von der Bewegungsvektorerfassungseinrichtung 16 erzeugte Bewegungsvektor möglicherweise eine Zeitverzögerung aufweisen, und dies führt zu unstabilisierten Schwankungsresten von Hochfrequenzkomponenten wegen der Zeitverzögerung in dem schwankungsstabilisierten Vollbild. In dem Fall jedoch, daß in dem Vollbild, wie in Fig. 7B gezeigt, viele Bilder sich bewegender Objekte erzeugt werden, wird ein kleiner Rest von Unstabilisierung kaum in dem stabilisierten Vollbild erkannt und bewirkt daher keinen unnatürlichen Eindruck.
Wie beschrieben werden nach diesem Ausführungsbeispiel nur in dem Fall, daß die Anzahl von in einem momentanen Halbbild als zuverlässig beurteilten Bewegungsvektoren in Bereichen geringer als eine spezifizierte Anzahl ist, Ausgangsbewegungsvektoren vorhergehender Halbbilder einschließlich einem ersten vorhergehenden Halbbild oder als zuverlässig beurteilte Vektoren in Bereichen solcher vorhergehender Halbbilder hinzugefügt, um einen Satz von Bewegungsvektoren zu erzeugen, dessen Anzahl mindestens eine spezifizierte Anzahl ist, und von der Medianwertwahleinrichtung 11 wird ein repräsentativer Vektorwert in den Satz ausgegeben, wodurch der Einfluß von durch einen falschen Vektor verursachten Fehlern unterdrückt wird, und unstabilisierte Schwankungsreste treten nur noch in dem Fall einer drastischen Bewegung sich bewegender Objekte in dem Vollbild in dem Fall starker Störungen auf. In diesem Fall bewirkt ein solcher kleiner Schwankungsrest eine kaum erhebliche Unnatürlichkeit bei der visuellen Beobachtung. Andererseits könne in dem Fall von wenigen sich bewegenden Objekten und Störungen in dem Vollbild, bei dem solche kleinen Schwankungsreste leicht bemerkt werden können, die Schwankungen durch Stabilisierung ausreichend stark unterdrückt werden, wodurch für alle Bedingungen verschiedener sich bewegender Bilder ein befriedigend stabilisiertes Bild dargestellt werden kann.
Obwohl die Bewegungsvektorerfassungseinrichtung 16 in dem dritten Ausführungsbeispiel identisch mit der Bewegungsvektorerfassungsvorrichtung des ersten Ausführungsbeispiels aufgebaut ist, ist es offensichtlich, daß die Einrichtung identisch mit der Bewegungsvektorerfassungsvorrichtung des zweiten Ausführungsbeispiels zur Erzielung der gleichen Wirkung aufgebaut ist.
Obwohl in dem ersten, zweiten und dritten Ausführungsbei spiel in dem Vollbild vier Erfassungsbereiche vorgesehen sind, kann die Anzahl der Bereiche eine andere als vier sein.
Obwohl die minimale Anzahl von Bewegungsvektoren zum Erzeugen des Medianwerts durch die Medianwertwahleinrichtung 11 in dem ersten, zweiten und dritten Ausführungsbeispiel drei bzw. vier ist, kann eine andere Anzahl solcher Vektoren oberhalb von drei verwendet werden.
Obwohl die Medianwertwahleinrichtung 11 in dem ersten, zweiten und dritten Ausführungsbeispiel den Medianwert als repräsentativen Wert ausgibt, kann sie so aufgebaut sein, daß von dem allgemeinen Trend eines solchen Satzes entfernte Bewegungsvektoren aus dem Satz ausgeschlossen werden und aus den verbleibenden Bewegungsvektoren ein repräsentativer Wert bestimmt wird. Z. B. werden unter Annahme eines Satzes aus acht Bewegungsvektoren Werte von ihrem Größenmittel näheren vier davon gemittelt zum Erzeugen eines repräsentativen Werts des Satzes. Alternativ werden beim Wählen von vier Vektoren aus einem Satz von acht Bewegungsvektoren diese so gewählt, daß die Summe der Entfernungen zwischen den gewählten vier Vektoren minimal ist, und als repräsentativer Wert des Satzes wird ein Mittelwert der vier Vektoren ausgegeben.
Obwohl in dem ersten, zweiten und dritten Ausführungsbeispiel die in einem ersten vorhergehenden Halbbild und dergleichen erzeugten Bewegungsvektoren hinzugefügt werden in dem Fall, daß die Anzahl der in den Erfassungsbereichen in einem momentanen Halbbild als zuverlässig beurteilten Bewegungsvektoren kleiner als drei ist, kann ein aus solchen Ausgaben des ersten vorhergehenden Halbbildes und des zweiten vorhergehenden Halbbildes vorhergesagter Bewegungsvektor des momentanen Halbbildes zum Erzeugen des Vektorsatzes hinzugefügt werden. Ein hinzugefügter Vektor kann z.B. durch Subtrahieren des Ausgangsvektors des zweiten vorhergehenden Halbbildes von dem mit zwei multiplizierten Ausgangsvektor des ersten vorhergehenden Halbbildes erzeugt werden und zu dem Satz hinzugefügt werden.
Obwohl in dem ersten, zweiten und dritten Ausführungsbeispiel der Repräsentativpunktspeicher 2, der Differential-Absolutwertwandler 3, der akkumulierende Addierer 4 und die Minimalpunkterfassungsschaltung 5 zum Erfassen einer Vielzahl von Bewegungsvektoren zweier aufeinanderfolgender Halbbilder durch "ein sogenanntes Repräsentativpunktanpaßverfahren" und durch Vorsehen einer Vielzahl von Erfassungsbereichen in einem Vollbild verwendet werden, und die erfaßten Resultate der Medianwertwahleinrichtung 11 und dem Speicher 13 zugeführt werden, können sie durch andere zum Erfassen einer Vielzahl von Bewegungsvektoren geeignete Einrichtungen ersetzt werden. Z.B. können anstelle des Repräsentativpunktanpaßverfahrens "ein sogenanntes Gesamtpunktanpaßverfahren" oder "Gradientenverfahren" verwendet werden.
Wie oben erwähnt, bestimmt die Bildbewegungsvektorerfassungsvorrichtung dieser Erfindung einen repräsentativen Wert eines Satzes von Bewegungsvektoren durch Entfernen der von dem allgemeinen Trend des Satzes entfernten, wodurch sie zum Eliminieren des Einflusses möglicherweise falscher oder unzuverlässiger Vektoren in dem Satz sehr wirksam ist, und die Vorrichtung bestimmt einen repräsentativen Wert aus Bewegungsvektoren, wenn die Anzahl der als zuverlässig beurteilten Bewegungsvektoren in einem momentanen Halbbild größer als eine vorbestimmte Anzahl ist, wodurch keine Zeitverzögerung in dem Ausgangsbewegungsvektor auftritt, und selbst wenn die Anzahl der als zuverlässig beurteilten Bewegungsvektoren in dem momentanen Halbbild kleiner als die vorbestimmte Anzahl ist wegen sich bewegender Objekte und Störungen in dem Vollbild, werden die Bewegungsvektoren durch Verwendung von Bewegungsvektoren in Bereichen, die als zuverlässig beurteilt worden sind, und Ausgangsvektoren vorhergehender Halbbilder ergänzt zum Bestimmen eines repräsentativen Werts daraus, wodurch sie zum Eliminieren von Einflüssen eines in dem Satz beinhalteten falschen Vektors sehr wirksam ist.
Dementsprechend werden die Fehler des mit der Vorrichtung erzeugten Bewegungsvektors minimiert und seine Zeitverzögerung unterdrückt, und zwar unter durchweg allen Bedingungen selbst bei variierenden Bildern, wodurch sie beim Erzielen eines befriedigenden Ergebnisses bei Verwendung für solche Bildverarbeitungen wie Bewegungskorrekturen und Kodierungen und für die Steuerung anderer Ausrüstungen sehr wirksam ist.
Die Bildschwankungsstabilisierungsvorrichtung nach dieser Erfindung verwendet die oben erwähnte erfindungsgemäße Bildbewegungsvektorerfassungsvorrichtung, wodurch Reste von Instabilität von Hochfrequenzkomponenten von Schwankungen nur in dem Fall einer drastischen Bewegung sich bewegender Objekte in dem Vollbild oder erheblicher Störungen auftreten, und eine kleine Restschwankung in diesen Fällen verursacht keine erheblichen unnatürlichen Eindrücke durch das Vollbild, und in dem Fall, daß selbst eine kleine Restschwankung von Betrachtern leicht bemerkt wird, kann eine genaue Korrektur bis zu Hochfrequenzkomponenten der Schwankungen ausgeführt werden. Dementsprechend kann unter allen Bedingungen von Bildvariationen ein befriedigend schwankungsstabilisiertes Bild erzeugt werden.

Claims

1. Bildbewegungsvektorerfassungseinrichtung mit:

einer Einrichtung (2 - 5) zum Definieren einer Vielzahl von Bewegungserfassungsbereichen in der Gesamtheit oder in einem Teil eines momentanen Halbbildes eines Eingangsbildsignals und zum Erfassen eines Bewegungsvektors in jedem der Bereiche;

einer Einrichtung (12) zum Bestimmen, ob der in jedem der Bereiche erfaßte Bewegungsvektor zuverlässig ist oder nicht;

einer Signalverarbeitungseinrichtung zum Erzeugen eines Bewegungsvektors für die Gesamtheit oder für den Teil des momentanen Halbbildes aus den erfaßten Bewegungsvektoren, die in den entsprechenden Bereichen als zuverlässig bestimmt worden sind;

dadurch gekennzeichnet, daß die Signalverarbeitungseinrichtung eine Vergleichseinrichtung zum Vergleichen der Anzahl von in dem Halbbild als zuverlässig bestimmten Bewegungsvektoren mit einer vorbestimmten Anzahl und zum Liefern eines Vergleichsresultats; und eine auf das Vergleichsresultat zum Ausgeben eines geschätzten Bewegungsvektors, der aus einem Satz der in den entsprechenden Bereichen als zuverlässig bestimmten Bewegungsvektoren geschätzt worden ist, als Bewegungsvektor für die Gesamtheit oder für den Teil des Halbbildes ansprechende Ausgabeeinrichtung aufweist.

2. Bewegungsvektorerfassungseinrichtung nach Anspruch 1, bei der die Ausgabeeinrichtung den geschätzten Bewegungsvektor ausgibt, wenn die Vergleichseinrichtung erfaßt, daß die Anzahl der zuverlässigen Bewegungsvektoren größer als oder gleich der vorbestimmten Anzahl ist.

3. Bewegungsvektorerfassungseinrichtung nach Anspruch 2, bei der die Signalverarbeitungseinrichtung eine Medianwertwahleinrichtung (11) aufweist, wodurch der geschätzte Bewegungsvektor ein Medianwert der als zuverlässig bestimmten Bewegungsvektoren ist.

4. Bewegungsvektorerfassungseinrichtung nach Anspruch 1, ferner mit einer Einrichtung (13, 14) zum Speichern von als zuverlässig bestimmte Bewegungsvektoren aus zumindest einem vorhergehenden Halbbild darstellenden Daten vor dem momentanen Halbbild; wobei die Ausgabeeinrichtung den auf der Grundlage der gespeicherten Daten des vorhergehenden Halbbildes und von als zuverlässig beurteilte Bewegungsvektoren aus dein momentanen Halbbild darstellenden Daten geschätzten Bewegungsvektor ausgibt.

5. Bewegungsvektorerfassungseinrichtung nach Anspruch 4, bei der die Signalverarbeitungseinrichtung eine Medianwertwahleinrichtung (11) aufweist, wodurch der geschätzte Bewegungsvektor ein Medianwert eines Satzes von als zuverlässig beurteilten Bewegungsvektoren aus dem vorhergehenden Halbbild und dein momentanen Halbbild ist.

6. Bewegungsvektorerfassungseinrichtung nach Anspruch 4, ferner mit einer Einrichtung zum Speichern von sequentiell aus vorhergehenden Halbbildern durch Auswählen der dem inomentanen Halbbild näheren erfaßte Bewegungsvektoren darstellenden Daten, wodurch der geschätzte Bewegungsvektor auf der Grundlage der Bewegungvektoren des vorhergehenden Halbbildes und der Bewegungsvektoren des momentanen Halbbildes erhalten wird.

7. Bewegungsvektorerfassungseinrichtung nach Anspruch 5 oder 6, bei der die Einrichtung (12) zum Bestimmen, ob der in jedem Bereich erfaßte Bewegungsvektor zuverlässig ist, funktionsgemäß Korrelationswerte zwischen den gespeicherten Daten des vorhergehenden Halbbildes und als zuverlässig beurteilte Bewegungsvektoren aus dem momentanen Halbbild darstellenden Daten bestimmt; wobei die Signalverarbeitungseinrichtung zumindest einen als zuverlässig beurteilten Bewegungsvektor aus dem vorhergehenden Feld vor einer arithmetischen Verarbeitung hinzufügt, wenn die Gesamtzahl der als zuverlässig beurteilten Bildbewegungsvektoren kleiner als die vorbestimmte Anzahl ist.