DE69116222T2 - Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator - Google Patents
Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter BildstabilisatorInfo
- Publication number
- DE69116222T2 DE69116222T2 DE69116222T DE69116222T DE69116222T2 DE 69116222 T2 DE69116222 T2 DE 69116222T2 DE 69116222 T DE69116222 T DE 69116222T DE 69116222 T DE69116222 T DE 69116222T DE 69116222 T2 DE69116222 T2 DE 69116222T2
- Authority
- DE
- Germany
- Prior art keywords
- motion vector
- image
- correlation
- detector
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 239000013598 vector Substances 0.000 title claims description 265
- 239000003381 stabilizer Substances 0.000 title claims description 24
- 238000001514 detection method Methods 0.000 claims description 23
- 230000000875 corresponding effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
- Die vorliegende Erfindung betrifft eine Bewegungsvektor-Erfassungsvorrichtung zum Erfassen eines Betrages einer Bildverlagerung und einen Bildstabilisator zum Korrigieren von Schwankungen eines ausgegebenen Bildes, welcher die Bewegungsvektor-Erfassungsvorrichtung enthält.
- Eine Bewegungsvektor-Erfassungsvorrichtung ist z. B. aus der japanischen Offenlegung JP-A-61 269475 bekannt. Wie in Fig. 1 dargestellt, enthält die bekannte Bewegungsvektor-Erfassungsvorrichtung einen Bewegungsvektordetektor 20 und einen Bewegungsvektorbestimmer 10. Der Bewegungsvektordetektor 20 beinhaltet einen ersten Zwischenspeicher 1, einen Vergleichspunktspeicher 2, einen zweiten Zwischenspeicher 3, einen Subtrahierer 4, eine Adreßsteuerung 5, einen Absolutwertwandler 6, einen Akkumulator 7, einen korrelierenden Abfrager 8 und eine korrelierende Entscheidungseinheit 9 zur Beurteilung der Giiltigkeit der Korrelation in einem Bild.
- Die bekannte Bewegungsvektor-Erfassungsvorrichtung der oben beschriebenen Anordnung wird weiter beschrieben. Zu Beginn wird ein Bewegungsvektor eines Bildes anhand der Fig. 2a bis 2c erläutert. Fig. 2a stellt ein Bild zu einem Zeitpunkt und Fig. 2b ein dem Bild in Fig. 2a um ein Halbbild oder ein Vollbild folgendes Bild dar. Wenn das Bild durch eine Bewegung einer Bildaufnahmevorrichtung parallel verschoben wird, wie in den Fig. 2a und 2b gezeigt, wird der Betrag der Parallelverschiebung des Bildes durch den Vektor des Pfeiles in Fig. 2c ausgedrückt und dieser Vektor wird als ein "Bewegungsvektor" bezeichnet.
- Fig. 3 zeigt einen Vergleichspunkt und die den Vergleichspunkt umgebenden Bildpunkte in einem sogenannten Vergleichspunktanpassungsverfahren zum Erfassen eines Bewegungsvektors eines Bildes. Bei diesem Verfahren werden Bilddaten in einem Teilbild an einem Vergleichspunkt positioniert und ein Bewegungsvektor wird durch Ausführen einer korrelierenden arithmetischen Operation zum Bestimmen, zu welchem der umgebenden Bildpunkte die Bilddaten im nächsten Teilbild verlagert werden, ermittelt.
- Im folgenden wird die Wirkungsweise der bekannten Bewegungsvektor-Erfassungsvorrichtung, welche die korrelierende arithmetische Einheit verwendet, mit Bezug auf Fig. 1 beschrieben. Buddaten an entsprechenden Vergleichspunkten auf einem Bildschirm werden durch den ersten Zwischenspeicher 1 als Reaktion auf einen Zeitimpuls LP1 empfangen und werden, nach einer bestimmten Zeitsteuerung, an Adressen des Vergleichspunktspeichers 2 geschrieben, die jeweils den Vergleichspunkten entsprechen. Nachfolgend werden im nächsten Teilbild oder Volibild die Korrelation, nämlich Absolutwerte der Differenzen zwischen Bilddaten in einem Bewegungsvektor-Erfassungsbereich, der jeden Vergleichspunkt einschließt, und den Buddaten jedes Vergleichspunktes des vorangegangenen Teilbildes, welche in dem Vergleichspunktspeicher 2 abgelegt sind, erhalten und in den Akkumulator 7 eingegeben. Eine Korrelation repräsentierende Daten, die auf der Basis von Koordinaten jedes Vergleichspunktes erhalten wurden, werden durch den Akkumulator 7 akkumuliert. Wenn die Akkumulation der Daten für alle Vergleichspunkte beendet ist, wird der Ort mit dem engsten Korrelationswert aus den im Akkumulator 7 gespeicherten Summen durch den korrelierenden Abfrager 8 festgestellt. Der Ort (die Adresse) mit dem engsten Korrelationswert, bezogen auf den entsprechenden Vergleichspunkt, zeigt den Bewegungsvektor an.
- In der in Fig. 1 gezeigten Anordnung wird eine korrelierende arithmetische Operation durch Akkumulation der Absolutwerte der Differenzen ausgeführt. Somit nehmen Daten an Punkten mit enger Korrelation im Akkumulator kleinere Werte an, als solche von anderen Punkten. Ferner beurteilt die Entscheidungseinheit 9 auf der Basis von Verteilungen (Mittelwert, Minimalwert, Gradient etc.) der Korrelationswerte im Bewegungsvektor-Erfassungsbereich, ob der durch korrelierende arithmetische Operation erhaltene Bewegungsvektor gültig ist oder nicht. Wenn (1) der Mittelwert klein ist, (2) der Minimalwert groß ist und (3) der Gradient um den Minimalpunkt des Korrelationswertes klein ist, erkennt die Korrelationsentscheidungseinheit 9, daß der durch korrelierende arithmetische Operation erhaltene Bewegungsvektor ungültig ist.
- Die oben beschriebene Operation wird für Bildsignale in jeder einzelnen von mehreren Regionen, in die der Bildschirm aufgeteilt ist, ausgeführt. Dann bestimmt der Bewegungsvektorbestimmer 10 auf der Basis der aus den Bildsignalen in den jeweiligen Regionen des Bildschirmes erhaltenen Bewegungsvektoren und auf der Basis von Daten über die Gültigkeit der Bewegungsvektoren von der korrelierenden Entscheidungseinheit 9 einen Bewegungsvektor der Bildsignale des gesamten Bildschirms.
- Da die oben beschriebene Operation für jedes Teilbild ausgeführt wird, ist der erste Zwischenspeicher 1 vorgesehen zum Speichern von Bilddaten an den Vergleichspunkten zur korrelierenden arithmetischen Operation im nächsten Teilbild, während die korrelierende arithmetische Operation ausgeführt wird. Inzwischen speichert der zweite Zwischenspeicher 3 die Bilddaten am Vergleichspunkt, sofern eine Korrelation zwischen Bllddaten an einem Vergleichspunkt und den den Vergleichspunkt umgebenden Bilddaten erhalten wird. Wenn die Korrelation bei der bekannten Bewegungsvektor-Erfassungsvorrichtung mit der oben beschriebenen Anordnung an entsprechenden Orten eines Objektes schwach ist und nur ein verschobener Punkt des Bildes durch die Bewegung einer Bildaufnahmevorrichtung eine enge Korrelation aufweist, ergibt sich kein Problem. Wenn jedoch ein Objekt eine regelmäßigen Korrelation aufweist, ergibt sich das folgende Problem. In diesem Fall weisen eine Anzahl von Punkten des Objektes eine enge Korrelation auf. Um den Bewegungsvektor genau zu bestimmen, wird daher ein Gradient um einen Minimalwert der Korrelationswerte geprüft, die Gültigkeit der Korrelation kann aber nicht durch bloßen Vergleich des Gradienten mit einer Konstanten beurteilt werden. Wenn inzwischen eine das Objekt aufnehmende Kamera schwankt, variiert der Gradient stark, so daß die Gültigkeit der Korrelation nicht ausreichend beurteilt werden kann.
- Die auf dem Gradienten basierende Beurteilung stellt daher in vielen Fällen eine Beurteilung der Gültigkeit der Korrelation nicht positiv sicher. Daher nehmen die aus den entsprechenden Bereichen erhaltenen Bewegungsvektoren Positionen an, welche in dem Bild eine enge Korrelation aufweisen, für die korrekten Bewegungsvektoren in den entsprechenden Bereichen jedoch irrelevant sind und somit nicht die korrekten Bewegungsvektoren in den entsprechenden Bereichen darstellen. Als ein Ergebnis wird, wenn der Bewegungsvektor des gesamten Bildschirms dadurch bestimmt wird, daß z.B. ein Mittelwert der Bewegungsvektoren in den entsprechenden Bereichen herangezogen wird, der Bewegungsvektor des gesamten Bildschirms falsch erfaßt infolge eines künftigen Bewegungsvektors, der nur durch den Gradienten in einer Region mit enger Korrelation in dem Bild erhalten wird, dessen Korrelation von der Bewegung des gesamten Bildschirms abweicht.
- Daher ist es eine wesentliche Aufgabe der vorliegenden Erfindung, eine Bewegungsvektor-Erfassungsvorrichtung anzugeben, welche, wenn eine Anzahl von Punkten eines Objektes eine enge Korrelation, insbesondere in einer bestimmten Richtung, wie z.B. in horizontaler Richtung oder vertikaler Richtung, aufweisen, die Korrelation erfaßt und einen Bewegungsvektor eines gesamten Bildschirms bestimmt, ohne Bewegungsvektoren zu verwenden, die unter Bedingungen erfaßt wurden, die zu einem Anstieg von Erfassungsfehlern der Bewegungsvektoren führen, so daß der Erfassungsfehler des Bewegungsvektors des gesamten Bildschirms unterdrückt wird.
- Eine weitere wesentliche Aufgabe der vorliegenden Erfindung ist es, eine Bewegungsvektor-Erfassungsvorrichtung anzugeben, welche Bedingungen erfaßt, bei welchen eine Anzahl von Punkten eines Objektes eine enge Korrelation aufweisen und in den entsprechenden Regionen erhaltene Bewegungsvektoren sich unter den obigen Bedingungen zufällig scharf ändern, und welche die Bewegungsvektoren, die unter Bedingungen erhalten wurden, die zum Ansteigen des Erfassungsfehlers des Bewegungsvektors führen, verringert, so daß der Erfassungsfehler eines Bewegungsvektors eines gesamten Bildschirms unterdrückt wird.
- Eine weitere Aufgabe der vorliegenden Erfindung ist es, einen Bildstabilisator zum Korrigieren von Schwankungen eines ausgegebenen Bildes anzugeben, welcher ein Bild in einer Richtung entgegengesetzt zu derjenigen des durch die Bewegungsvektor-Erfassungsvorrichtung erfaßten Bewegungsvektors verschiebt, um den Korrekturfehler von Schwankungen des ausgegebenen Bildes zu unterdrücken, so daß Schwankungen des ausgegebenen Bildes stabilisiert werden. Um diese Aufgaben der vorliegenden Erfindung zu verwirklichen, umfaßt eine Bewegungsvektor-Erfassungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung einen Bewegungsvektordetektor, welcher ein Bild eines eingegebenen Bildsignales in mehrere Regionen aufteilt und die Bewegungsvektoren für jede Region durch Ausführen korrelierender arithmetischer Operationen zwischen Bildpunkten in den Regionen eines ersten Feldes und Bildpunkten des nächsten Feldes in der gleichen Region berechnet; einen Kennzeichendetektor zum Erfassen von Gradientenverhältnissen, welche die Verhältnisse der Veränderung der Korrelationswerte in unterschiedlichen Richtungen in der Nachbarschaft des minimalen Korrelationswertes sind, und eine Vektorsteuerungs- und Entscheidungseinheit, welche die berechneten Bewegungsvektoren und Gradientenverhältnisse empfängt, wobei die Vektorsteuerungs- und Entscheidungseinheit (i) aus den Gradientenverhältnissen bestimmt, ob eine Anzahl von Punkten eine enge Korrelation in einer der verschiedenen Richtungen aufweisen und in diesem Fall den zugeordneten Bewegungsvektor als ungültig beurteilt und (ii) einen Bewegungsvektor für das Bildsignal aus den verbleibenden Bildvektoren selektiert.
- Weiterhin erfaßt in einer zweiten Ausführungsform der vorliegenden Erfindung der Kennzeichendetektor Kennzeichen dafür, daß sich einer der Bewegungsvektoren in einer der Regionen scharf verändert, wenn eine Anzahl von Punkten mit enger Korrelation in dem Bild existieren, so daß die Vektorsteuerungs- und Entscheidungseinheit die Größe des einen der Bewegungsvektoren verringert, wenn der Kennzeichendetektor die Kennzeichen in der einen der Regionen erfaßt hat.
- Durch die oben beschriebene Anordnung der ersten Ausführungsform der vorliegenden Erfindung wird die Gültigkeit der Bewegungsvektoren in den jeweiligen Erfassungsregionen durch Verwenden von Verhältnissen von Gradienten an Punkten mit enger Korrelation beurteilt, welche durch den Kennzeichendetektor erfaßt werden. Wenn die Gradientenverhältnisse vorbestimmte Bereiche überschreiten, wird der Bewegungsvektor des gesamten Bildschirmes ohne Verwendung der Bewegungsvektoren bestimmt, die aus den Regionen mit den Gradientenverhältnissen, die die vorbestimmten Bereiche überschreiten, erhalten werden, so daß eine fehlerhafte Erfassung des Bewegungsvektors des gesamten Bildschirms beseitigt ist.
- Inzwischen erfaßt der Kennzeichendetektor durch die oben erwähnte Anordnung der zweiten Ausführungsform der vorliegenden Erfindung die Bedingungen, daß eine Anzahl von Punkten eines Objektes eine enge Korrelation aufweisen und sich die erhaltenen Bewegungsvektoren scharf ändern. Wenn die Bedingungen erfaßt wurden, wird der Bewegungsvektor des gesamten Bildschirms erhalten durch Unterdrücken der Bewegungsvektoren, die aus den Regionen erhalten wurden, die diese Bedingungen erfüllen, so daß eine fehlerhafte Erfassung des Bewegungsvektors des gesamten Bildschirms beseitigt wird.
- Die vorliegende Erfindung schlägt außerdem einen Bildstabilisator gemäß Anspruch 4 vor.
- Diese Aufgaben und Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung in Verbindung mit ihren bevorzugten Ausführungsformen und unter Bezug auf die beigefügten Zeichnungen deutlich.
- Dabei zeigen:
- Fig. 1 ein Blockschaltbild einer bekannten Bewegungsvektor-Erfassungsvorrichtung (bereits erwähnt);
- Fig. 2a bis 2c erläuternde Ansichten eines Bewegungsvektors eines Bildes (bereits erwähnt);
- Fig. 3 eine erläuternde Ansicht eines Vergleichspunktes und diesen Vergleichspunkt umgebender Bildpunkte (bereits erwähnt);
- Fig. 4 ein Blockschaltbild einer Bewegungsvektor-Erfassungsvorrichtung gemäß einer ersten Ausführungsform der vorliegenden Erfindung;
- Fig. 5a und 5b vereinfachte Ansichten, welche die Wirkungsweise der Bewegungsvektor-Erfassungsvorrichtung in Fig. 4 erläutern;
- Fig. 6 ein Blockschaltbild eines korrelierenden Kennzeichenextrahierers, der in der Bewegungsvektor-Erfassungsvorrichtung in Fig. 4 verwendet wird;
- Fig. 7a und 7b die Wirkungsweise der Bewegungsvektor-Erfassungsvorrichtung in Fig.g 4 erläuternde Ansichten;
- Fig. 8a und 8b vereinfachte Ansichten, welche korrelierende Daten mit enger Korrelation in bestimmten Richtungen in der Bewegungsvektor- Erfassungsvorrichtung in Fig. 4 zeigen;
- Fig. 9 ein Blockschaltbild eines Bildstabilisators mit der Bewegungsvektor-Erfassungsvorrichtung in Fig. 4 unter einem anderen Aspekt der vorliegenden Erfindung;
- Fig. 10 ein Blockschaltbild einer Bewegungsvektor-Erfassungsvorrichtung gemäß einer zweiten Ausführungsform der vorliegenden Erfindung;
- Fig. 11 ein Blockschaltbild eines in der Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 verwendeten Vektorkennzeichendetektors;
- Fig. 12a bis 12d Graphen, welche Wellenformkennzeichen von Bewegungsvektoren zeigen, die durch die Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 erfaßt sind;
- Fig. 13 einen Graphen, welcher Kennzeichen einer in der Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 verwendeten Bewegungsvektorsteuerung zeigt;
- Fig. 14 ein Blockschaltbild eines Bildstabilisierers mit der Bewegungsvektor-Erfassungsvorrichtung in Fig. 10 unter einem anderen Aspekt der vorliegenden Erfindung; und
- Fig. 15 eine mit Fig. 11 vergleichbare Ansicht, die insbesondere eine Modifikation davon zeigt.
- Bevor die Beschreibung der vorliegenden Erfindung fortgesetzt wird, ist anzumerken, daß gleiche Teile in verschiedenen Ansichten der beigefügten Zeichnungen durch gleiche Bezugszeichen bezeichnet sind.
- In den Zeichnungen ist in Fig. 4 eine Bewegungsvektor-Erfassungsvorrichtung 50 gemäß einer ersten Ausführungsform der vorliegenden Erfindung gezeigt. Die Bewegungsvektor-Erfassungsvorrichtung 50 beinhaltet einen Bewegungsvektordetektor 20, einen korrelierenden Kennzeichenextrahierer 11 und eine Bewegungsvektor-Entscheidungseinheit 12. Ebenso wie bei der bekannten Bewegungsvektor-Erfassungsvorrichtung in Fig. 1 beinhaltet der Bewegungsvektordetektor 20 einen ersten Zwischenspeicher 1, einen Vergleichspunktspeicher 2, einen zweiten Zwischenspeicher 3, einen Subrahierer 4, eine Adreßsteuerung 5, einen Absolutwertwandler 6, einen Akkumulator 7, einen korrelierenden Abfrager 8 und eine korrelierende Entscheidungseinheit 9 zum Beurteilen der Gültigkeit einer Korrelation in einem Bild. In eingegebenen Signalen werden Bilddaten an entsprechenden Vergleichspunkten auf einem Bildschirm durch den ersten Zwischenspeicher 1 als Reaktion auf Zeitimpulse LP1 empfangen und mit einer bestimmten Zeitsteuerung an Adressen des Vergleichspunktspeichers 2 geschrieben, welche jeweils den Vergleichspunkten entsprechen. Anschließend wird bei dem nächsten Teilbild oder Vollbild eine Korrelation zwischen Bilddaten in einem Bewegungsvektor-Erfassungsbereich um jeden Vergleichspunkt herum und Bilddaten an jedem Vergleichspunkt des vorherigen Teilbildes erhalten und in den Akkumulator 7 eingegeben, in welchem eine korrelierende arithmetische Operation durch Akkumulieren der Absolutwerte von Differenzen zwischen den Bilddaten ausgeführt wird. Die Korrelation an einem Ort identischer Koordinaten relativ zu jedem Vergleichspunkt repräsentierende Daten werden durch den Akkumulator 7 akkumuliert. Wenn die Akkumulation der Daten um alle Vergleichspunkte herum beendet ist, wird der Ort eines Minimalwertes der durch den Akkumulator 7 gespeicherten akkumulierten Summen durch den korrelierenden Abfrager 8 beurteilt. Der zu dem Ort des entsprechenden Vergleichspunktes gehörende Ort (die Adresse) der minimalen Akkumulationssumme zeigt den Bewegungsvektor.
- In der Anordnung der vorliegenden Erfindung wird die korrelierende arithmetische Operation durch Akkumulieren der Absolutwerte der Differenzen zwischen den Bilddaten ausgeführt, wie oben beschrieben. Daher nehmen Daten an einem Punkt mit einer engen Korrelation in dem Akkumulator 7 einen Pegel unterhalb dem von Daten an anderen Punkten an. Die Fig. 5a und 5b zeigen vereinfacht einen Teil der akkumulierten Summen des allgemeinen Bildsignals in der Bewegungsvektor-Erfassungsvorrichtung 50. In Fig. 5a stellt die Abszisse X-X' die horizontale Richtung dar, während die Ordinate Y-Y' die vertikale Richtung darstellt. In Fig. 5a zeigt die Dichte den Datenpegel an und der Datenpegel wird niedriger, wenn die Dichte sich schwarz nähert. Der Datenpegel an dem Ort der Abszisse X-X' in Fig. 5a ist in Fig. 5b gezeigt. In Fig. 5b zeigt der Punkt mit dem niedrigsten Pegel einen Punkt mit der engsten Korrelation an und wird durch den korrelierenden Abfrager 8 erhalten. Weiterhin beurteilt die korrelierende Entscheidungseinheit 9 auf der Basis der Verteilungen (Durchschnittswert, Minimalwert, Gradient, etc.) der korrelierten Werte in jedem Bewegungsvektor-Erfassungsbereich, ob ein künftiger Bewegungsvektor, der durch den korrelierenden Abfrager 8 in jedem Bewegungsvektor-Erfassungsbereich erhalten wird, gültig ist oder nicht.
- Gleichzeitig werden bei dieser Beurteilung der Gültigkeit der Gradient in horizontaler Richtung, der Gradient in vertikaler Richtung, Gradienten in zwei schrägen Richtungen, die sich mit dem rechten Winkel schneiden, das Verhältnis der Gradienten in horizontaler und vertikaler Richtung und das Verhältnis der Gradienten in den schrägen Richtungen durch den korrelierenden Kennzeichenextrahierer 11 berechnet. Wie in Fig. 6 gezeigt, beinhaltet der korrelierende Kennzeichenextrahierer 11 einen korrelierenden Wertleser 21, eine arithmetische Gradienteneinheit 22, eine arithmetische Gradientenverhältniseinheit 23 und ein Tiefpaßfilter 24. Ein korrelierender Wert um einen Punkt des künftigen Bewegungsvektors, welcher durch den korrelierenden Abfrager 8 erhalten wurde, wird durch den korrelierenden Wertleser 21 gelesen. Dann werden die Gradienten in horizontaler, vertikaler und den schrägen Richtungen durch die arithmetische Gradienteneinheit 22 berechnet. Danach wird das Verhältnis der Gradienten in horizontaler und vertikaler Richtung und das Verhältnis der Gradienten in schrägen Richtungen durch die arithmetische Gradientenverhältniseinheit 23 berechnet. Die arithmetische Gradientenverhältniseinheit 23 führt zwei Arten von Berechnungen der Gradientenverhältnisse aus, nämlich eine Berechnung, bei welcher die durch die arithmetische Gradienteneinheit 22 erhaltenen Gradienten direkt berechnet werden und die andere Berechnung, bei welcher die Gradienten ein Tiefpaßfilter 24 durchlaufen und dann berechnet werden. Durch Führen der Gradienten durch das Tiefpaßfilter 24 wird es möglich, eine geringerem Rauschen unterworfene Beurteilung zu bilden.
- Die Fig. 7a und 7b zeigen Kombinationen der Gradientenverhältnisse. Fig. 7a zeigt Richtungen zum Beurteilen des Verhältnis der Gradienten in horizontaler und vertikaler Richtung, während Fig. 7b Richtungen zum Beurteilen des Verhältnisses der Gradienten in schrägen Richtungen zeigt. In den Fig. 7a und 7b entspricht jeder quadratische Block jedem korrelierenden Wert und zeigt einen Ort, an welchem der korrelierende Wert erhalten wird und der zentrale, schraffierte quadratische Block zeigt den Ort mit der engsten Korrelation, d.h. mit dem niedrigsten Datenpegel. Angenommen, daß Gv und Gh die Gradienten in vertikaler und horizontaler Richtung bezeichnen, welche jeweils das Tiefpaßfilter 24 passiert haben, während Go1 und Go2 die Gradienten in schrägen Richtungen bezeichnen, welche jeweils das Tiefpaßfilter 24 durchlaufen haben, dann werden die Gradienten Gv, Gh, Go1 und Go2 wie folgt ausgedrückt.
- Gv = max. {(LV1 - LS0), (LV2 - LS0)}
- Gh = max. {(LHI - LS0), (LH2 - LS0)}
- Gol = max. {(Lo1 - So1), (Lo2-So1)}
- G02 = max. {(Lo3-So1), (Lo4-So1)}
- In den obigen Gleichungen stellt ein Ausdruck max. {a, b} ein Maximum von a und b dar und LV1, etc. bezeichnet den Korrelationswert des Quadrates V1, etc. Die Gradientenverhältnisse werden durch die folgenden Gleichungen (1) und (2) beurteilt.
- 4 > Gh/Gv > 0,8 ---(1)
- 2 > Go1/Go2 > 0,5 ---(2) Wenn durch Berechnung der Gradientenverhältnisse durch den korrelierenden Kennzeichenextrahierer 11 herausgefunden wurde, daß die obigen Gleichungen (1) und (2) erfüllt wurden, erkennt die Bewegungsvektor-Entscheidungseinheit 12, daß der erhaltende Bewegungsvektor gültig ist.
- Durch Berechnen der unter identischen Bedingungen erhaltenen Gradientenverhältnisse wird es möglich, veränderbare Komponenten der Gradienten zu entfernen, auch wenn diese Gradienten sich durch Versatz eines Bildes, der durch Schwankungen einer Kamera ausgelöst wurde, verändert haben. Dadurch kann der Einfluß von Variationen der Gradienten verringert werden, so daß es möglich wird, Bedingungen stabil zu erfassen, in welchen wahrscheinlich falsche Vektoren erzeugt werden.
- Die Fig. 8a und 8b zeigen vereinfacht die Bedingungen, in welchen wahrscheinlich fehlerhafte Vektoren erzeugt werden. In den Fig. 8a und 8b sind die berechneten korrelierenden Werte durch Schwärzung ausgedrückt. Wenn die Schraffur dunkler wird, wird die Korrelation enger, d.h., der Korrelationswert wird kleiner. In den Fig. 8a und 8b stellen Positionen in zwei Dimensionen Änderungen in der korrelierenden Berechnung und Änderungen von Punkten mit enger Korrelation dar, d.h., die geringen Korrelationswerte sind in einem zentralen Teil von jeder der Fig. 8a und 8b gezeigt. Fig. 8a zeigt einen Fall, in welchem eine Korrelation in horizontaler Richtung eng ist, während Fig. 8b einen Fall zeigt, in welchem die Korrelation in vertikaler Richtung eng ist. In jeder der Fig. 8a und 8b ist die Gleichung (1) nicht erfüllt und daher ist es möglich, Bedingungen zu erfassen, in welchen wahrscheinlich ein falscher Vektor erzeugt wird.
- Ein durch Laufen der Gradienten durch das Tiefpaßfilter 24 erhaltenes Signal GL, ein durch Berechnen der Gradientenverhältnisse ohne Laufen der Gradienten durch das Tiefpaßfilter 24 erhaltenes Signal GR und ein durch Berechnen der Gradientenverhältnisse nach Laufen der Gradienten durch das Tiefpaßfilter 24 erhaltenes Signal GRL werden an die Bewegungsvektor-Entscheidungseinheit 12 angelegt. Die Bewegungsvektor-Entscheidungseinheit 12 beurteilt gleichzeitig die Signale GR und GR1 der Gradientenverhältnisse. Weiterhin beurteilt die Bewegungsvektor-Entscheidungseinheit 12 das Signal GL der Gradienten. Durch Laufen der Gradienten durch das Tiefpaßfilter 24 ist die Beurteilung der Bewegungsvektor-Entscheidungseinheit 12 geringerem Rauschen unterworfen und somit ist die Bewegungsvektor-Entscheidungseinheit 12 in der Lage, eine stabile Beurteilung abzugeben, jedoch wird die Antwortzeit länger. Daher wird unter Bedingungen, in welchen die Zeitverzögerung ein Problem schafft, die Verarbeitungspriorität den Daten gegeben, welche das Tiefpaßfilter 24 nicht passiert haben. Im Gegensatz dazu wird unter Bedingungen, in welchen die Zeitverzögerung kein Problem darstellt, die Verarbeitungspriorität den Daten gegeben, die das Tiefpaßfilter 24 passiert haben. Dann wird eine Entscheidung getroffen, ob der so erhaltene Bewegungsvektor zum Korrigieren der Schwankungen eines ausgegebenen Bildes verwendet werden kann oder nicht.
- In dem Fall, in dem nur der Gradient erfaßt wird, wie in der bekannten Bewegungsvektor-Erfassungsvorrichtung, können die Phänomene der Fig. 8a und 8b nicht stabil erfaßt werden, so daß falsche Bewegungvektoren erfaßt werden. Bei der vorliegenden Erfindung kann jedoch eine falsche Erfassung der Bewegungsvektoren auch im Fall der Fig. 8a und 8b vermieden werden.
- Die obige Operation wird för jede von mehreren Regionen ausgefiihrt, in die ein Bildschirm unterteilt ist. Da die oben beschriebene Operation für jedes Teilbild (Vollbild) ausgeführt wird, ist der erste Zwischenspeicher 1 zum Speichern von Bilddaten an den Vergleichspunkten für die korrelierende arithmetische Operation im nächsten Halbbild (Vollbild) vorgesehen, während die korrelierende, arithmetische Operation ausgeführt wird. Inzwischen speichert der zweite Zwischenspeicher 3 die Bilddaten an dem Vergleichspunkt, wenn die Korrelation zwischen Bilddaten an einem Vergleichspunkt und Bilddaten um den Vergleichspunkt herum erhalten werden.
- Somit werden künftige Bewegungsvektoren jeweils in den getrennten Regionen des Bildschirms bestimmt. Dann werden diese künftigen Bewegungsvektoren durch ein Median-Filter geführt, um als ein Bewegungsvektor eines eingegebenen Signals selektiert zu werden. Somit wird der Bewegungsvektor des eingegebenen Signals erhalten. Da sie, unter Bedingungen, in denen eine Anzahl von Punkten eine enge Korrelation in horizontaler, vertikaler oder in schrägen Richtungen aufweisen, erhalten werden, werden die künftigen Bewegungsvektoren als ungültig betrachtet und werden nicht als Bewegungsvektor des eingegebenen Signals angenommen. Daher kann auch in einem Fall wie bei den bekannten Bewegungsvektor-Erfassungsvorrichtungen, daß die künftigen Bewegungsvektoren als Bewegungsvektor des eingegebenen Signals ungültig sind, aber ein falscher Bewegungsvektor infolge einer fehlerhaften Beurteilung der Ungültigkeit ausgegeben wird, eine Beurteilung der Ungültigkeit in der vorliegenden Erfindung exakt gebildet werden und somit wird der fehlerhafte Bewegungsvektor nicht ausgegeben.
- Nachfolgend wird ein Bildstabilisator 100 zum Korrigieren von Schwankungen eines ausgegebenen Bildes gemäß einem anderen Aspekt der vorliegenden Erfindung anhand von Fig. 9 beschrieben. Der Bildstabilisator 100 beinhaltet die Bewegungsvektor-Erfassungsvorrichtung 50, einen Speicher 15 zum Speichern von Bildsignalen, einen Interpolierer 16 zum Interpolieren von Signalen des Speichers 15 und eine Ausgangssteuerung 17 zum Steuern des Speichers 15 und des Interpolierers 16 auf der Basis von Ausgangssignalen der Bewegungsvektor-Erfassungsvorrichtung 50.
- Die Wirkungsweise des Bildstabilisators 100 der oben beschriebenen Anordnung wird erläutert. In Fig. 9 wird, da der Bewegungsvektor nach dem gleichen Verfahren wie in der ersten Ausführungsform erhalten wird, die Beschreibung dessen aus Gründen der Kürze abgekürzt. Ein Bewegungsvektor eines eingegebenen Bildsignals wird von der Bewegungsvektor-Erfassungsvorrichtung 50 ausgegeben, um an die Ausgangssteuerung 17 angelegt zu werden. In dem Fall, in dem der Bewegungsvektor durch eine Adresse des Speichers 15 ausgedrückt wird, in welchem das eingegebene Bild gespeichert ist, wird die Adresse des aus dem Speicher 15 ausgelesenen Signals durch die Ausgabesteuerung 17 gemäß einem integralen Teil des durch die Adresse des Speichers 15 ausgedrückten Bewegungsvektors bestimmt. Inzwischen steuert die Ausgabesteuerung 17 den Interpolierer 16 in Übereinstimmung mit einem Dezimalteil des durch die Adresse des Speichers 15 ausgedrückten Bewegungsvektors. Der Interpolierer 16 führt eine lineare Interpolation aus, bei welcher eine Mulitplikation einer Gewichtung entsprechend einer umgekehrten Anzahl einer Distanz in vertikaler und horizontaler Richtung ausgeführt wird. Somit verschiebt die Ausgabesteuerung 17 das Bild in einer Richtung, die der Schwankung des Bildes in Übereinstimmung mit dem Bewegungsvektor von der Bewegungsvektor-Erfassungsvorrichtung entgegengesetzt ist, um die Schwankung des Bildes zu beseitigen. Weiterhin verstärkt die Ausgangssteuerung 17 ein Originalbild zu einem ausgegebenen Bild vom etwa 1,1- bis 1,5-fachen der Größe des Originalbildes und verschiebt das Bild in dem Speicher 15 vertikal und horizontal, so daß ein Rand des Bildes unsichtbar ist, wenn das Bild ausgegeben wird.
- Dementsprechend werden auch in solch einem Fall, der bekannten Bildstabilisatoren zugeordnet ist, daß Schwankungen eines ausgegebenen Bildes irrtümlich korrigiert werden unter Bedingungen, bei denen eine Anzahl von Punkten mit enger Korrelation in horizontaler, vertikaler oder schrägen Richtungen erhalten werden, künftige Bewegungsvektoren, die wahrscheinlich zu einem Fehler führen, ungültig gemacht, und somit können Schwankungen eines ausgegebenen Bildes durch die oben beschriebene Anordnung des Bildstabilisators 100 mit der Bewegungsvektor-Erfassungsvorrichtung 50 der vorliegenden Erfindung stabil korrigiert werden.
- Inzwischen werden in der Bewegungsvektor-Erfassungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung nur das Verhältnis der Gradienten in horizontaler und vertikaler Richtung und das Verhältnis der Gradienten in den schrägen Richtungen beschrieben. Die Gradientenverhältnisse sind jedoch nicht auf die obigen Richtungen beschränkt. Weiterhin ist die Berechnung des Gradienten des Korrelationswertes nicht auf denjenigen der ersten Ausführungsform der vorliegenden Erfindung beschränkt. Z.B. kann der Gradient von einem Durchschnittswert der Differenzen zwischen der engsten Korrelation (minimaler Korrelationswert) an einem Punkt und Korrelationswerten an gegenüberliegenden Punkten zwischen den Punkten dazwischen in einer Richtung zum Erhalten des Gradienten erhalten werden. Dabei ist ein Verfahren zum Erhalten des Gradientenverhältnisses GRL nicht auf dasjenige der Ausführungsform beschränkt, aber das Gradientenverhältnis GRL kann durch Passieren des Signals GR durch das Tiefpaßfilter erhalten werden.
- Weiterhin ist die Beurteilung des Gradientenverhältnisses nicht beschränkt auf diejenige der ersten Ausführungsform der vorliegenden Erfindung, sondern kann, unnötig zu erwähnen, entsprechend den Verarbeitungsbedingungen vielfältig variiert werden.
- Wie aus der vorstehenden Beschreibung deutlich wird, wird bei der Bewegungsvektor-Erfassungsvorrichtung gemäß der ersten Ausführungsform der vorliegenden Erfindung die Gültigkeit des in den jeweiligen Erfassungsregionen erhaltenen Bewegungsvektors durch Verwenden von Gradientenverhältnissen beurteilt, die durch den korrelierenden Kennzeichenextrahierer an dem Punkt mit enger Korrelation erhalten werden. Durch diese Erfassung der Gradientenverhältnisse durch den korrelierenden Kennzeichenextrahierer wird eine Bedingung, in welcher der falsche Bewegungsvektor durch das Vorhandensein einer Anzahl von Punkten mit enger Korrelation in dem Bild erfaßt wird, beurteilt. Dann wird durch Unterdrücken oder Vernachlässigen des in Regionen, in welchen eine solche Bedingung erfaßt wurde, erhaltenen Bewegungsvektors der durch das Bildsignal angezeigte Bewegungsvektor des gesamten Bildschirms erhalten.
- Daher kann, auch in einem Fall wie bei den bekannten Bewegungsvektor- Erfassungsvorrichtungen, daß die künftigen Bewegungsvektoren als Bewegungsvektor des gesamten Bildschirmes ungültig sind, aber der fehlerhafte Bewegungsvektor durch fehlerhaftes Ausbilden einer Beurteilung der Ungültigkeit erfaßt wird, der Einfluß des falschen Bewegungsvektors beseitigt werden und somit die Ausgabe des falschen Bewegungsvektors vermieden werden.
- Daher kann bei dem die erfindungsgemäße Bewegungsvektor-Erfassungsvorrichtung anwendenden Bildstabilisator die Schwankung des ausgegebenen Bildes durch Beseitigen des Einflusses des falschen Bewegungsvektors korrigiert werden, der unter der Bedingung erhalten wird, bei welcher der falsche Bewegungsvektor durch das Vorhandensein einer Anzahl von Punkten mit enger Korrelation in dem Bild ausgegeben wird. Demzufolge kann gemäß dem Bildstabilisator der vorliegenden Erfindung auch in solch einem Fall, der bei bekannten Bildstabilisierern auftritt, daß die künftigen Bewegungsvektoren als Bewegungsvektor des gesamten Bildschirmes durch Vorhandensein einer Anzahl von Punkten mit enger Korrelation in dem Bild ungültig sind, der falsche Bewegungsvektor aber durch fehlerhaftes Bilden der Beurteilung der Ungültigkeit ausgegeben wird, die Schwankung des ausgegebenen Bildes durch Beseitigen des Einflusses des falschen Bewegungsvektors einwandfrei korrigiert werden.
- Fig. 10 zeigt eine Bewegungsvektor-Erfassungsvorrichtung 150 gemäß einer zweiten Ausführungsform der vorliegenden Erfindung. Die Bewegungsvektor- Erfassungsvorrichtung 150 beinhaltet den Bewegungsvektordetektor 20, einen Bewegungsvektor-Kennzeichendetektor 111, eine Bewegungsvektorsteuerung 112 und einen Bewegungsvektorbestimmer 113.
- Wie bei der Bewegungsvektor-Erfassungsvorrichtung 50 beurteilt die korrelierende Entscheidungseinheit 9, ob ein durch den korrelierenden Abfrager 8 erhaltener künftiger Bewegungsvektor gültig ist oder nicht. Unabhängig von dieser Beurteilung der Gültigkeit durch die korrelierende Entscheidungseinheit 9 werden die Kennzeichen des Bewegungsvektors durch den Bewegungsvektor-Kennzeichendetektor 111 erfaßt.
- Wie in Fig. 11 gezeigt, beinhaltet der Bewegungsvektor-Kennzeichendetektor 111 einen Änderungsdetektor 120, einen ersten Absolutwertwandler 121, ein erstes Tiefpaßfilter 122, einen zweiten Absolutwertwandler 123, ein zweites Tiefpaßfilter 124 und einen Standardisierer 125. Der Bewegungsvektor-Kennzeichendetektor 111 der oben beschriebenen Anordnung wirkt wie folgt. Der Bewegungsvektor-Kennzeichendetektor 111 unterscheidet Kennzeichen eines Bewegungsvektors, den er zu einem Zeitpunkt erhält, wenn eine Bildaufnahmevorrichtung von Hand gehalten wird oder ein Objekt von einem fahrenden Fahrzeug aufgezeichnet wird, etc., von Kennzeichen eines Bewegungsvektors, der zu einem Zeitpunkt erhalten wird, wenn ein Objekt mit einer Anzahl von Punkten mit einer regelmäßigen engen Korrelation in einem Bild aufgenommen wird. Die Fig. 12a bis 12d zeigen Änderungen typischer Bewegungsvektoren, die unter diesen Bedingungen erhalten werden. Fig. 12a zeigt einen horizontalen Bewegungsvektor, der erhalten wird, wenn ein Bildaufnahmegerät von Hand gehalten wird, während Fig. 12b einen horizontalen Bewegungsvektor zeigt, der erhalten wird, wenn ein Objekt von einem fahrenden Motorfahrzeug, etc. aufgenommen wird. Die Fig. 12c und 12d zeigen horizontale Bewegungsvektoren, die erhalten werden, wenn ein Objekt mit einer Anzahl von Punkten mit regelmäßiger enger Korrelation in einem Bild aufgenommen wird. Wie in den Fig. 12c und 12d gezeigt, verändert sich der erhaltene Bewegungsvektor mehrfach scharf, d.h., mit einer hohen Frequenz, wenn ein Objekt mit einer Anzahl von Punkten mit einer engen Korrelation in einem Bild aufgenommen wird. Um diese Bedingungen voneinander zu unterscheiden, werden verändernde Komponenten eines eingegebenen Bewegungsvektors durch einen Änderungsdetektor 120 durch Verwenden der folgenden Gleichungen erfaßt.
- S1x_t(n) = Vx_t(n-1) - Vx_t(n)
- S2x_t(n) = S1x_t(n-1) - S1x_t(n)
- S1y_t(n) = Vy_t(n-1) - Vy_t(n)
- S2y_t(n) = S1y_t(n-1) - S1y_t(n)
- In den obigen Gleichungen bezeichnet V den Bewegungsvektor, x und y bezeichnen jeweils die horizontale Richtung und die vertikale Richtung und t(n) bezeichnet ein Feld, in welchem der Bewegungsvektor erhalten wird. Zusätzlich bezeichnet S1 ein im Zuge der arithmetischen Operation erhaltenes Ergebnis und S2 bezeichnet eine veränderte Kompontente des Bewegungsvektors. Absolutwerte dieser berechneten Änderungskomponenten des Bewegungsvektors werden durch den ersten Wandler 121 erhalten und durch das erste Tiefpaßfilter 122 geführt, so daß scharfe Änderungen der Bewegungsvektoren gedämpft werden. Dann wird ein Signal CH, das die erhaltenen Kennzeichen des Bewegungsvektors darstellt, von dem ersten Tiefpaßfilter 122 zu dem Standardisierer 125 übertragen.
- Gleichzeitig wird ein Referenzsignal RF zum Ausführen der Standardisierung durch den zweiten Absolutwertwandler 123 und das zweite Tiefpaßfilter 124 erhalten. Insbesondere ein Absolutwert des Bewegungsvektors wird durch den zweiten Absolutwertwandler 123 erhalten und dann in das zweite Tiefpaßfilter 124 eingegeben, so daß scharfe Änderungen des Bewegungsvektors gedämpft werden, wodurch das Referenzsignal RF erhalten wird. Durch Verwenden dieses so erhaltenen Referenzsignals RF wird eine durch die folgende Gleichung ausgedrückte Standardisierung ausgeführt.
- Gv = A x CH/(RF + O)
- In der obigen Gleichung bezeichnen A und O jeweils Koeffizienten. In jedem System wird ein optimaler Wert als jeder der Koeffizienten A und O selektiert. Durch Ausführen der Standardisierung wie oben beschrieben, wird es möglich, den Pegel des Bewegungsvektors relativ zu vergrößern, auch unter Bedingungen, unter denen die Amplitude des Bewegungsvektors klein ist, wie in Fig. 12d gezeigt. Somit kann die Bedingung in Fig. 12d stabil unterschieden werden. Durch Verwenden eines so erhaltenen Steuerungssignals Gv von dem Standardisierer 125 wird ein Koeffizient, mit welchem der Bewegungsvektor multipliziert wird, durch die Bewegungsvektorsteuerung 112 erhalten, so daß der Bewegungsvektor mit dem Koeffizienten multipliziert wird.
- Fig. 13 zeigt Kennzeichen der Bewegungsvektorsteuerung 112. In Fig. 13 stellt die Abszisse das Ausgangssignal Gv des Bewegungsvektor-Kennzeichendetektors 111 dar, während die Ordinate den Verstärkungswert darstellt, mit welchem der erhaltene Bewegungsvektor multipliziert wird.
- Unter Bedingungen, unter denen der falsche Bewegungsvektor erfaßt wird, wenn der Ausgangspegel des Bewegungsvektor-Kennzeichendetektors 111 hoch ist, wenn nämlich eine Anzahl von Punkten mit regelmäßiger, enger Korrelation in einem aufgenommenen Bild existiert, wird es möglich, den Bewegungsvektor auf Null zu komprimieren.
- In der gleichen Weise, wie bei der Bewegungsvektor-Erfassungsvorrichtung 50 werden die künftigen Bewegungsvektoren jeweils in den unterteilten Regionen des Bildschirms bestimmt und dann durch ein Median-Filter geführt, um als ein Bewegungsvektor eines eingegebenen Signals selektiert zu werden. Somit wird der Bewegungsvektor des eingegebenen Signals erhalten. Daher wird unter Bedingungen, unter denen eine Anzahl von Punkten mit enger Korrelation in einem Bild regelmäßig existiert und die künftigen Bewegungsvektoren falsch erfaßt werden, die künftigen Bewegungsvektoren mit einer Höhe von Null voreingestellt, so daß die falsch erfaßten, künftigen Bewegungsvektoren nicht als Bewegungsvektor des eingegebenen Signals berücksichtigt werden. Daher kann, auch in einem Fall, der bekannten Bewegungsvektor-Erfassungsvorrichtungen zugeordnet ist, daß die künftigen Bewegungsvektoren als Bewegungsvektor des eingegebenen Signals ungültig sind, der falsche Bewegungsvektor infolge eines Fehlers beim Ausbilden der Beurteilung der Ungültigkeit aber ausgegeben wird, der falsche Bewegungsvektor in der vorliegenden Erfindung auf eine Höhe von Null eingestellt werden, so daß die Ausgabe des falschen Bewegungsvektors vermieden wird.
- Nachfolgend wird ein Bildstabilisator 200 zum Korrigieren der Schwankungen eines ausgegebenen Bildes unter einem anderen Aspekt der vorliegenden Erfindung anhand von Fig. 14 beschrieben. Der Bildstabilisator 200 beinhaltet die Bewegungsvektor-Erfassungsvorrichtung 150, einen Speicher 118 zum Speichern der Bildsignale, einen Interpolierer 116 zum Interpolieren von Signalen des Speichers 118 und eine Ausgangssteuerung 117 zum Steuern des Speichers 118 und des lnterpolierers 116 auf der Basis der Ausgangssignale der Bewegungsvektor-Erfassungsvorrichtung 150. Da die Wirkungsweise des Bildstabilisators die gleiche wie des Bildstabilisators 100 ist, wird deren Beschreibung aus Gründen der Kürze abgekürzt.
- Durch Verwenden des Bildstabilisators 200, der die Bewegungsvektor-Erfassungsvorrichtung 1 50 der vorliegenden Erfindung benutzt, unter Bedingungen, bei denen eine Anzahl von Punkten mit einer engen Korrelation in dem Bild regelmäßig existieren und somit der falsche Bewegungsvektor erfaßt wird, wird der falsche Bewegungsvektor auf eine Höhe von Null eingestellt. Daher kann einem Phönomen begegnet werden, daß der fälschlich erfaßte Bewegungsvektor zur Korrektur von Schwankungen des ausgegebenen Bildes verwendet wird. Demzufolge wird auch in einem Fall, der bekannten Bildstabilisatoren zugeordnet ist, daß die künftigen Bewegungsvektoren als Bewegungsvektor des eingegebenen Bildsignals durch regelmäßiges Vorhandensein der Punkte mit enger Korrelation in dem Bild ungültig sind, Schwankungen des ausgegebenen Bildes jedoch fälschlich durch die Erfassung des falschen Bewegungsvektors, ausgelöst durch eine fehlerhafte Bildung der Beurteilung der Ungültigkeit, korrigiert werden, der fälschlich erfaßte Bewegungsvektor in der vorliegenden Erfindung auf eine Höhe von Null eingestellt werden und somit die falsche Korrektur von Schwankungen des ausgegebenen Bildes beseitigt werden.
- Der Bewegungsvektor-Kennzeichendetektor 111 in Fig. 11 in der Bewegungsvektor-Erfassungsvorrichtung 150 kann zu einem Bewegungsvektor-Kennzeichendetektor 130 modifiziert werden, wie in Fig. 15 gezeigt. In dem Bewegungsvektor-Kennzeichendetektor 130 ist der Änderungsdetektor 120 durch ein Hochpaßfilter 130 ersetzt. Es ist erwünscht, daß die Grenzfrequenz des Hochpaßfilters in einem Bereich von 5 bis 15 Hz liegt.
- Weiterhin ist bei der Bewegungsvektor-Erfassungsvorrichtung 150 das arithmetische Verfahren des Bewegungsvektor-Kennzeichendetektors 111 nicht auf dasjenige der zweiten Ausführungsform der vorliegenden Erfindung beschränkt und kann, unnötig zu erwähnen, durch jedes andere vergleichbare Verfahren ersetzt werden, das sich zum Zweck der vorliegenden Erfindung eignet.
- Bei der Bewegungsvektor-Erfassungsvorrichtung 150 wird der Bewegungsvektor auf der Basis der Höhe des Bewegungsvektors standardisiert, es ist jedoch ohne ausdrückliche Erwähnung möglich, daß jedes andere Verfahren zur Standardisierung anwendbar ist. Um die Verarbeitung zu vereinfachen ist es möglich, den Standardisierer 125 zu beseitigen.
- Wie aus dem Vorstehenden erkennbar ist, werden in der Bewegungsvektor- Erfassungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung Bedingungen, in denen eine Anzahl von Punkten eines Objektes eine enge Korrelation aufweisen und der erhaltene Bewegungsvektor sich scharf ändert, durch den Bewegungsvektor-Kennzeichendetektor erfaßt. Durch diese Erfassung der Bedingungen durch den Bewegungsvektor-Kennzeichendetektor wird eine Bedingung, in welcher ein falscher Bewegungsvektor durch das Vorhandensein einer Anzahl von Punkten mit regelmäßiger enger Korrelation in dem Bild erfaßt wird, beurteilt. Dann wird durch Unterdrücken oder Übergehen der Bewegungsvektoren, die in Regionen erhalten werden, wo eine solche Bedingung erfaßt wurde, der Bewegungsvektor des gesamten Bildschirmes mit dem angezeigten Bildsignal erhalten.
- Dementsprechend kann bei der Bewegungsvektor-Erfassungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung die Ausgabe des falschen Bewegungsvektors beseitigt werden durch Beseitigen des Einflusses des falschen Bewegungsvektors. Daher kann unter jeder Bedingung ein genauer Bewegungsvektor erhalten werden.
- Weiterhin können bei dem Bildstabilisierer, der die Bewegungsvektor-Erfassungsvorrichtung gemäß der zweiten Ausführungsform der vorliegenden Erfindung verwendet, Schwankungen des ausgegebenen Bildes durch Beseitigen des Einflusses des falschen Bewegungsvektors einwandfrei korrigiert werden.
Claims (6)
1. Bewegungsvektor-Erfassungsvorrichtung (50; 1 50) mit:
einem Bewegungsvektordetektor (20), welcher ein Bild eines eingegebenen
Bildsignales in mehrere Regionen aufteilt und die Bewegungsvektoren für jede
Region durch Ausführen korrelierender arithmetischer Operationen zwischen
Bildpunkten in der Region eines ersten Feldes und Bildpunkten des nächsten
Feldes in der gleichen Region berechnet;
gekennzeichnet durch einen Kennzeichendetektor (11; 111) zum Erfassen von
Gradientenverhältnissen, welche die Verhältnisse der Veränderung der
Korrelationswerte in unterschiedlichen Richtungen in der Nachbarschaft des minimalen
Korrelationswertes sind, und einer Vektorsteuerungs- und Entscheidungseinheit
(12; 113), welche die berechneten Bewegungsvektoren und
Gradientenverhältnisse empfängt, wobei die Vektorsteuerungs- und Entscheidungseinheit (12;
113) (i) aus den Gradientenverhältnissen bestimmt, ob eine Anzahl von Punkten
eine enge Korrelation in einer der verschiedenen Richtungen aufweisen und in
diesem Fall den zugeordneten Bewegungsvektor als ungültig beurteilt, und (ii)
einen Bewegungsvektor für das Bildsignal aus den verbleibenden Bildvektoren
selektiert.
2. Bewegungsvektor-Erfassungsvorrichtung (50) nach Anspruch 1,
bei welcher der Kennzeichendetektor (11) einen Zustand erfaßt, in welchem eine
enge Korrelation in horizontaler, vertikaler oder schräger Richtung in dem Bild
existiert.
3. Bewegungsvektor-Erfassungsvorrichtung (150) nach Anspruch 1,
bei welcher der Kennzeichendetektor (111) Kennzeichen dafür erfaßt, daß sich
einer der Bewegungsvektoren in einer der Regionen scharf verändert, wenn eine
Anzahl von Punkten mit enger Korrelation in dem Bild existieren, so daß die
Vektorsteuerungs- und Entscheidungseinheit (113) die Größe des einen der
Bewegungsvektoren verringert, wenn der Kennzeichendetektor (111) die
Kennzeichen in der einen der Regionen erfaßt hat.
4. Bildstabilisierer (100; 200) zum Korrigieren von Schwankungen eines
ausgegebenen Bildes, mit:
einem Bewegungsvektordetektor (20), welcher ein Bild eines eingegebenen
Bildsignales in mehrere Regionen aufteilt und Bewegungsvektoren für jede Region
durch Ausführen korrelierender arithmetischer Operationen zwischen Bildpunkten
eines ersten Feldes in der Region und Bildpunkten des nächsten Feldes in der
gleichen Region berechnet;
gekennzeichnet durch einen Kennzeichendetektor (11; 111) zum Erfassen von
Gradientenverhältnissen, welche die Verhältnisse der Änderung der
Korrelationswerte in verschiedenen Richtungen in der Nachbarschaft hinter dem minimalen
Korrelationswert sind; und
einer Vektorsteuerungs- und Entscheidungseinheit (12; 113), welche die
berechneten Bewegungsvektoren und Gradientenverhältnisse empfängt, wobei die
Vektorsteuerungs- und Entscheidungseinheit (12; 113) (i) aus den
Gradientenverhältnissen bestimmt, ob eine Anzahl von Punkten in einer der verschiedenen
Richtungen eine enge Korrelation aufweisen und in dem Fall den zugeordneten
Bewegungsvektor als ungültig beurteilt, und (ii) einen Bewegungsvektor für das
Bildsignal aus den verbleibenden Bewegungsvektoren selektiert; und
eine Bildausgabesteuerung (17; 117) zum Interpolieren des Bildes, um in der
Lage zu sein, das an einer willkürlichen Position angeordnete Bild auszugeben;
wobei, wenn der Bewegungsvektordetektor (20) Schwankungen des Bildes
erfaßt hat, die Bildausgabesteuerung (17; 117) das Bild in eine Richtung
verschiebt, die dem Bewegungsvektor entgegengesetzt ist, welcher durch die
Vektorsteuerungs- und Entscheidungseinheit (12; 113) bestimmt ist.
5. Bildstabilisierer (100) nach Anspruch 4,
bei welchem der Kennzeichendetektor (11) einen Zustand erfaßt, in welchem
eine enge Korrelation in horizontalen und vertikalen Richtungen oder in schrägen
Richtungen in dem Bild existiert.
6. Bildstabilisierer (200) nach Anspruch 4,
bei welchem der Kennzeichendetektor (111) Kennzeichen dafür erfaßt, daß sich
einer der Bewegungsvektoren in einer der Regionen scharf verändert, wenn eine
Anzahl von Punkten mit enger Korrelation in dem Bild existieren, so daß die
Vektorsteuerungs- und Entscheidungseinheit (112) die Größe des einen der
Bewegungsvektoren verringert, wenn der Kennzeichendetektor (111) die
Kennzeichen in einer der Regionen erfaßt hat.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP13067690A JP2676978B2 (ja) | 1990-05-21 | 1990-05-21 | 動きベクトル検出装置及び画像揺れ補正装置と動きベクトル検出方法と画像揺れ補正方法 |
JP2133360A JP2661330B2 (ja) | 1990-05-23 | 1990-05-23 | 動きベクトル検出装置及び画像ゆれ補正装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69116222D1 DE69116222D1 (de) | 1996-02-22 |
DE69116222T2 true DE69116222T2 (de) | 1996-08-14 |
Family
ID=26465747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69116222T Expired - Lifetime DE69116222T2 (de) | 1990-05-21 | 1991-05-21 | Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator |
Country Status (4)
Country | Link |
---|---|
US (1) | US5317685A (de) |
EP (1) | EP0458239B1 (de) |
KR (1) | KR950006045B1 (de) |
DE (1) | DE69116222T2 (de) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2861619B2 (ja) * | 1991-07-12 | 1999-02-24 | 松下電器産業株式会社 | 情報提示装置及び提示情報作成装置 |
SE9201183L (sv) * | 1992-04-13 | 1993-06-28 | Dv Sweden Ab | Saett att adaptivt estimera icke oenskade globala bildinstabiliteter i bildsekvenser i digitala videosignaler |
JP2940762B2 (ja) * | 1993-06-28 | 1999-08-25 | 三洋電機株式会社 | 手振れ補正装置を有するビデオカメラ |
JP3339191B2 (ja) * | 1994-08-08 | 2002-10-28 | ミノルタ株式会社 | ブレ補正機能付カメラ |
FR2724033B1 (fr) * | 1994-08-30 | 1997-01-03 | Thomson Broadband Systems | Procede de generation d'image de synthese |
JP2902966B2 (ja) * | 1994-12-16 | 1999-06-07 | 三洋電機株式会社 | 手振れ補正装置およびそれを用いたビデオカメラ |
JP3268953B2 (ja) * | 1995-02-27 | 2002-03-25 | 三洋電機株式会社 | 追尾領域設定装置,動きベクトル検出回路およびそれを用いた被写体追尾装置 |
US5835138A (en) * | 1995-08-30 | 1998-11-10 | Sony Corporation | Image signal processing apparatus and recording/reproducing apparatus |
KR0163922B1 (ko) * | 1995-09-19 | 1999-01-15 | 김광호 | 카메라 영상의 움직임 벡터 검출장치 및 그 검출방법 |
JP2000512039A (ja) | 1996-03-15 | 2000-09-12 | ザパ デジタル アーツ リミテッド | プログラム可能なコンピュータグラフィックオブジェクト |
US5999194A (en) * | 1996-11-14 | 1999-12-07 | Brunelle; Theodore M. | Texture controlled and color synthesized animation process |
US6298143B1 (en) | 1997-04-03 | 2001-10-02 | Kabushiki Kaisha Toshiba | Moving target detecting system and moving target detecting method |
US6809758B1 (en) | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
US6623428B2 (en) * | 2001-10-11 | 2003-09-23 | Eastman Kodak Company | Digital image sequence display system and method |
JP4208135B2 (ja) * | 2003-11-07 | 2009-01-14 | Kddi株式会社 | ドリフト補償方式 |
US20070009034A1 (en) | 2005-07-05 | 2007-01-11 | Jarno Tulkki | Apparatuses, computer program product, and method for digital image processing |
US8094714B2 (en) * | 2008-07-16 | 2012-01-10 | Sony Corporation | Speculative start point selection for motion estimation iterative search |
US8116527B2 (en) * | 2009-10-07 | 2012-02-14 | The United States Of America As Represented By The Secretary Of The Army | Using video-based imagery for automated detection, tracking, and counting of moving objects, in particular those objects having image characteristics similar to background |
JP5388910B2 (ja) * | 2010-03-10 | 2014-01-15 | パナソニック株式会社 | 画像揺れ補正装置および画像揺れ補正方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS60110915A (ja) * | 1983-11-16 | 1985-06-17 | Toray Ind Inc | ポリエステル繊維の製造法 |
GB2187913B (en) * | 1984-09-07 | 1988-02-10 | British Broadcasting Corp | Measurement of film unsteadiness in a video signal |
JPS61269475A (ja) * | 1985-05-23 | 1986-11-28 | Toshiba Corp | 動きベクトル検出装置 |
US5111511A (en) * | 1988-06-24 | 1992-05-05 | Matsushita Electric Industrial Co., Ltd. | Image motion vector detecting apparatus |
EP0366136B1 (de) * | 1988-10-27 | 1995-03-22 | Canon Kabushiki Kaisha | Bildaufnahme- und Verarbeitungseinrichtung |
-
1991
- 1991-05-20 KR KR1019910008151A patent/KR950006045B1/ko not_active IP Right Cessation
- 1991-05-21 DE DE69116222T patent/DE69116222T2/de not_active Expired - Lifetime
- 1991-05-21 EP EP91108133A patent/EP0458239B1/de not_active Expired - Lifetime
- 1991-05-21 US US07/703,773 patent/US5317685A/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
EP0458239A3 (en) | 1993-01-20 |
KR950006045B1 (ko) | 1995-06-07 |
EP0458239B1 (de) | 1996-01-10 |
KR910021128A (ko) | 1991-12-20 |
US5317685A (en) | 1994-05-31 |
EP0458239A2 (de) | 1991-11-27 |
DE69116222D1 (de) | 1996-02-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69116222T2 (de) | Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator | |
DE4411179B4 (de) | Bildeinfangvorrichtung | |
DE69022461T2 (de) | Bildbewegungsvektordetektor. | |
DE69519361T2 (de) | Elektronischer Bildstabilisator und damit versehene Kamera | |
DE68926475T2 (de) | Vorrichtung zur Ermittlung eines Bildbewegungsvektors | |
DE69019571T2 (de) | Schwankungsstabilisierungsvorrichtung. | |
DE69219944T2 (de) | Verfahren zur Erfassung der Bewegung einer Kamera | |
DE69425785T2 (de) | Videokamera mit elektronischem Bildstabilisator | |
DE69033322T2 (de) | Bewegungsvektorsensor | |
DE69131591T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69428838T2 (de) | Videokamera mit elektronischer Bildstabilisierung und Erzeugung von Additionsdaten | |
DE69228620T2 (de) | Bewegungsvektorerkennungsvorrichtung zur Erkennung der Bewegung eines Bildes, um dessen Störung zu verhindern | |
DE69322423T2 (de) | Vorrichtung zur Detektion von Bewegungsvektoren | |
DE69431791T2 (de) | Vorrichtung und verfahren zur automatischen bildentzerrung | |
DE69229705T2 (de) | Verfahren zur erkennung eines bewegungsvektors und vorrichtung dafür und system zur verarbeitung eines bildsignals mit dieser vorrichtung | |
DE69114907T2 (de) | Gerät zur Detektion eines Bewegungsvektors und damit ausgestatteter Bildstabilisator. | |
DE4108288C2 (de) | ||
DE10258794A1 (de) | Verfahren zur Erkennung und Verfolgung von Objekten | |
DE102009005860A1 (de) | Umgebungs-Erkennungssystem | |
DE69609028T2 (de) | Bewegungskompensierte bildfrequenzumwandlung | |
EP0472239A2 (de) | Verfahren zur Ermittlung horizontaler Bewegungen in den Bildinhalten eines Fernsehsignals | |
DE69028792T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69027704T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE60209773T2 (de) | Vorrichtung und verfahren zum erkennen von verdeckung | |
DE69028239T2 (de) | Bewegungsabhängige Videosignalverarbeitung |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8327 | Change in the person/name/address of the patent owner |
Owner name: PANASONIC CORP., KADOMA, OSAKA, JP |