DE4343698A1 - Automatic image stabilization system for a camcorder - Google Patents
Automatic image stabilization system for a camcorderInfo
- Publication number
- DE4343698A1 DE4343698A1 DE4343698A DE4343698A DE4343698A1 DE 4343698 A1 DE4343698 A1 DE 4343698A1 DE 4343698 A DE4343698 A DE 4343698A DE 4343698 A DE4343698 A DE 4343698A DE 4343698 A1 DE4343698 A1 DE 4343698A1
- Authority
- DE
- Germany
- Prior art keywords
- motion
- image signal
- image
- focal length
- digital
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000006641 stabilisation Effects 0.000 title claims description 13
- 238000011105 stabilization Methods 0.000 title claims description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 83
- 239000013598 vector Substances 0.000 claims abstract description 29
- 238000004091 panning Methods 0.000 claims abstract description 3
- 238000001514 detection method Methods 0.000 claims description 14
- 206010044565 Tremor Diseases 0.000 claims description 7
- 238000000034 method Methods 0.000 claims description 7
- 230000000087 stabilizing effect Effects 0.000 abstract description 3
- 230000011664 signaling Effects 0.000 abstract 1
- 238000004364 calculation method Methods 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 9
- 239000003381 stabilizer Substances 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000011045 prefiltration Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 230000001629 suppression Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Image Analysis (AREA)
Abstract
Description
Die vorliegende Erfindung betrifft im allgemeinen einen Camcorder, und spezieller ein automatisches Bildstabili siersystem für einen Camcorder, das Bildverwackelung infolge zitternder Hände einer Person während des Fotogra fierens automatisch ausgleichen kann.The present invention relates generally to one Camcorder, and more specifically an automatic image stabilizer Siersystem for a camcorder, the image shake due to a person's trembling hands during photography fierens can compensate automatically.
Ein konventioneller Doppelbildstabilisator für einen Cam corder ist in Fig. 1 dargestellt. Der Stabilisator ist mit einem Bildaufnahmeteil, der in einen Blendenbereich 4, einen Bildübertragungsbereich 3 und einen Restbereich 2 zur Aufnahme des Bildsignals für den Bildübertragungsbereich 3 aufgeteilt ist, einem Signalprozessor 5 für die Verarbei tung des Ausgabesignals des Aufnahmeteils 1, einem Bewe gungsdetektor für die Erfassung der Bewegung von Bildern aus dem Ausgabesignal des Signalprozessors 5 und die Aus gabe des erfaßten Bewegungssignals in Vorwärts- und Feed backrichtungen, und einem an den Ausgang des Signalprozes sors 5 angeschlossenen Pufferspeicher 7 zur Speicherung des Bildsignals für den Bildübertragungsbereich 3 ausgerüstet. Der Stabilisator ist außerdem mit einer Steuereinheit 8 für den Bildübertragungsbereich zur Aufnahme des Bewegungs signals in Feedbackrichtung vom Bewegungsdetektor 6 und zur Steuerung des Bildübertragungsbereichs 3, einem Aufnahme teiltreiber 9 zur Ausführung kurzzeitigen Bewegungs ausgleichs durch Veränderung des Bildübertragungsbereichs 3 unter Steuerung der Steuereinheit 8 für den Bildüber tragungsbereich, und einem Speicherregler 10 zur Aufnahme der Bewegungssignale in Vorwärtsrichtung vom Bewegungs detektor 6 und zur Steuerung des Pufferspeichers 7 zum Aus gleich des Bildsignals für den im Pufferspeicher 7 gespei cherten Bildübertragungsbereich versehen.A conventional double image stabilizer for a cam corder is shown in Fig. 1. The stabilizer is divided with an image recording part, which is divided into an aperture area 4 , an image transmission area 3 and a remaining area 2 for receiving the image signal for the image transmission area 3 , a signal processor 5 for processing the output signal of the recording part 1 , and a motion detector for the detection the movement of images from the output signal of the signal processor 5 and the output from the detected motion signal in forward and feed back directions, and a buffer memory 7 connected to the output of the signal processor 5 for storing the image signal for the image transmission area 3 . The stabilizer is also with a control unit 8 for the image transmission area for recording the motion signal in the feedback direction from the motion detector 6 and for controlling the image transmission area 3 , a recording part driver 9 for performing short-term motion compensation by changing the image transmission area 3 under control of the control unit 8 for the image carrying area, and a memory controller 10 for receiving the motion signals in the forward direction from the motion detector 6 and for controlling the buffer memory 7 to equalize the image signal for the image transmission area stored in the buffer memory 7 .
Die Funktion des wie oben konstruierten konventionellen Stabilisators wird hiernach erläutert:The function of the conventional as constructed above Stabilizer is explained below:
Zuerst werden die vom Bildaufnahmeteil 1 ausgegebenen Bild signale für den Bildübertragungsbereich 3 vom Signalprozes sor 5 verarbeitet und dann im Pufferspeicher 7 gespeichert.First, the image signals output by the image recording part 1 for the image transmission area 3 are processed by the signal processor 5 and then stored in the buffer memory 7 .
Gleichzeitig empfängt der Bewegungsdetektor 6 die Ausgabe des Signalprozessors 5 und führt eine Korrelationskalkula tion durch, um die Bewegung der Bilder zu erfassen. In Übereinstimmung mit der Korrelationskalkulation werden zweidimensionale, vertikale und horizontale Randsignale 12 und 13 des Bildes auf eindimensionale Randdaten projiziert bzw. reduziert, wie in Fig. 2 mit Darstellung einer Bild aufnahme-Einrichtung 11 gezeigt, und die entsprechenden Randdaten werden in einem Ein-Bit-Zeilenspeicher 14 gespei chert, wie in Fig. 3 mit Darstellung der detaillierten Struktur des Bewegungsdetektors 6 gezeigt.At the same time, the motion detector 6 receives the output of the signal processor 5 and performs a correlation calculation in order to detect the movement of the images. In accordance with the correlation calculation, two-dimensional, vertical and horizontal edge signals 12 and 13 of the image are projected or reduced to one-dimensional edge data, as shown in FIG. 2 with the illustration of an image recording device 11 , and the corresponding edge data are in one bit -Line memory 14 stored, as shown in Fig. 3 showing the detailed structure of the motion detector 6 .
Die reduzierten Randdaten werden auch vom Zeilenspeicher 14 ausgegeben und dann in einem anderen Ein-Bit-Zeilenspeicher 15 gespeichert, der für ein Feld verzögert wird, während vorhergehende Felddaten und andere Randdaten im Zeilenspei cher 14 als derzeitige Felddaten gespeichert werden. Die Bewegung kann durch Kalkulation der Korrelation zwischen den derzeitigen Felddaten aus dem Zeilenspeicher 14 und den vorhergehenden Felddaten aus dem Zeilenspeicher 15 in einem Korrelationskalkulationsteil 16 erfaßt werden. The reduced edge data is also output from the line memory 14 and then stored in another one-bit line memory 15 which is delayed for one field, while previous field data and other edge data are stored in the line memory 14 as current field data. The movement can be detected in a correlation calculation part 16 by calculating the correlation between the current field data from the line memory 14 and the previous field data from the line memory 15 .
Das wie oben beschrieben erlangte Bewegungssignal wird dann in den Speicherregler 10 eingegeben, und dementsprechend wählt der Speicherregler 10 die Reihen- und Spaltenadressen des Pufferspeichers 7, in dem das Bildsignal für den Bild übertragungsbereich zum Ausgleich des erfaßten Bewegungs wertes gespeichert ist, was dazu führt, daß das stabili sierte Bildsignal daraus ausgegeben wird.The motion signal obtained as described above is then input into the memory controller 10 , and accordingly the memory controller 10 selects the row and column addresses of the buffer memory 7 , in which the image signal for the image transmission area is stored to compensate for the detected motion value, which leads to that the stabilized image signal is output therefrom.
Fig. 4 zeigt ein anderes konventionelles Bildstabilisier system. Dieses Stabilisiersystem ist mit einem Bewegungs detektor 22 versehen, der einen Vorfilter 17 zum Extrahie ren der Bandbestandteile eines Eingabebildsignals, einen Speicher 19 mit vorher repräsentativen Daten zur Speiche rung der Bewegungsdaten zwischen jedem Feld, einen Korrela tionskalkulationsteil 20 zur Kalkulation der Korrelation zwischen den Ausgaben des Vorfilters 17 und dem Speicher 19 mit vorher repräsentativen Daten, und eine max. Korrela tions-Sortiereinrichtung 21 aufweist, die an den Ausgang des Korrelationskalkulationsteils 20 zur Erfassung von Be wegungen in vier Quadranten eines Feldes angeschlossen ist. Fig. 4 shows another conventional image stabilization system. This stabilization system is provided with a motion detector 22 which has a pre-filter 17 for extracting the band components of an input image signal, a memory 19 with previously representative data for storing the motion data between each field, a correlation tion calculation part 20 for calculating the correlation between the outputs of the prefilter 17 and the memory 19 with previously representative data, and a max. Correlations sorting device 21 which is connected to the output of the correlation calculation part 20 for detecting movements in four quadrants of a field.
Das Stabilisiersystem ist außerdem mit einem Mikrocomputer 23 zum Empfang der vom Bewegungsdetektor 22 ausgegebenen Bewegungssignale und zur Auswahl eines der Bewegungs signale, das die Bewegung einer Videokamera am besten dar stellt, und einem Feldspeicher 24 zum Ausgleich des Ein gabebildsignals für die Bildbewegung unter Steuerung des Mikrocomputers 23 versehen.The stabilization system is also provided with a microcomputer 23 for receiving the motion signals output from the motion detector 22 and for selecting one of the motion signals which best represents the motion of a video camera, and a field memory 24 for compensating the input image signal for image motion under the control of the microcomputer 23 provided.
Die Funktion des wie oben konstruierten konventionellen Stabilisiersystems wird jetzt erläutert. The function of the conventional as constructed above Stabilizing system will now be explained.
Das Eingabebildsignal wird an den Bewegungsdetektor 22 bzw. an den Feldspeicher 24 angelegt. Im Bewegungsdetektor 22 passiert das Bildsignal den Vorfilter 17, der als Band bestandteil-Extraktionsfilter wirkt, und die Bildbewegung zwischen jedem Feld wird dann unter Anwendung eines reprä sentativen Punktübereinstimmungsverfahrens kalkuliert.The input image signal is applied to the motion detector 22 or to the field memory 24 . In the motion detector 22 , the image signal passes through the pre-filter 17 , which acts as a band component extraction filter, and the image motion between each field is then calculated using a representative point matching method.
Der Vorfilter 17 besteht aus einem in Reihe geschalteten Tiefpaßfilter zur Unterdrückung unnötiger Hochfrequenz bestandteile von Bild- und Störsignalen, und einem Hochpaß filter für den Bildausgleich.The pre-filter 17 consists of a series-connected low-pass filter for suppressing unnecessary high-frequency components of image and interference signals, and a high-pass filter for image compensation.
Die Kalkulation der repräsentativen Punktübereinstimmung wird auch durch Speicherung der Bilddaten an den Stellen von 30 festgelegten, repräsentativen Punkten/Quadrant mit Bezug auf das Bildsignal für ein Feld, das in den Speicher 22 für vorher repräsentative Daten eingegeben ist, kalku liert (siehe Fig. 5A und 5B).The representative point match calculation is also calculated by storing the image data at the locations of 30 representative points / quadrant set with respect to the image signal for a field input to the representative data memory 22 (see FIG. 5A and 5B).
Die entsprechenden Bewegungswerte für die vier Quadranten werden durch den Korrelationskalkulationsteil 20 und die max. Korrelations-Sortiereinrichtung 21 in Übereinstimmung mit der Korrelation zwischen den repräsentativen Werten eines vorherigen Feldes und den Bildsignalwerten eines der zeitigen Feldes erfaßt, und die erfaßten Bewegungswerte werden in den Mikrocomputer 23 eingegeben. Dementsprechend wählt der Mikrocomputer 23 einen der vier eingegebenen Bewegungswerte, der die Bewegung der Videokamera am besten darstellt, und steuert die Auswahl der Adressen der Bild datenwerte, die im Feldspeicher 24 in Übereinstimmung mit dem gewählten Bewegungswert gespeichert sind, so daß die durch Bewegungsausgleich stabilisierten Bilddaten aus dem Feldspeicher 24 ausgegeben werden.The corresponding movement values for the four quadrants are determined by the correlation calculation part 20 and the max. Correlation sorter 21 is detected in accordance with the correlation between the representative values of a previous field and the image signal values of one of the time fields, and the detected movement values are input to the microcomputer 23 . Accordingly, the microcomputer 23 selects one of the four input motion values that best represents the motion of the video camera and controls the selection of the addresses of the image data values stored in the field memory 24 in accordance with the selected motion value so that the image data stabilized by motion compensation are output from the field memory 24 .
Solche konventionellen Bildausgleichs-Systeme haben jedoch folgende Nachteile:However, such conventional image compensation systems have the following disadvantages:
Zwecks genauerer Erfassung der Bewegungsvektoren ist erstens eine erheblich kompliziertere Hardware er forderlich, und wenn die Hardwarekonstruktion ein fach ist, können falsche Bewegungsvektoren erfaßt werden. So kann zum Beispiel das oben beschriebene konventionelle Stabilisiersystem Bewegungen ziemlich genau erfassen, wofür jedoch umfangreiche Hardware zur Kalkulation der Korrelation zwischen jedem von 120 repräsentativen Punkten erforderlich ist.For the purpose of more precise detection of the motion vectors first, he has a much more complicated hardware required and if the hardware design one is wrong, wrong motion vectors can be detected become. For example, the one described above conventional stabilizer system movements pretty much record exactly, but for what extensive hardware to calculate the correlation between each of 120 representative points is required.
Weil die Korrelation mit den Daten an den fest gelegten repräsentativen Punkten kalkuliert wird, muß zweitens damit gerechnet werden, daß das System Punkte mit genaueren Bildinformationen verfehlt.Because the correlation with the data on the fixed representative points are calculated, secondly, it must be expected that the system Missing points with more precise image information.
Es ist eine Aufgabe der vorliegenden Erfindung, ein Bild stabilisiersystem anzugeben, das die Bildbewegung durch Auswahl von 16 variablen repräsentativen Punkten genau erfassen kann.It is an object of the present invention to create an image to specify the stabilizing system that the image movement through Selection of 16 variable representative points exactly can capture.
Zur Erfüllung der obigen Aufgabe umfaßt das Bildstabili
siersystem nach der Erfindung:
einen Analog-Digital-Umsetzer zur Umwandlung eines
Eingabebildsignals in ein digitales Bildsignal;
eine Speicher- und Brennweiten-Verstellungseinrich
tung zur Speicherung des digitalen Bildsignals und
zur Ausführung der Brennweiten-Verstellung mit
Bezug auf das digitale Bildsignal;
eine Bewegungsvektor-Erfassungseinrichtung zur
Erfassung eines Bewegungsvektors durch Erfassung
von Randwerten angrenzender Bildpunkte, und Auswahl
des unter den erfaßten Randwerten besten Randwertes
als Repräsentativwert; und
eine Steuereinrichtung zur Bestimmung, ob eine
erfaßte Bewegung auf Zittern der Hände des Fotogra
fen oder auf Schwenkung der Videokamera in Überein
stimmung mit dem von der Bewegungsvektor-Erfas
sungseinrichtung erfaßten Bewegungsvektor zurückzu
führen ist, und zur Steuerung des in der Speicher-
und Brennweiten-Verstellungseinrichtung gespeicher
ten digitalen Bildsignals, das ausgeglichen werden
muß, wenn ermittelt wurde, daß die erfaßte Bewegung
auf das Zittern der Hände des Fotografen zurückzu
führen ist.To achieve the above object, the image stabilization system according to the invention comprises:
an analog-to-digital converter for converting an input image signal into a digital image signal;
a storage and focal length adjustment device for storing the digital image signal and for performing the focal length adjustment with respect to the digital image signal;
a motion vector detection device for detecting a motion vector by detecting boundary values of adjacent pixels, and selecting the best boundary value among the detected boundary values as a representative value; and
a control device for determining whether a detected movement on trembling of the hands of the photographer or on pivoting of the video camera in accordance with the movement vector detected by the movement vector detection device is to be traced back, and for controlling that in the memory and focal length adjustment device stored digital image signal that must be compensated for when it is determined that the detected movement is due to the trembling of the photographer's hands.
Die obige Aufgabe und andere Merkmale und Vorteile der vor liegenden Erfindung werden durch Beschreibung ihrer bevor zugten Ausführungsform mit Verweis auf die beigefügten Zeichnungen verständlicher; in diesen Zeichnungen sind:The above task and other features and advantages of before invention are described by describing their preferred embodiment with reference to the attached Drawings easier to understand; in these drawings are:
Fig. 1 ein schematisches Blockschaltbild des konventionellen Dualbildstabilisators. Fig. 1 is a schematic block diagram of the conventional dual image stabilizer.
Fig. 2 eine Ansicht zur Erläuterung der Bild signal-Projektion. Fig. 2 is a view for explaining the image signal projection.
Fig. 3 ein schematisches Blockschaltbild des konventionellen Bewegungsdetektors in Fig. 1. Fig. 3 is a schematic block diagram of the conventional motion detector in FIG. 1.
Fig. 4 ein schematisches Blockschaltbild eines anderen konventionellen Bildstabilisier systems. Fig. 4 is a schematic block diagram of another conventional image stabilization system.
Fig. 5 eine Ansicht mit Erklärung der Bewe gungsvektor-Erfassungsbereiche. Fig. 5 is a view explaining the motion vector detection areas.
Fig. 6 ein schematisches Blockschaltbild eines automatischen Bildstabilisiersystems nach der vorliegenden Erfindung. Fig. 6 is a schematic block diagram of an automatic image stabilization system according to the present invention.
Fig. 7A und 7B Ansichten zur Erklärung eines Repräsen tativpunkt-Erfassungsbereichs und eines Suchbereichs zur Erfassung eines Bewe gungsvektors nach der vorliegenden Er findung. FIGS. 7A and 7B are views for explaining a representa tativpunkt detection range and a search range for detecting a supply BEWE vector according to the present invention.
Fig. 8 ein Algorithmus-Diagramm zur Erklärung der Funktion der vorliegenden Erfindung. Fig. 8 is an algorithm diagram for explaining the function of the present invention.
Fig. 9 eine Ansicht zur Erklärung des Brennwei ten-Verstellungsprozesses nach der vor liegenden Erfindung. Fig. 9 is a view for explaining the focus adjustment process according to the prior invention.
Eine Ausführungsform des automatischen Bildstabilisier systems nach der vorliegenden Erfindung ist in Fig. 6 dar gestellt. Das vorliegende Bildstabilisiersystem ist mit einem Analog-Digital (A/D)-Umsetzer 25 zur Umwandlung eines Eingabebildsignals in digitale Bilddaten, einem Bewegungs vektor-Detektor 26 zur Erfassung eines Bewegungsvektors aus den digitalen Bilddaten des A/D-Umsetzers 25, und einem Speicher- und Brennweiten-Verstellungsteil 27 für die Spei cherung der digitalen Bilddaten und die Ausführung der Brennweiten-Verstellung mit Bezug auf die digitalen Bild daten versehen. Das System ist außerdem mit einem Mikro computer 28 zur Ausgabe eines Steuersignals in Überein stimmung mit den Bewegungsvektorinformationen aus dem Bewe gungsvektor-Detektor 26, einer Speichersteuereinheit 29 zur Steuerung der Adressenauswahl der digitalen Bilddaten, die im Speicher- und Brennweiten-Verstellungsteil 27 in Über einstimmung mit dem vom Mikrocomputer 28 eingegebenen Steu ersignal gespeichert sind, und einem Digital-Analog (D/A)-Umsetzer 30 zur Umwandlung der aus dem Speicher- und Brennweiten-Verstellungsteil 27 ausgegebenen digitalen Bilddaten in ein analoges Bildsignal ausgestattet.An embodiment of the automatic image stabilization system according to the present invention is shown in FIG. 6. The present image stabilization system is equipped with an analog-digital (A / D) converter 25 for converting an input image signal into digital image data, a motion vector detector 26 for detecting a motion vector from the digital image data of the A / D converter 25 , and a memory - And focal length adjustment part 27 for the storage of the digital image data and the execution of the focal length adjustment with reference to the digital image data. The system is also provided with a microcomputer 28 for outputting a control signal in accordance with the motion vector information from the motion vector detector 26 , a memory control unit 29 for controlling the address selection of the digital image data in the memory and focal length adjustment part 27 in accordance are stored with the control signal input from the microcomputer 28 , and equipped with a digital-to-analog (D / A) converter 30 for converting the digital image data output from the memory and focal length adjustment part 27 into an analog image signal.
Der Speicher- und Brennweiten-Verstellungsteil 27 in dieser Ausführungsform besteht aus einem Feldspeicher 31 zur Spei cherung der digitalen Bilddaten, und einem Brennweiten-Ver stellprozessor 32 zur Ausführung des digitalen Brennweiten- Verstellprozesses mit Bezug auf die im Feldspeicher 31 gespeicherten digitalen Bilddaten, so daß nur die Brenn weite der Bildteile mit Bewegungsausgleich, die auszugeben und auf dem gesamten Bildschirm darzustellen sind, ver stellt wird. The memory and focal length adjustment part 27 in this embodiment consists of a field memory 31 for storing the digital image data, and a focal length adjustment processor 32 for executing the digital focal length adjustment process with reference to the digital image data stored in the field memory 31 , so that only the focal length of the parts of the picture with motion compensation, which must be output and displayed on the entire screen, is adjusted.
Der Bewegungsvektor-Detektor 26 besteht aus einem Filter 33 zur Entstörung des digitalen Bildsignals aus dem A/D-Umsetzer 25, einem Maskenverarbeitungsteil 34 zur Aus führung eines Maskenbildungsprozesses in spezieller Form, um einen Rand zwischen zwei nebeneinanderliegenden Berei chen zu erfassen, einem Teil 35 zur Erfassung eines vorher repräsentativen Punkts, der an den Maskenverarbeitungsteil 34 angeschlossen ist, zur Bestimmung des repräsentativen Wertes für die Bewegungserfassung, und einem Korrela tionskalkulationsteil 36 zur Berechnung der Korrelation zwischen den Ausgaben des Maskenverarbeitungsteils 34 und des Teils 35 zur Erfassung eines vorher repräsentativen Punkts zur Ausgabe einer Bewegungsinformation.The motion vector detector 26 consists of a filter 33 for interference suppression of the digital image signal from the A / D converter 25 , a mask processing part 34 for executing a mask formation process in a special form in order to detect an edge between two adjacent areas, a part 35 for detecting a previously representative point connected to the mask processing part 34 , for determining the representative value for the motion detection, and a correlation calculation part 36 for calculating the correlation between the outputs of the mask processing part 34 and the part 35 for detecting a previously representative point Output of motion information.
Funktion und Wirkung des wie oben beschrieben konstruierten Bildstabilisiersystems nach der vorliegenden Erfindung wird hiernach ausführlich beschrieben.Function and effect of the constructed as described above Image stabilization system according to the present invention described in detail below.
Das Eingabebildsignal wird durch den A/D-Umsetzer 25 in ein digitales Bildsignal umgewandelt, und das umgewandelte digitale Bildsignal wird dann im Feldspeicher 31 des Spei cher- und Brennweiten-Verstellungsteils 27 gespeichert, und passiert zwecks Entstörung auch den Filter 33 des Bewe gungsvektor-Detektors 26.The input image signal is converted into a digital image signal by the A / D converter 25 , and the converted digital image signal is then stored in the field memory 31 of the memory and focal length adjustment part 27 , and also passes the filter 33 of the motion vector for the purpose of interference suppression. Detector 26 .
Der Filter 33 ist eine Art Tiefpaßfilter nach dem Durch schnittsfilterprinzip, d. h., die durchschnittliche Filter- Koeffizientmatrix mit Bezug auf den Bereich von 3×3 istThe filter 33 is a kind of low-pass filter according to the average filter principle, that is, the average filter coefficient matrix with respect to the range of 3 × 3
Der mittlere Bildpunktwert in einer neu ausgegebenen Bild matrix istThe average pixel value in a newly output image matrix is
(f1,1×P1,1) + (f2,1×P2,1) + . . . + (f3,3×P3,3),(f 1.1 × P 1.1 ) + (f 2.1 × P 2.1 ) +. . . + (f 3.3 × P 3.3 ),
wobei fi,j eine Koeffizientmatrix und Pi,j Eingabebilddaten sind.where f i, j is a coefficient matrix and P i, j is input image data.
Die aus dem Filter 33 ausgegebenen Bilddaten werden in den Maskenverarbeitungsteil 34 eingegeben und passieren eine Maske in spezieller Form zum Erzielen eines repräsentativen Punktwertes. Somit gibt der Maskenverarbeitungsteil 34 einen resultierenden Rand aus, der zur Erfassung des reprä sentativen Punkts in jedem definierten Bereich, wie in Fig. 7 gezeigt, eine wichtige Information darstellt. Der Wert, der sich aus der Addition der nebeneinanderliegenden Bildpunktwerte in horizontalen und vertikalen Richtungen mit dem Luminanzdifferenzwert ergibt, wird als Randwert festgelegt.The image data output from the filter 33 are input into the mask processing part 34 and pass through a mask in a special form to achieve a representative point value. Thus, the mask processing part 34 outputs a resultant margin, which is important information for detecting the representative point in each defined area, as shown in FIG. 7. The value that results from the addition of the adjacent pixel values in horizontal and vertical directions with the luminance difference value is specified as the boundary value.
Der wie oben beschrieben erlangte Randwert wird in den Teil 35 zur Erfassung vorher repräsentativer Punkte eingegeben und zur Bestimmung des repräsentativen Punktwertes für die Bewegungserfassung verwendet. Der Punkt mit dem größten Randwert in den 16 Teilbereichen des Eingabebildes wird als repräsentativer Punkt bestimmt (siehe Beispiel in Fig. 7A). Die Räume zwischen den 16 Teilbereichen sind zur Ver hinderung von Datenredundanz zwischen nebeneinander liegenden Teilen in diesen Bereichen während der Suche nach Bewegungserfassung bestimmt.The boundary value obtained as described above is entered in the part 35 for the detection of previously representative points and used for determining the representative point value for the movement detection. The point with the largest boundary value in the 16 partial areas of the input image is determined as a representative point (see example in FIG. 7A). The spaces between the 16 partial areas are intended to prevent data redundancy between adjacent parts in these areas during the search for motion detection.
Der repräsentative Punkt der vorherigen Blende, der aus dem Teil 35 zur Erfassung des vorherigen repräsentativen Punkts ausgegeben wird, und die vom Maskenverarbeitungsteil 34 ausgegebenen Randdaten der derzeitigen Blende werden in den Korrelationskalkulationsteil 36 eingegeben, und die Korre lation zwischen dem repräsentativen Punkt und dem Randwert eines Suchbereichs um jeden der 16 repräsentativen Punkte wird im Korrelationskalkulationsteil 36 errechnet (siehe Darstellung in Fig. 7B). Die errechneten Korrelationswerte mit Bezug auf die 16 Teilbereiche werden addiert, und der daraus resultierende kleinste Stellungsvektor wird als Bewegungsinformation in den Mikrocomputer 28 ausgegeben.The representative point of the previous aperture output from the previous representative point detection part 35 and the edge data of the current aperture output from the mask processing part 34 are input to the correlation calculation part 36 , and the correlation between the representative point and the boundary value of one Search area around each of the 16 representative points is calculated in the correlation calculation part 36 (see illustration in FIG. 7B). The calculated correlation values with respect to the 16 partial areas are added, and the resulting smallest position vector is output as motion information in the microcomputer 28 .
Die Funktion des Mikrocomputers 28 wird jetzt mit Verweis auf Fig. 8 erklärt.The function of the microcomputer 28 will now be explained with reference to FIG. 8.
In Schritt S1 wird der Bewegungswert (i,j), welcher der Bewegungsvektor ist, der durch Anwendung der Korrelation zwischen jedem vom Bewegungsvektor-Detektor 26 erfaßten repräsentativen Punkt erlangt wird, als aus 10 Rahmen extrahierte Bewegungsinformationen gespeichert.In step S1, the motion value (i, j), which is the motion vector obtained by applying the correlation between each representative point detected by the motion vector detector 26 , is stored as motion information extracted from 10 frames.
In Schritt S2 wird unterschieden, ob die erfaßten Bewe gungsinformationen korrekt oder falsch sind. Wenn die erfaßten Informationen als falsch unterschieden werden, wird der Bewegungswert des derzeitigen Bildes als derjenige des vorherigen Bildes in Schritt 3 bestimmt, wenn anderer seits die erfaßten Informationen korrekt sind, wird der Bewegungswert des derzeitigen Bildes als der in Schritt 4 erfaßte Bewegungswert bestimmt.A distinction is made in step S2 as to whether the detected movements information is correct or incorrect. If the recorded information are distinguished as wrong, becomes the movement value of the current image as that the previous image in step 3 determines if other Since the information collected is correct, the Motion value of the current image than that in step 4 determined movement value determined.
In Schritt S5 wird die Schwenkungsunterscheidung mit Bezug auf jeden der 10 ermittelten und dann in den Schritten S3 und S4 gespeicherten Bewegungsvektoren ausgeführt. Wenn die Bewegung auf die Schwenkung der Videokamera durch den Foto grafen zurückzuführen ist, wird der Bewegungsvektorwert in Schritt 7 auf "0" eingestellt; wenn andererseits die Bewe gung auf das Zittern der Hände des Fotografen zurückzufüh ren ist, wird der Bewegungsvektorwert in Schritt 8 auf den erfaßten Wert eingestellt.In step S5, the swing discrimination is related on each of the 10 determined and then in steps S3 and S4 stored motion vectors executed. If the Movement on the panning of the video camera through the photo is due to count, the motion vector value is in Step 7 set to "0"; on the other hand if the movement due to the trembling of the photographer's hands ren, the motion vector value is changed to the in step 8 recorded value set.
In Schritt S9 wird das Bild in Übereinstimmung mit dem bei der Schwenkungsunterscheidung eingestellten Bewegungs vektorwert integriert, und dann so ausgeglichen, daß das Bild auf dem Bildschirm zentriert ist.In step S9, the image is made in accordance with that at the movement differentiation set vector value integrated, and then balanced so that the Image is centered on the screen.
Dementsprechend gibt der Mikrocomputer 28 den kompensierten Wert in den Speicherregler 29 aus, und der Speicherregler 29 steuert die Positionen der Adressen des Feldspeichers 31 in Übereinstimmung mit dem kompensierten Wert.Accordingly, the microcomputer 28 outputs the compensated value into the memory controller 29 , and the memory controller 29 controls the positions of the addresses of the field memory 31 in accordance with the compensated value.
Der Brennweiten-Verstellprozessor 32 führt den digitalen Brennweiten-Verstellprozeß mit Bezug auf die vom Feld speicher 31 ausgegebenen Bilddaten so aus, daß nur die bewegungskompensierten Bildteile ausgegeben und auf dem Bildschirm dargestellt werden. Die vom Brennweiten-Ver stellprozessor 32 in der Brennweite verstellten Bilddaten werden vom D/A-Umsetzer 30 in ein analoges Bildsignal umge wandelt.The focal length adjustment processor 32 executes the digital focal length adjustment process with reference to the image data output from the field memory 31 such that only the motion-compensated image parts are output and displayed on the screen. The image data adjusted by the focal length adjustment processor 32 in the focal length are converted by the D / A converter 30 into an analog image signal.
Mit dem Vorhergehenden können nach der vorliegenden Erfin dung mit ihrer einfachen Hardware-Konstruktion genauere Bewegungsinformationen erfaßt, und somit verwackelte Bilder infolge des Zitterns der Hände des Fotografen kompensiert und ein stabilisiertes Bild erzielt werden.With the foregoing, according to the present invention with their simple hardware construction more precise Movement information captured, and thus blurred images compensated for by the trembling of the photographer's hands and a stabilized image can be obtained.
Claims (3)
Einem Analog-Digital-Umsetzer zur Umwandlung eines Ein gabebildsignals in ein digitales Bildsignal;
einer Speicher- und Brennweiten-Verstelleinrichtung zur Speicherung des digitalen Bildsignals und zur Ausführung des Brennweiten-Verstellprozesses mit Bezug auf das digitale Bildsignal;
einer Bewegungsvektor-Erfassungseinrichtung zur Erfas sung eines Bewegungsvektors durch Erfassung von Rand werten nebeneinanderliegender Bildpunkte, und zur Aus wahl des besten Randwertes unter den erfaßten Rand werten als repräsentativer Wert; und
einer Steuereinheit zur Bestimmung, ob eine erfaßte Bewegung auf das Zittern der Hände des Fotografen oder das Schwenken der Videokamera in Übereinstimmung mit dem von der Bewegungsvektor-Erfassungseinrichtung erfaßten Bewegungsvektor zurückzuführen ist, und zur Steuerung des in der Speicher- und Brennweiten-Ver stelleinrichtung gespeicherten digitalen Bildsignals, das kompensiert werden muß, wenn festgestellt wird, daß die erfaßte Bewegung auf das Zittern der Hände des Fotografen zurückzuführen ist.1. Image stabilization system for a camcorder, consisting of:
An analog-to-digital converter for converting an input image signal into a digital image signal;
a memory and focal length adjustment device for storing the digital image signal and for executing the focal length adjustment process with reference to the digital image signal;
a motion vector detection device for detecting a motion vector by detecting edge values of adjacent pixels, and for selecting the best edge value from the detected edge values as a representative value; and
a control unit for determining whether a detected movement is due to the trembling of the hands of the photographer or the panning of the video camera in accordance with the movement vector detected by the movement vector detection device and for controlling the digital stored in the storage and focal length adjustment device Image signal that must be compensated for if it is determined that the motion detected is due to the trembling of the photographer's hands.
einen Feldspeicher zur Speicherung des digitalen Bild signals aus dem Analog-Digital-Umsetzer; und
einen Brennweiten-Verstellprozessor zur Ausführung des digitalen Brennweiten-Verstellprozesses mit Bezug auf das im Feldspeicher gespeicherte digitale Bildsignal derart, daß nur die Brennweite der auf dem gesamten Bildschirm darzustellenden, bewegungskompensierten Bildteile verstellt wird.2. Image stabilization system according to claim 1, wherein the storage and focal length adjustment device includes:
a field memory for storing the digital image signal from the analog-to-digital converter; and
a focal length adjustment processor for executing the digital focal length adjustment process with reference to the digital image signal stored in the field memory in such a way that only the focal length of the motion-compensated image parts to be displayed on the entire screen is adjusted.
Einen Filter zur Beseitigung von Störgeräuschen aus dem digitalen Bildsignal vom Analog-Digital-Umsetzer;
eine an den Ausgang des Filters angeschlossene Masken verarbeitungs-Einrichtung zur Ausführung der Maskenver arbeitung zwecks Erfassung eines Randes zwischen zwei nebeneinanderliegenden Bereichen;
eine Einrichtung zur Erfassung eines vorher repräsenta tiven Punkts, die an die Maskenverarbeitungs-Einrich tung angeschlossen ist, zur Bestimmung eines repräsen tativen Wertes für die Bewegungserfassung; und
eine Korrelations-Kalkulationseinrichtung zur Kalkula tion der Korrelation zwischen den Ausgaben der Masken verarbeitungs-Einrichtung und der Einrichtung zur Erfassung eines vorher repräsentativen Punkts zwecks Ausgabe von Bewegungsinformationen.3. The image stabilization system according to claim 1, wherein the motion vector detecting means includes:
A filter for eliminating noise from the digital image signal from the analog-to-digital converter;
a mask processing device connected to the output of the filter for executing the mask processing for the purpose of detecting an edge between two adjacent areas;
means for detecting a previously representative point connected to the mask processing device for determining a representative value for the motion detection; and
a correlation calculating means for calculating the correlation between the outputs of the mask processing means and the means for detecting a previously representative point for outputting motion information.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019920024913A KR960014831B1 (en) | 1992-12-21 | 1992-12-21 | Auto-image stabilization device of camcoder |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| DE4343698A1 true DE4343698A1 (en) | 1994-06-23 |
| DE4343698C2 DE4343698C2 (en) | 1995-07-27 |
Family
ID=19346108
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE4343698A Expired - Fee Related DE4343698C2 (en) | 1992-12-21 | 1993-12-21 | Image stabilization system for a video camera |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JPH0750771A (en) |
| KR (1) | KR960014831B1 (en) |
| DE (1) | DE4343698C2 (en) |
| GB (1) | GB2275842B (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19654573B4 (en) * | 1995-12-28 | 2007-05-16 | Samsung Electronics Co Ltd | Image stabilization circuit for a camcorder |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08186756A (en) * | 1994-12-28 | 1996-07-16 | Philips Japan Ltd | Camera shake detector |
| DE19536691B4 (en) * | 1995-09-30 | 2008-04-24 | Bts Holding International B.V. | Method and device for correcting image frame errors in television filming |
| GB2307371B (en) * | 1995-11-13 | 1997-10-01 | Secr Defence | Image stabilisation system |
| GB2307133A (en) * | 1995-11-13 | 1997-05-14 | Secr Defence | Video camera image stabilisation system |
| JP2964971B2 (en) * | 1997-01-24 | 1999-10-18 | 日本電気株式会社 | Pull-up circuit and pull-down circuit |
| DE19909627A1 (en) * | 1999-03-05 | 2000-09-07 | Bosch Gmbh Robert | Method and device for determining a shift of images of an image sequence |
| JP2001268521A (en) * | 2000-03-15 | 2001-09-28 | Sony Corp | Video recording and reproducing device and method |
| JP2004229002A (en) * | 2003-01-23 | 2004-08-12 | Sony Corp | Image pickup device |
| JP5499039B2 (en) * | 2008-09-22 | 2014-05-21 | フリーダム サイエンティフィック インコーポレイテッド | System and method for imaging an object |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2220319B (en) * | 1988-07-01 | 1992-11-04 | Plessey Co Plc | Improvements in or relating to image stabilisation |
| JPH05130484A (en) * | 1991-11-05 | 1993-05-25 | Sanyo Electric Co Ltd | Field angle correction circuit for video camera with hand blur correction function |
-
1992
- 1992-12-21 KR KR1019920024913A patent/KR960014831B1/en not_active IP Right Cessation
-
1993
- 1993-12-21 DE DE4343698A patent/DE4343698C2/en not_active Expired - Fee Related
- 1993-12-21 GB GB9326006A patent/GB2275842B/en not_active Expired - Fee Related
- 1993-12-21 JP JP5322708A patent/JPH0750771A/en not_active Withdrawn
Non-Patent Citations (4)
| Title |
|---|
| In: SMPTE Journal, February 1992, S. 66-75 * |
| ISHILL, Hirofumi: Electronics Image Stabilization System for Video Cameras and VCRs * |
| MORIMURA, Atsushi * |
| UOMORI, Kenya * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19654573B4 (en) * | 1995-12-28 | 2007-05-16 | Samsung Electronics Co Ltd | Image stabilization circuit for a camcorder |
Also Published As
| Publication number | Publication date |
|---|---|
| DE4343698C2 (en) | 1995-07-27 |
| GB2275842A (en) | 1994-09-07 |
| KR940017740A (en) | 1994-07-27 |
| JPH0750771A (en) | 1995-02-21 |
| KR960014831B1 (en) | 1996-10-21 |
| GB9326006D0 (en) | 1994-02-23 |
| GB2275842B (en) | 1996-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE69435031T2 (en) | Motion compensation for a reproduced image signal | |
| DE69120341T2 (en) | Control device for optical photographic system | |
| DE68928126T2 (en) | Device for detecting picture tremors | |
| DE68928999T2 (en) | BROAD DYNAMIC CAMERA | |
| DE69123926T2 (en) | System for correcting camera shake | |
| DE69326394T2 (en) | Video camera with color-based tracking system | |
| DE68929448T2 (en) | Automatic image stabilization device | |
| DE69930986T2 (en) | High resolution camera | |
| DE69219093T2 (en) | Video camera with zoom function | |
| DE102018107950B4 (en) | IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND IMAGE CAPTURE DEVICE | |
| DE69426428T2 (en) | Object tracking device | |
| DE69930176T2 (en) | Apparatus for automatically and adaptively controlling the playback speed of motion video images and control methods therefor | |
| DE19782037C2 (en) | Method and device for creating a composite image | |
| DE69733978T2 (en) | image data interpolating | |
| DE69322423T2 (en) | Device for the detection of motion vectors | |
| DE69128163T2 (en) | Image pickup device with a camera vibration detection function | |
| DE68921840T2 (en) | Image acquisition and processing device. | |
| DE102018101035B4 (en) | IMAGE STABILIZATION DEVICE AND CONTROL METHOD THEREFOR, IMAGE CAPTURE DEVICE AND STORAGE MEDIUM | |
| DE69426175T2 (en) | Processing device for tracking a video signal | |
| DE102011056975A1 (en) | Digital image stabilization | |
| DE19654573A1 (en) | Image stabilisation circuit with charge-coupled device | |
| DE112008002819T5 (en) | Autofocus imaging system | |
| DE69225273T2 (en) | Image compression associated with correction of camera jitter | |
| DE4343698A1 (en) | Automatic image stabilization system for a camcorder | |
| DE19536691B4 (en) | Method and device for correcting image frame errors in television filming |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| OP8 | Request for examination as to paragraph 44 patent law | ||
| D2 | Grant after examination | ||
| 8364 | No opposition during term of opposition | ||
| 8328 | Change in the person/name/address of the agent |
Free format text: DERZEIT KEIN VERTRETER BESTELLT |
|
| 8328 | Change in the person/name/address of the agent |
Free format text: ANDREJEWSKI UND KOLLEGEN, 45127 ESSEN |
|
| 8339 | Ceased/non-payment of the annual fee |