DE4343698C2

DE4343698C2 - Image stabilization system for a video camera

Info

Publication number: DE4343698C2
Application number: DE4343698A
Authority: DE
Inventors: Han Chung; Ho Sang Park; Young Man Kim; Seung Pyo Hong; Kee Won Kim
Original assignee: Gold Star Co Ltd
Current assignee: LG Electronics Inc
Priority date: 1992-12-21
Filing date: 1993-12-21
Publication date: 1995-07-27
Anticipated expiration: 2013-12-22
Also published as: GB9326006D0; GB2275842B; KR940017740A; DE4343698A1; GB2275842A; KR960014831B1; JPH0750771A

Description

Die Erfindung betrifft ein Bildstabilisierungssystem für eine Videokamera bzw. einen Camcorder, das Bildver wackelungen infolge zitternder Hände einer Person während einer Aufnahme automatisch ausgleichen kann.The invention relates to an image stabilization system for a video camera or camcorder, the image ver wobble due to trembling hands during a person can automatically compensate for a recording.

Ein bekannter Doppelbildstabilisator für einen Camcorder ist mit einem Bildaufnahmeteil, das in einen Blendenbereich, einen Bildübertragungsbereich und einen Restbereich zur Aufnahme des Bildsignals für den Bildübertragungsbereich aufgeteilt ist, einem Signalprozessor für die Verarbeitung des Ausgabesignals des Aufnahmeteils, einem Bewegungs detektor für die Erfassung der Bewegung von Bildern aus dem Ausgabesignal des Signalprozessors und für die Ausgabe des erfaßten Bewegungssignals in Vorwärts- und Feedbackrich tungen und einem an den Ausgang des Signalprozessors angeschlossenen Pufferspeicher zur Speicherung des Bild signals für den Bildübertragungsbereich ausgerüstet. Der Stabilisator ist außerdem mit einer Steuereinheit für den Bildübertragungsbereich zur Aufnahme des Bewegungssignals in Feedbackrichtung vom Bewegungsdetektor und zur Steuerung des Bildübertragungsbereichs, einem Aufnahmeteiltreiber zur Ausführung kurzzeitigen Bewegungsausgleichs durch Verän derung des Bildübertragungsbereichs unter Steuerung der Steuereinheit für den Bildübertragungsbereich und einem Speicherregler zur Aufnahme der Bewegungssignale in Vor wärtsrichtung vom Bewegungsdetektor und zur Steuerung des Pufferspeichers zum Ausgleich des Bildsignals für den im Pufferspeicher gespeicherten Bildübertragungsbereich ver sehen. Die Funktion dieses Stabilisators ist wie folgt: Zuerst werden die vom Bildaufnahmeteil ausgegebenen Bild signale für den Bildübertragungsbereich vom Signalprozessor verarbeitet und dann im Pufferspeicher gespeichert. Gleich zeitig empfängt der Bewegungsdetektor das Ausgangssignal des Signalprozessors und führt eine Korrelationskalkulation durch, um die Bewegung der Bilder zu erfassen. In Überein stimmung mit der Korrelationskalkulation werden zwei dimensionale, vertikale und horizontale Randsignale des Bildes auf eindimensionale Randdaten projiziert bzw. reduziert und die entsprechenden Randdaten werden in einem Ein-Bit-Zeilenspeicher gespeichert. Die reduzierten Rand daten werden auch vom Zeilenspeicher ausgegeben und dann in einem anderen Ein-Bit-Zeilenspeicher gespeichert, der für ein Feld verzögert wird, während vorhergehende Felddaten und andere Randdaten im Zeilenspeicher als derzeitige Felddaten gespeichert werden. Die Bewegung kann durch Kalkulation der Korrelation zwischen den derzeitigen Felddaten aus dem erstgenannten Zeilenspeicher und den vorhergehenden Feld daten aus dem anderen Zeilenspeicher in einem Korrelations kalkulationsteil erfaßt werden. Das wie oben beschrieben erlangte Bewegungssignal wird dann in den Speicherregler eingegeben und dementsprechend wählt der Speicherregler die Reihen- und Spaltenadressen des Pufferspeichers, in dem das Bildsignal für den Bildübertragungsbereich zum Ausgleich des erfaßten Bewegungswertes gespeichert ist, was dazu führt, daß das stabilisierte Bildsignal aus diesem ausgegeben wird.A known double image stabilizer for a camcorder is with an image recording part that is in an aperture area, an image transfer area and a remaining area for Recording the image signal for the image transmission area is divided, a signal processor for processing the output signal of the recording part, a movement detector for detecting the movement of images from the Output signal of the signal processor and for the output of the detected motion signal in forward and feedback direction lines and one to the output of the signal processor connected buffer memory for storing the image signals equipped for the image transmission area. Of the Stabilizer is also equipped with a control unit for the Image transmission area for recording the motion signal in Feedback direction from the motion detector and to control the Image transmission area, a recording part driver for Execution of short-term movement compensation through changes Change the image transmission area under the control of Control unit for the image transmission area and one Memory controller for recording the motion signals in Vor downward direction from the motion detector and to control the Buffer memory to compensate for the image signal for the im Buffer memory stored image transfer area ver see. The function of this stabilizer is as follows: First, the image output from the image pickup part Signals for the image transmission area from the signal processor processed and then stored in the buffer memory. Soon the motion detector receives the output signal of the Signal processor and performs a correlation calculation through to capture the movement of the images. In agreement the correlation calculation becomes two dimensional, vertical and horizontal edge signals of the Image projected onto one-dimensional boundary data or reduced and the corresponding marginal data are combined in one One-bit line memory saved. The reduced edge data is also output from the line memory and then in another one-bit line memory stored for a field is delayed while previous field data and other edge data in the line memory than current field data get saved. The movement can be calculated by Correlation between the current field data from the first mentioned line memory and the previous field data from the other line memory in a correlation calculation part can be recorded. That as described above obtained motion signal is then in the storage controller entered and accordingly the storage controller selects the Row and column addresses of the buffer memory in which the Image signal for the image transmission area to compensate for the recorded movement value is stored, which leads to that the stabilized image signal is output therefrom.

Ein anderes bekanntes Bildstabilisierungssystem ist mit einem Bewegungsdetektor versehen, der einen Vorfilter zu Extrahieren der Bandbestandteile eines Eingabesignals, einen Speicher mit vorher repräsentativen Daten zur Speicherung der Bewegungsdaten zwischen jedem Feld, einen Korrelations kalkulationsteil zur Kalkulation der Korrelation zwischen den Ausgaben des Vorfilters und dem Speicher mit vorher repräsentativen Daten, und eine Maximumkorrelations-Sortier einrichtung aufweist, die an den Ausgang des Korrelations kalkulationsteils zur Erfassung von Bewegungen in vier Quadranten eines Feldes angeschlossen ist. Das Stabilisier system ist außerdem mit einem Mikrocomputer zum Empfang der vom Bewegungsdetektor ausgegebenen Bewegungssignale und zur Auswahl eines der Bewegungssignale, das die Bewegung einer Videokamera am besten darstellt, und einem Feldspeicher zum Ausgleich des Eingabesignals für die Bildbewegung unter Steuerung des Mikrocomputers versehen. Bei diesem Stabili sierungsystem wird das Eingabesignal an den Bewegungs detektor bzw. an den Feldspeicher angelegt. Im Bewegungs detektor passiert das Bildsignal den Vorfilter, der als Bandbestandteil-Extraktionsfilter wirkt, und die Bild bewegung zwischen jedem Feld wird dann unter Anwendung eines repräsentativen Punktübereinstimmungsverfahrens kalkuliert. Der Vorfilter besteht aus einem in Reihe geschalteten Tiefpaßfilter zur Unterdrückung unnötiger Hochfrequenz bestandteile von Bild- und Störsignalen und einem Hochpaß filter für den Bildausgleich. Die Kalkulation der repräsentativen Punktübereinstimmung wird auch durch Speicherung der Bilddaten an den Stellen von dreißig fest gelegten, repräsentativen Punkten/Quadrant mit Bezug auf das Bildsignal für ein Feld, das in den Speicher für vorher repräsentative Daten eingegeben ist, kalkuliert. Die ent sprechenden Bewegungswerte für die vier Quadranten werden durch den Korrelationskalkulationsteil und die Maximum korrelations-Sortiereinrichtung in Übereinstimmung mit der Korrelation zwischen den repräsentativen Werten eines vorherigen Feldes und den Bildsignalwerten eines derzeitigen Feldes erfaßt und die erfaßten Bewegungswerte werden in den Mikrocomputer eingegeben. Dementsprechend wählt der Mikro computer einen der vier eingegebenen Bewegungswerte, der die Bewegung der Videokamera am besten darstellt, und steuert die Auswahl der Adressen der Bilddatenwerte, die im Feld speicher in Übereinstimmung mit dem gewählten Bewegungswert gespeichert sind, so daß die durch Bewegungsausgleich stabilisierten Bilddaten aus dem Feldspeicher ausgegeben werden.Another known image stabilization system is with provided with a motion detector that closes a pre-filter Extract the band components of an input signal, one Memory with previously representative data for storage the movement data between each field, a correlation calculation part for calculating the correlation between the output of the pre-filter and the memory with before representative data, and a maximum correlation sort has device connected to the output of the correlation calculation part for recording movements in four Quadrant of a field is connected. The stabilizer system is also equipped with a microcomputer to receive the motion signals output by the motion detector and to Selection of one of the motion signals that indicate the motion of a Video camera best represents, and a field memory for Compensation of the input signal for the image movement under Control of the microcomputer provided. With this stabilizer system is the input signal to the movement detector or applied to the field memory. In motion the image signal passes through the prefilter, which acts as a Tape component extraction filter works, and the picture Movement between each field is then applied using a representative point matching procedure calculated. The pre-filter consists of a series connected Low pass filter to suppress unnecessary high frequency Components of image and interference signals and a high pass image balance filter. The calculation of the representative point match is also through Storage of image data at the locations of thirty fixed representative points / quadrant with respect to the Image signal for a field that is in memory for before representative data is entered, calculated. The ent speaking motion values for the four quadrants through the correlation calculation part and the maximum correlation sorting device in accordance with the Correlation between the representative values of a previous field and the image signal values of a current one Fields recorded and the movement values recorded are in the Microcomputer entered. The micro chooses accordingly computer one of the four entered movement values, which the Video camera movement best represents and controls the selection of the addresses of the image data values in the field store in accordance with the selected movement value are stored so that the movement compensation stabilized image data output from the field memory become.

Solche konventionellen Bildausgleichs-Systeme haben jedoch folgende Nachteile: Zwecks genauerer Erfassung der Bewegungsvektoren ist erstens eine erheblich aufwendigere Hardware erforderlich; wenn die Hardwarekonstruktion einfach ist, können falsche Bewegungsvektoren erfaßt werden. So kann z. B. das oben beschriebene konventionelle Stabilisiersystem Bewegungen ziemlich genau erfassen, wofür jedoch umfang reiche Hardware zur Kalkulation der Korrelation zwischen jedem von einhundertzwanzig repräsentativen Punkten erforderlich ist. Weil die Korrelation mit den Daten an den festgelegten repräsentativen Punkten kalkuliert wird, muß zweitens damit gerechnet werden, daß das System Punkte mit genaueren Bildinformationen verfehlt. However, such conventional image compensation systems have The following disadvantages: For a more precise recording of the First of all, motion vectors are considerably more complex Hardware required; if the hardware design is simple wrong motion vectors can be detected. So can e.g. B. the conventional stabilization system described above Capture movements fairly accurately, but for what extensive rich hardware to calculate the correlation between each of one hundred and twenty representative points is required. Because the correlation with the data on the specified representative points must be calculated secondly, it can be expected that the system will score points with more precise image information is missing.

Bei einem weiteren bekannten Bildstabilisierungssystem (SMPTE Journal, Februar 1992, Seiten 66 bis 75) werden Bewegungsvektoren erfaßt, indem der Bildpunkt - bzw. Luminanzwert des repräsentativen Punktes eines jeden Bewegungsvektor-Erfassungsbereichs in dem vorherigen Bild mit demjenigen im gegenwärtigen Bild verglichen und eine Korrelation zwischen allen repräsentativen Punkten des vorherigen und des gegenwärtigen Bildes ermittelt wird. Der Ort des repräsentativen Punktes in jedem Bewegungsvektor- Erfassungsbereich ist fest vorgegeben, was die Genauigkeit der Bewegungserfassung beeinträchtigt. Bezogen auf jedes Feldbild werden vier Bewegungsvektor-Erfassungsbereiche, von denen jeder dreißig Bewegungsvektor-Erfassungsflächen hat, bestimmt; einer der Bewegungsvektor-Erfassungsbereiche wird ausgewählt, so daß die Bewegungsvektor-Erfassung nur in dem ausgewählten Bereich durchgeführt wird, um den Rechen- und Hardwareaufwand zu verringern.In another known image stabilization system (SMPTE Journal, February 1992, pages 66 to 75) Motion vectors detected by the pixel - or Luminance value of the representative point of each Motion vector detection area in the previous image compared to that in the current picture and one Correlation between all representative points of the previous and current image is determined. Of the Location of the representative point in each motion vector Detection area is fixed, what the accuracy the movement detection impaired. Relating to everyone Field image will have four motion vector detection areas, from each of which has thirty motion vector detection areas certainly; becomes one of the motion vector detection areas selected so that the motion vector detection only in that selected area is carried out to the arithmetic and Reduce hardware costs.

Es ist Aufgabe der vorliegenden Erfindung, ein Bild stabilisierungssystem anzugeben, das die Bildbewegung durch Auswahl von wenigen variablen repräsentativen Punkten genau erfassen kann.It is an object of the present invention to provide an image stabilization system to specify the image movement through Selection of a few variable representative points exactly can capture.

Zur Erfüllung der obigen Aufgabe umfaßt das Bildstabi lisierungssystem nach der Erfindung die im Patentanspruch l genannten Merkmale. Vorteilhafte Ausgestaltungen ergeben sich aus den Patentansprüchen 2 und 3.To accomplish the above task, the image stabilizer includes lization system according to the invention which in claim l mentioned features. Advantageous refinements result themselves from the patent claims 2 and 3.

Beim erfindungsgemäßen Bildstabilisierungssystem werden die Bewegungsvektoren durch einen einfachen Hardwareaufbau genauer erfaßt, indem eine Mehrzahl von Bewegungsvektor-Er fassungsflächen bezogen auf ein Gesamtbild festgelegt werden, und zu jedem Bild ein optimaler repräsentativer Punkt einer jeden Bewegungsvektor-Erfassungsfläche ermittelt wird, der den höchsten Kantenwert unter den in der Bewegungsvektor-Erfassungsfläche erfaßten Kantenwerten auf weist. Insoweit ist auch eine Vergrößerung des Hardwareauf wandes nicht erforderlich.In the image stabilization system according to the invention, the Motion vectors through a simple hardware structure captured more accurately by a plurality of motion vector Er frame areas based on an overall picture become an optimal representative for each picture Point of each motion vector detection area determined which has the highest edge value below that in the Motion vector detection area detected edge values points. In this respect, the hardware is also enlarged wall not required.

Im folgenden wird die Erfindung anhand einer Zeichnung näher erläutert; es zeigenIn the following the invention will be described in more detail with reference to a drawing explained; show it

Fig. 1 ein schematisches Blockschaltbild eines auto matischen Bildstabilisierungssystems, Fig. 1 is a schematic block diagram of an auto matic image stabilization system,

Fig. 2A und 2B Ansichten zur Erklärung eines Repräsentativ punkt-Erfassungsbereichs und eines Suchbereichs zur Erfassung eines Bewegungsvektors, Fig. 2A and 2B are views for explaining a representative-point detecting area and a search range for detecting a motion vector,

Fig. 3 ein Algorithmus-Diagramm zur Erklärung der Funktion und Fig. 3 is an algorithm diagram for explaining the function and

Fig. 4 eine Ansicht zur Erklärung des Brennweiten-Ver stellungsprozesses. Fig. 4 is a view for explaining the focal length adjustment process.

Das Bildstabilisierungssystem ist mit einem Analog/Digital (A/D)-Umsetzer 25 zur Umwandlung eines Eingabebildsignals in digitale Bilddaten, einer Bewegungsvektor-Erfassungseinrich tung 26 zur Erfassung eines Bewegungsvektors aus den digitalen Bilddaten des A/D-Umsetzers 25 und einem Speicher- und Brennweiten-Verstellungsteil 27 für die Speicherung der digitalen Bilddaten und die Ausführung der Brennweiten-Ver stellung mit Bezug auf die digitalen Bilddaten versehen. Das System ist außerdem mit einem Mikrocomputer 28 zur Ausgabe eines Steuersignals in Übereinstimmung mit den Bewegungs vektorinformationen aus der Bewegungsvektor-Erfassungsein richtung 26, einer Speichersteuereinheit 29 zur Steuerung der Adressenauswahl der digitalen Bilddaten, die im Speicher- und Brennweiten-Verstellungsteil 27 in Überein stimmung mit dem vom Mikrocomputer 28 eingegebenen Steuer signal gespeichert sind, und einem Digital/Analog(D/A)-Um setzer 30 zur Umwandlung der aus dem Speicher- und Brenn weiten-Verstellungsteil 27 ausgegebenen digitalen Bilddaten in ein analoges Bildsignal ausgestattet.The image stabilization system is equipped with an analog / digital (A / D) converter 25 for converting an input image signal into digital image data, a motion vector detection device 26 for detecting a motion vector from the digital image data of the A / D converter 25 and a memory and Focal length adjustment part 27 for storing the digital image data and executing the focal length adjustment with reference to the digital image data. The system is also provided with a microcomputer 28 for outputting a control signal in accordance with the motion vector information from the motion vector detection means 26 , a memory control unit 29 for controlling the address selection of the digital image data which is in agreement with the memory and focal length adjustment part 27 the control signal input from the microcomputer 28 are stored, and a digital / analog (D / A) converter 30 for converting the digital image data output from the memory and focal length adjustment part 27 into an analog image signal.

Der Speicher- und Brennweiten-Verstellungsteil 27 besteht aus einem Feldspeicher 31 zur Speicherung der digitalen Bilddaten, und einem Brennweiten-Verstellprozessor 32 zur Ausführung des digitalen Brennweitenverstellprozesses mit Bezug auf die im Feldspeicher 31 gespeicherten digitalen Bilddaten, so daß nur die Brennweite der Bildteile mit Bewegungsausgleich, die aus zugeben und auf dem gesamten Bildschirm darzustellen sind, verstellt wird.The memory and focal length adjustment part 27 consists of a field memory 31 for storing the digital image data, and a focal length adjustment processor 32 for executing the digital focal length adjustment process with reference to the digital image data stored in the field memory 31 , so that only the focal length of the image parts with motion compensation which are to be admitted and displayed on the entire screen.

Die Bewegungsvektor-Erfassungseinrichtung 26 besteht aus einem Filter 33 zur Entstörung des digitalen Bildsignals aus dem A/D-Umsetzer 25, einem Maskenverarbeitungsteil 34 zur Ausführung eines Maskenbildungsprozesses in spezieller Form, um einen Rand zwischen zwei nebeneinanderliegenden Bereichen zu erfassen, einem Teil 35 zur Erfassung eines vorher repräsentativen Punkts, der an den Maskenverarbeitungsteil 34 angeschlossen ist, um den repräsentativen Wert für die Bewegungserfassung zu bestimmen, und einem Korrelations kalkulationsteil 36 zur Berechnung der Korrelation zwischen den Ausgaben des Maskenverarbeitungsteils 34 und des Teils 35 zur Erfassung eines vorher repräsentativen Punkts, um eine Bewegungsinformation abzugeben.The motion vector detection device 26 consists of a filter 33 for interference suppression of the digital image signal from the A / D converter 25 , a mask processing part 34 for executing a mask formation process in a special form to detect an edge between two adjacent areas, a part 35 for detection a previously representative point connected to the mask processing part 34 to determine the representative value for the motion detection, and a correlation calculation part 36 for calculating the correlation between the outputs of the mask processing part 34 and the part 35 for detecting a previously representative point deliver movement information.

Funktion und Wirkung des beschriebenen Bildstabilisierungs systems sind folgendermaßen:Function and effect of the image stabilization described systems are as follows:

Das Eingabebildsignal wird durch den A/D-Umsetzer 25 in ein digitales Bildsignal umgewandelt, und das umgewandelte digitale Bildsignal wird dann im Feldspeicher 31 des Speicher- und Brennweiten-Verstellungsteils 27 gespeichert und passiert zwecks Entstörung auch den Filter 33 der Bewegungsvektor-Erfassungseinrichtung 26.The input image signal is converted into a digital image signal by the A / D converter 25 , and the converted digital image signal is then stored in the field memory 31 of the memory and focal length adjustment part 27 and also passes through the filter 33 of the motion vector detection device 26 for the purpose of interference suppression.

Der Filter 33 ist eine Art Tiefpaßfilter nach dem Durch schnittsfilterprinzip, d. h., die durchschnittliche Filter- Koeffizientmatrix mit Bezug auf den Bereich von 3 × 3 istThe filter 33 is a kind of low-pass filter according to the average filter principle, that is, the average filter coefficient matrix with respect to the range of 3 × 3

Der mittlere Bildpunktwert in einer neu aus gegebenen Bild matrix istThe average pixel value in a newly output image matrix is

(f_1,1 × P_1,1) + (f_2,2 × P_2,1) + . . . + (f_3,3 × P_3,3)(f _1.1 × P _1.1 ) + (f _2.2 × P _2.1 ) +. . . + (f _3.3 × P _3.3 )

wobei f_i,j eine Koeffizientmatrix und P_i,j Eingabebilddaten sind.where f _{i, j is} a coefficient matrix and P _{i, j is} input image data.

Die aus dem Filter 33 ausgegebenen Bilddaten werden in den Maskenverarbeitungsteil 34 eingegeben und passieren eine Maske in spezieller Form zum Erzielen eines repräsentativen Punktwertes. Somit gibt der Maskenverarbeitungsteil 34 einen resultierenden Rand aus, der zur Erfassung des repräsentativen Punkts in jedem definierten Bereich, wie in Fig. 2 gezeigt, eine wichtige Information darstellt. Der Wert, der sich aus der Addition der nebeneinanderliegenden Bildpunktwerte in horizontalen und vertikalen Richtungen mit dem Luminanzdifferenzwert ergibt, wird als Randwert fest gelegt.The image data output from the filter 33 are input into the mask processing part 34 and pass through a mask in a special form to achieve a representative point value. Thus, the mask processing part 34 outputs a resultant margin, which is important information for acquiring the representative point in each defined area as shown in FIG. 2. The value that results from the addition of the adjacent pixel values in horizontal and vertical directions with the luminance difference value is specified as the boundary value.

Der wie oben beschrieben erlangte Randwert wird in den Teil 35 zur Erfassung vorher repräsentativer Punkte eingegeben und zur Bestimmung des repräsentativen Punktwertes für die Bewegungserfassung verwendet. Der Punkt mit dem größten Randwert in den sechzehn Teilbereichen des Eingabebildes wird als repräsentativer Punkt bestimmt (siehe Beispiel in Fig. 2A). Die Räume zwischen den sechzehn Teilbereichen sind zur Verhinderung von Datenredundanz zwischen nebeneinander liegenden Teilen in diesen Bereichen während der Suche nach Bewegungserfassung bestimmt.The boundary value obtained as described above is entered in the part 35 for the detection of previously representative points and used for determining the representative point value for the movement detection. The point with the largest boundary value in the sixteen partial areas of the input image is determined as a representative point (see example in FIG. 2A). The spaces between the sixteen sub-areas are designed to prevent data redundancy between adjacent parts in these areas during the search for motion detection.

Der repräsentative Punkt des vorherigen Bildes, der aus dem Teil 35 zur Erfassung des vorherigen repräsentativen Punkts ausgegeben wird, um die vom Maskenverarbeitungsteil 34 aus gegebenen Randdaten des Bildes werden in den Korrelations kalkulationsteil 36 eingegeben; die Korrelation zwischen dem repräsentativen Punkt und dem Randwert eines Suchbereichs um jeden der sechzehn repräsentativen Punkte wird im Korrelationskalkulationsteil 36 errechnet (siehe Darstellung in Fig. 2B). Die errechneten Korrelationswerte mit Bezug auf die sechzehn Teilbereiche werden addiert, und der daraus resultierende kleinste Stellungsvektor wird als Bewegungs information in den Mikrocomputer 28 ausgegeben.The representative point of the previous image, which is output from the previous representative point detection part 35 , around the edge data of the image output from the mask processing part 34 is input to the correlation calculation part 36 ; the correlation between the representative point and the boundary value of a search area around each of the sixteen representative points is calculated in the correlation calculation part 36 (see illustration in FIG. 2B). The calculated correlation values with respect to the sixteen partial areas are added, and the resulting smallest position vector is output as movement information in the microcomputer 28 .

Die Funktion des Mikrocomputers 28 verdeutlicht Fig. 3:The function of the microcomputer 28 is illustrated in FIG. 3:

In Schritt S1 wird der Bewegungswert (i,j), welcher der Bewegungsvektor ist, der durch Anwendung der Korrelation zwischen jedem von der Bewegungsvektor-Erfassungseinrichtung 26 erfaßten repräsentativen Punkt erlangt wird, als aus zehn Rahmen extrahierte Bewegungsinformationen gespeichert.In step S1, the motion value (i, j), which is the motion vector obtained by applying the correlation between each representative point detected by the motion vector detector 26 , is stored as motion information extracted from ten frames.

In Schritt S2 wird unterschieden, ob die erfalten Bewegungs informationen korrekt oder falsch sind. Wenn die erfalten Informationen als falsch unterschieden werden, wird der Bewegungswert des derzeitigen Bildes als derjenige des vor herigen Bildes in Schritt 3 bestimmt, wenn andererseits die erfaßten Informationen korrekt sind, wird der Bewegungswert des derzeitigen Bildes als der in Schritt 4 erfaßte Bewegungswert bestimmt.In step S2, a distinction is made as to whether the detected movement information is correct or incorrect. If they catch up Information is distinguished as incorrect, the Movement value of the current image than that of the previous one determined image in step 3, on the other hand, the recorded information is correct, the movement value of the current image than that captured in step 4 Movement value determined.

In Schritt S5 wird die Schwenkungsunterscheidung mit Bezug auf jeden der zehn ermittelten und dann in den Schritten S3 und S4 gespeicherten Bewegungsvektoren ausgeführt. Wenn die Bewegung auf die Schwenkung der Videokamera durch den Auf nehmenden zurückzuführen ist, wird der Bewegungsvektorwert in Schritt 7 auf "0" eingestellt; wenn andererseits die Bewegung auf das Zittern der Hände des Aufnehmenden zurück zuführen ist, wird der Bewegungsvektorwert in Schritt 8 auf den erfaßten Wert eingestellt.In step S5, the swing discrimination is related on each of the ten determined and then in steps S3 and S4 stored motion vectors executed. If the Movement on the panning of the video camera through the up increasing, the motion vector value set to "0" in step 7; if on the other hand the Movement due to the tremor of the recipient's hands is to be fed, the motion vector value is opened in step 8 set the detected value.

In Schritt 59 wird das Bild in Übereinstimmung mit dem bei der Schwenkungsunterscheidung eingestellten Bewegungsvektor wert integriert, und dann so ausgeglichen, daß das Bild auf dem Bildschirm zentriert ist.In step 59, the image is matched to that at of the motion differentiation set worth integrated, and then balanced so that the picture on centered on the screen.

Dementsprechend gibt der Mikrocomputer 28 den kompensierten Wert in den Speicherregler 29 aus, und der Speicherregler 29 steuert die Positionen der Adressen des Feldspeichers 31 in Übereinstimmung mit dem kompensierten Wert.Accordingly, the microcomputer 28 outputs the compensated value into the memory controller 29 , and the memory controller 29 controls the positions of the addresses of the field memory 31 in accordance with the compensated value.

Der Brennweiten-Verstellprozessor 32 führt den digitalen Brennweiten-Verstellprozeß mit Bezug auf die vom Feld speicher 31 ausgegebenen Bilddaten so aus, daß nur die bewegungskompensierten Bildteile ausgegeben und auf dem Bildschirm dargestellt werden. Die vom Brennweiten-Verstell prozessor 32 in der Brennweite verstellten Bilddaten werden vom D/A-Umsetzer 30 in ein analoges Bildsignal umgewandelt.The focal length adjustment processor 32 executes the digital focal length adjustment process with reference to the image data output from the field memory 31 such that only the motion-compensated image parts are output and displayed on the screen. The image data adjusted by the focal length adjustment processor 32 in the focal length are converted by the D / A converter 30 into an analog image signal.

Im Ergebnis werden mit einer einfachen Hardware-Konstruktion genauere Bewegungsinformationen erfaßt und somit verwackelte Bilder infolge des Zitterns der Hände des Aufnehmenden kompensiert sowie ein stabilisiertes Bild erzielt.The result is a simple hardware design recorded more precise movement information and thus blurred Images as a result of the shaking of the hands of the recipient compensated and achieved a stabilized image.

Claims

1. Image stabilization system for a video camera, consisting of
an analog / digital converter ( 25 ) for converting an input image signal into a digital image signal,
a field memory ( 31 ) for storing the digital image signal from the analog / digital converter ( 25 ),
a focal length adjustment processor ( 32 ) for carrying out a digital focal length adjustment process in relation to the digital image signal stored in the field memory ( 31 ) in order to adjust the focal length only of motion-compensated image areas to be displayed on an entire screen,
a digital / analog converter ( 30 ) for converting the focal length-adjusted digital image signal from the focal length adjustment processor ( 32 ) into an analog output image signal,
motion vector detection means ( 26 ) for detecting motion vectors by detecting edge values of adjacent pixels of a previous digital image data set from the analog-to-digital converter ( 25 ) and selecting a representative point having the maximum edge value among the detected edge values of a plurality of motion vectors -Er detection areas as a reference position for each motion vector detection area and comparing the value of the representative point with the edge values of a current digital image data record from the analog / digital converter ( 25 ) and
a control unit ( 29 ) for determining by means of the movement vector detected by the movement vector detection device ( 26 ) whether a detected movement is caused by the trembling of a user's hand or a swiveling movement of the video camera, for reading that stored in the field memory ( 31 ) Digital image signal and for controlling the focal length adjustment processor ( 32 ) to compensate for the digital image signal when it is determined that the detected movement is caused by the trembling of the user's hand.

2. The image stabilization system according to claim 1, wherein the motion vector detection means ( 26 ) comprises
a filter ( 33 ) for eliminating noise from the digital tal image signal from the analog / digital converter ( 25 ),
a mask processing part ( 34 ) connected to the output of the filter ( 33 ) for performing a masking process to correctly detect an edge between adjacent pixels such as by converting the filtered digital image signal to the edge values,
a representative point detection part ( 35 ) connected to the output of the mask processing part ( 34 ) for determining the representative point of each motion vector detection area as a reference position by detecting the position of the maximum value among motion vector detection areas and
a correlation calculation part ( 36 ) for calculating the correlation between the value of the representative point of a previous image and the output of the mask processing part ( 34 ) with respect to an image following this previous image and for supplying the motion vectors to the control unit ( 29 ).

3. Image stabilization system according to claim 1 or 2, wherein the control unit ( 29 ) comprises
a microcomputer ( 28 ) for continuously collecting values of vectors from the motion vector detector ( 26 ) for a predetermined number of times and for deciding whether the detected motion is caused by panning motion of the video camera or trembling of the user's hand is based on the collected motion vector values, the microcomputer ( 28 ) supplying the value 0 as motion information when it is decided that the motion detected is caused by a pivoting motion of the video camera, and the motion vectors from the motion vector detector ( 26 ) as Provides motion information when it is determined that the detected motion is caused by the user's hand trembling and
a memory controller for controlling addresses of the field memory ( 31 ) based on the movement information provided by the microcomputer ( 28 ) in order to control the compensation of the digital image data and its display via the focal length adjustment processor ( 32 ).