Stand der TechnikState of the art
Die Erfindung geht aus von einem Kameraaufbau zur Aufnahme
und einem Verfahren zur Auswertung von Bildern nach der Gat
tung der unabhängigen Ansprüche. Die automatische Bildaus
wertung erobert mit großer Geschwindigkeit neue Anwendungs
felder und größere Marktanteile in klassischen Anwendungs
feldern für Bildverarbeitungssysteme. Ursache sind zum einen
die zunehmende Reife von Algorithmen für die automatische
Bildinterpretation in natürlichen Umgebungen, zum anderen
die zunehmende Rechenleistung von Mikroprozessoren. Aus der
noch nicht veröffentlichten DE 196 27 938 ist der Einsatz
eines Kamerasystems zur videobasierten Spurverfolgung be
kannt. Hierfür werden CCD-Bildsensoren für die Bildaufnahme
eingesetzt. Diese weisen einen sehr geringen Helligkeitsdy
namikbereich auf. In natürlichen und vielen künstlichen Um
gebungen ist daher der Einsatz einer Kamerablende und einer
Belichtungszeitsteuerung nötig, um die Umgebungshelligkeit
möglichst gut auf den Dynamikbereich des eingesetzten Sen
sors abzubilden. Für eine optimale automatische Auswertung
Bildinformationen besitzen Kameras, in denen große zeit
liche Helligkeitsänderungen vorkommen können, daher eine Be
lichtungszeitregelung oder eine Blendenregelung. Die Rege
lung erfolgt in Abhängigkeit des Bildsignals. Werden mehrere
Kameras synchron mit dem Ziel der automatischen Bildauswer
tung betrieben kann die automatische Kameraregelung zu gro
ßen Problemen führen, da Bilder durch die von Kamera zu Ka
mera verschiedene Kamerablenden- oder Belichtungszeitein
stellungen nicht vergleichbar sind.The invention is based on a camera structure for recording
and a method for evaluating images according to the gat
independent claims. The automatic picture off
valuation is conquering new applications at high speed
fields and larger market shares in classic applications
fields for image processing systems. One reason is
the increasing maturity of algorithms for automatic
Image interpretation in natural environments, on the other
the increasing computing power of microprocessors. From the
the unpublished DE 196 27 938 is the use
a camera system for video-based tracking
knows. For this purpose, CCD image sensors are used for image acquisition
used. These have a very low brightness dy
namik area on. In natural and many artificial order
It is therefore necessary to use a camera aperture and one
Exposure time control needed to control the ambient brightness
as good as possible on the dynamic range of the Sen used
map sors. For an optimal automatic evaluation
Image information possess cameras in which great time
Liche changes in brightness can occur, therefore a Be
glade time control or an aperture control. The brisk
tion takes place depending on the image signal. Become several
Cameras in sync with the goal of automatic image extraction
operated, the automatic camera control can be too large
problems because the images from camera to camera
different camera aperture or exposure times
positions are not comparable.
Vorteile der ErfindungAdvantages of the invention
Der erfindungsgemäße Kameraaufbau mit den kennzeichnenden
Merkmalen des Hauptanspruchs hat demgegenüber den Vorteil,
daß bei Einsatz von logarithmierenden CMOS-Bildsensoren auf
eine Blendenregelung oder Belichtungszeitregelung vollkommen
verzichtet werden kann. Nehmen mehrere Kameras, die einen
solchen Sensor besitzen, synchronisiert eine Szene auf, so
stellen die resultierenden Bildsignale ein absolutes Hellig
keitssignal dar, das durch keine Blenden- oder Belichtungs
zeit-Steuerung beeinflußt ist. Daher sind die Bildsignale
verschiedener Kameras absolut vergleichbar und bedürfen kei
ner Helligkeitskorrektur, auch wenn die Bilder verschiedene
Bereiche einer Szene ausschneiden, so daß eine bildbasierte
Regelung bei herkömmlichen Kameras diese Ausschnitte ver
schieden einstellen würde.The camera structure according to the invention with the characteristic
In contrast, features of the main claim have the advantage
that when using logarithmic CMOS image sensors
an aperture control or shutter speed control completely
can be dispensed with. Take multiple cameras, one
have such a sensor, synchronize a scene, so
the resulting image signals are absolutely bright
speed signal that no aperture or exposure
time control is affected. Hence the image signals
different cameras absolutely comparable and do not require
brightness correction, even if the images are different
Cut out areas of a scene so that an image-based
Regulation with conventional cameras ver these sections
would set different.
Ebenso vorteilhaft ist der Einsatz eines logarithmierenden
CMOS-Bildsensors in einer bewegten Kamera, wenn die Kamera
zur Messung von Bewegung von Bildsequenzen herangezogen
wird. Bewegt sich die Kamera, so kann bei konventionellen
Kameras eine Blenden- oder Belichtungszeitänderung erfolgen,
da sich der Bildinhalt bei der Bewegung ändert. Durch Ein
satz des logarithmierenden Bildsensors kann die Kamerarege
lung entfallen. Bilder, die zu unterschiedlichen Zeiten auf
genommen wurden, sind absolut vergleichbar.
The use of a logarithmic is also advantageous
CMOS image sensor in a moving camera when the camera
used to measure movement of image sequences
becomes. If the camera moves, conventional cameras can
Cameras have an aperture or exposure time change,
because the image content changes when moving. By one
The logarithmic image sensor can set the camera rule
lungs are eliminated. Pictures taken at different times
taken are absolutely comparable.
CMOS-Bildsensoren haben weiterhin den Vorteil, daß zusätzli
che Elemente für die weitere Verarbeitung der Bilddaten wie
A/D-Wandler auf dem gleichen Bauteil realisiert werden kön
nen. Die CMOS-Bildsensoren besitzen dann digitale Ausgänge.
sind keine analogen Schaltungsteile nötig. Weiterhin wei
sen CMOS-Bildsensoren keine CCD-typischen Bildbeeinträchti
gungen wie Verschmierungs- und Überblendeffekte (smear und
blooming).CMOS image sensors also have the advantage that additional
che elements for the further processing of the image data such as
A / D converter can be realized on the same component
nen. The CMOS image sensors then have digital outputs.
no analog circuit parts are necessary. Furthermore white
CMOS image sensors have no CCD-typical image impairments
such as smear and fade effects (smear and
blooming).
Das erfindungsgemäße Verfahren zur Auswertung von Bildern
mit den kennzeichnenden Merkmalen des unabhängigen Anspruchs
hat den Vorteil, daß durch den Einsatz voll CMOS-Bildsensoren
auf einfache Weise Bilder aufgenommen werden können, die an
schließend für die dreidimensionale Auswertung der aufgenom
menen Szene und zur Ermittlung von Daten dienen.The method according to the invention for evaluating images
with the characteristic features of the independent claim
has the advantage that by using full CMOS image sensors
pictures that can be taken easily
finally for the three-dimensional evaluation of the recorded
serve scene and to determine data.
Zeichnungendrawings
Ausführungsbeispiele der Erfindung sind in der Zeichnung
dargestellt und in der nachfolgenden Beschreibung näher er
läutert. Es zeigt Fig. 1 einen Kameraaufbau mit zwei Kame
ras und Fig. 2 einen Kameraaufbau mit flexibler Kameraposi
tion.Embodiments of the invention are shown in the drawing and in the following description he explains. It shows Fig. 1, a camera body with two Came ras and Fig. 2 tion a camera body having a flexible camera Posi.
Beschreibung des AusführungsbeispielsDescription of the embodiment
Fig. 1 zeigt zwei Kameras 1, die jeweils einen Bildaus
schnitt 6 überblicken. Die Kameras 1 sind über Steuerleitun
gen 2 mit der Auswerteeinheit 4 verbunden. Über die Synchro
nisationsleitungen 3 sind die Kameras untereinander und
ebenfalls mit der Auswerteeinheit 4 verbunden. Ein zu beob
achtendes Objekt befindet sich im überlappenden Blickfeld
der Kameras.
Fig. 1 shows two cameras 1 , each with an image section 6 overlook. The cameras 1 are connected to the evaluation unit 4 via control lines 2 . The cameras are connected to one another and also to the evaluation unit 4 via the synchronization lines 3 . An object to be observed is in the overlapping field of view of the cameras.
Ein solcher Kameraaufbau bzw. Vorrichtung kann noch durch
weitere Kameras 1 ergänzt werden. Der Kameraaufbau dient zur
Beobachtung eines beliebigen Objekts 5 im Umfeld des Ka
meraaufbaus. Die Kameras nehmen jeweils ein Bild der Umge
bung auf, wobei die Aufnahme über die Synchronisationslei
tung synchronisiert wird. Das aufgenommene Bild wird über
die Steuerleitung 2 zur Auswerteeinheit 4 gesendet. In der
Auswerteeinheit erfolgt die Aufbereitung der Bilder oder der
Teilbilder, mit dem Ziel die Lage, Größe usw. des Objekts 5
in der Umgebung festzustellen. Zur Aufnahme der Bilder der
Kameras werden logarithmierende CMOS-Bildsensoren einge
setzt. Der Vergleich der Bilder kann sowohl direkt zwischen
zwei Bildern als auch zwischen Bildern, die aufgrund eines
Auswertealgorithmus aufbereitet wurden, erfolgen. Durch die
logarithmische Abbildung des einfallenden Lichtsignals in
ein elektronisch verarbeitbares Spannungs- oder Stromsignal
kann der Sensor einen sehr großen Helligkeitsdynamikbereich
abdecken, so daß er auch in natürlicher Umgebung ohne Be
lichtung oder Blendensteuerung bzw. -regelung auskommt. Das
vom CMOS-Bildsensor erzeugte Spannungs- oder Stromsignal
wird über eine digitale Schnittstelle direkt an die Auswer
teeinheit weitergeleitet. Durch die Analyse der Bilder mit
dem erfindungsgemäßen Kameraaufbau ist es möglich, verschie
dene dreidimensionale Größen zu bestimmen. Beispielsweise
dienen solche Kamerasysteme zur Analyse der Umgebung eines
Fahrzeugs, z. B. zur dynamischen Spurverfolgung, zur automa
tischen Hinderniserkennung, zur Niveauregulierung usw.Such a camera structure or device can be supplemented by further cameras 1 . The camera structure is used to observe any object 5 in the area surrounding the camera structure. The cameras each take a picture of the surroundings, with the recording being synchronized via the synchronization line. The captured image is sent via control line 2 to evaluation unit 4 . The processing of the images or the partial images takes place in the evaluation unit with the aim of determining the position, size, etc. of the object 5 in the environment. Logarithmic CMOS image sensors are used to record the images from the cameras. The comparison of the images can take place directly between two images as well as between images that have been processed on the basis of an evaluation algorithm. Through the logarithmic mapping of the incident light signal into an electronically processable voltage or current signal, the sensor can cover a very large brightness dynamic range, so that it does not require exposure or aperture control or regulation even in a natural environment. The voltage or current signal generated by the CMOS image sensor is forwarded directly to the evaluation unit via a digital interface. By analyzing the images with the camera structure according to the invention, it is possible to determine different three-dimensional sizes. For example, such camera systems are used to analyze the surroundings of a vehicle, e.g. B. for dynamic tracking, for automatic obstacle detection, for level control, etc.
Fig. 2 zeigt eine Ausführungsform, bei der die Kamera 1 zur
Szenenaufnahme bewegt wird. Pfeil 7 zeigt eine mögliche Be
wegung an. Die Kamera 1 ist über eine Steuerleitung 2 mit
der Auswerteeinheit 4 verbunden. Im Blickfeld 6 der Kamera
befindet sich das aufzunehmende Objekt 5. Die Kamera nimmt
zunächst ein erstes Bild in einer ersten Aufnahmeposition
auf, wird in eine zweite Position bewegt und nimmt in dieser
zweiten Position ein zweites Bild auf. Durch die Bewegung
der Kamera und die Aufnahme des Objekts aus verschiedenen
Aufnahmepositionen heraus, ist es möglich, wiederum dreidi
mensionale Parameter des Objekts 5 zu ermitteln. Durch den
Einsatz der CMOS-Bildsensoren, die eine nichtlineare Wand
lerkennlinie aufweisen und eine abnehmende Kennliniensteige
rung bei zunehmender Lichtintensität (Helligkeit) bildet,
ist es möglich, Bilder, die zeitlich aufeinanderfolgend auf
genommen wurden, direkt miteinander zu vergleichen. In wei
terer Ausgestaltung der Erfindung kann der Bildsensor mit
einer logarithmierenden Kennlinie ausgebildet sein. Fig. 2 shows an embodiment in which the camera 1 is moved to record the scene. Arrow 7 indicates a possible movement. The camera 1 is connected to the evaluation unit 4 via a control line 2 . The object 5 to be recorded is in the field of view 6 of the camera. The camera first records a first image in a first recording position, is moved to a second position and takes a second image in this second position. By moving the camera and recording the object from different recording positions, it is possible to determine three-dimensional parameters of the object 5 again. By using the CMOS image sensors, which have a non-linear transducer characteristic and form a decreasing characteristic curve with increasing light intensity (brightness), it is possible to directly compare images that were taken in succession. In another embodiment of the invention, the image sensor can be designed with a logarithmic characteristic.