DE10147807A1

DE10147807A1 - Process for three-dimensional detection of objects or scenes

Info

Publication number: DE10147807A1
Application number: DE10147807A
Authority: DE
Inventors: Helmut Riedel
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Conti Temic Microelectronic GmbH
Priority date: 2001-09-27
Filing date: 2001-09-27
Publication date: 2003-04-24
Also published as: WO2003029839A1

Abstract

Die heutige Sensorik zur Umfelderfassung verwendet vorwiegend Mikrowellen-Radar oder Laser-Radar im infraroten Wellenlängenbereich. Beide Sensorprinzipien ermöglichen es derzeit nicht, Objekte sicher zu klassifizieren, da die Anzahl der verwendeten Pixel für eine Szenenanalyse mit Bildverarbeitung zu gering ist. Als ergänzende Systemkomponente wird daher zumeist eine hochauflösende Video-Kamera vorgeschlagen, mit der das Defizit der geringen Pixelzahl überwunden werden kann. DOLLAR A Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen und zur Ermittlung von Entfernungen und Annäherungsgeschwindigkeiten für Fahrzeuge mittels eines Bildaufnehmers, dadurch gekennzeichnet, dass im Bildaufnehmer eine Vielzahl von photoempfindlichen Pixelelementen matrixförmig angeordnet und beliebig viele benachbarte Pixelelemente parallel geschaltet werden. DOLLAR A Die Erfindung eignet sich insbesondere für die Anwendungen Pre-Crash, Stop & Go, Einparkhilfe, Totwinkelüberwachung oder für andere Aufgabenstellungen der Umfeldsensorik.Today's sensors for environment detection mainly use microwave radar or laser radar in the infrared wavelength range. Neither sensor principle currently makes it possible to classify objects reliably, since the number of pixels used is too small for scene analysis with image processing. As a supplementary system component, a high-resolution video camera is therefore usually proposed, with which the deficit of the small number of pixels can be overcome. DOLLAR A Method for three-dimensional detection of objects or scenes and for determining distances and approach speeds for vehicles using an image sensor, characterized in that a plurality of photosensitive pixel elements are arranged in a matrix in the image sensor and any number of adjacent pixel elements are connected in parallel. DOLLAR A The invention is particularly suitable for the applications pre-crash, stop & go, parking aid, blind spot monitoring or for other tasks in the area of sensor systems.

Description

Die Erfindung betrifft ein Verfahren nach dem Oberbegriff des Patentanspruchs 1. The invention relates to a method according to the preamble of Claim 1.

Für die Steigerung der aktiven und passiven Sicherheit in künftigen Fahrzeugen gewinnt die Erfassung des Fahrzeugumfeldes ständig an Bedeutung. Hierfür wird Sensorik eingesetzt, die es ermöglicht, sowohl Hindernisse vor dem eigenen Fahrzeug, wie auch andere Fahrzeuge oder andere Verkehrsteilnehmer, z. B. Motorradfahrer, Radfahrer oder Fußgänger zu detektieren. Die Detektion muss rechtzeitig bei unterschiedlichen Geschwindigkeiten erfolgen können, so dass Maßnahmen zur Vermeidung einer Kollision oder zur Milderung ihrer unmittelbaren Folgen durch geeignete Auslösung von Airbags getroffen werden können. For increasing active and passive safety in future Vehicles, the detection of the vehicle environment is constantly gaining in importance. For this, sensors are used, which make it possible to face both obstacles your own vehicle, as well as other vehicles or others Road users, e.g. B. Motorcyclists, cyclists or pedestrians too detect. The detection must be timely at different Speeds can be taken so that measures to avoid a collision or to mitigate their immediate consequences by suitable triggering can be hit by airbags.

Die heutige Sensorik zur Umfelderfassung verwendet vorwiegend Mikrowellen-Radar oder Laser-Radar im infraroten Wellenlängenbereich. Beide Sensorprinzipien ermöglichen es derzeit nicht, Objekte sicher zu klassifizieren, da die Anzahl der verwendeten Pixel für eine Szenenanalyse mit Bildverarbeitung zu gering ist. Als ergänzende Systemkomponente wird daher zumeist eine hochauflösende Video-Kamera vorgeschlagen, mit der das Defizit der geringen Pixelzahl überwunden werden kann. Today's sensors for environment detection are mainly used Microwave radar or laser radar in the infrared wavelength range. Both Sensor principles currently do not make it possible to classify objects safely because the number of pixels used for a scene analysis with Image processing is too low. As a supplementary system component, therefore, is mostly a high-resolution video camera is proposed, with which the deficit of the small number of pixels can be overcome.

Es ist daher Aufgabe der Erfindung, ein einfaches, sicheres und kostengünstiges Verfahren zu finden, das die Annäherungsgeschwindigkeit von Objekten bestimmt und gleichzeitig eine Klassifikation der Objekte ermöglicht. It is therefore an object of the invention to be simple, safe and Finding cost-effective method that the speed of approach of objects determined and at the same time enables a classification of the objects.

Gelöst wird diese Aufgabe durch ein Verfahren mit den im Anspruch 1 angegebenen Merkmalen. This problem is solved by a method with the in claim 1 specified features.

Das Verfahren nach Anspruch 1 ermöglicht die schnelle Bestimmung von Entfernung und Annäherungsgeschwindigkeit von Objekten sowie die Aufnahme von detaillierten Grauwert- und Entfernungsbildern mit einem einzigen Bildsensor. Es ermöglicht sowohl eine schnelle Punktmessung mit hoher Bildwiederholrate wie auch eine höher aufgelöste Szenenaufnahme mit geringerer Bildwiederholrate. The method of claim 1 enables the rapid determination of Distance and approach speed of objects as well as the Capture detailed grayscale and distance images with one Image sensor. It enables both quick and high point measurement Refresh rate as well as a higher resolution scene recording with lower refresh rate.

Die Erfindung eignet sich insbesondere für die Anwendungen Pre-Crash, Stop&Go, Einparkhilfe, Totwinkelüberwachung oder für andere Aufgabenstellungen der Umfeldsensorik. The invention is particularly suitable for the pre-crash applications, Stop & Go, parking aid, blind spot monitoring or for others Environmental sensor tasks.

Vorteilhafte Ausgestaltungen des Verfahrens nach Anspruch 1 sind in den Unteransprüchen angegeben. Advantageous embodiments of the method according to claim 1 are in the Subclaims specified.

Die Erfindung wird nun anhand eines Ausführungsbeispiels unter Zuhilfenahme der Zeichnung erläutert. The invention will now be described using an exemplary embodiment Using the drawing explained.

Es zeigen Show it

Fig. 1 die prinzipielle Beschaltung photoempfindlicher Pixelelemente zur Signalauslesung am Beispiel eines PMD-Pixels, Fig. 1 shows the basic circuit of photosensitive pixel elements to the signal read using the example of a PMD-pixel,

Fig. 2 die Verschaltung einzelner photoempfindlicher PMD-Pixelelemente miteinander, Fig. 2 shows the interconnection of individual photosensitive PMD-pixel elements with each other,

Fig. 3 die Adressierung der einzelnen photoempfindlichen Pixelelemente, Fig. 3, the addressing of individual photosensitive pixel elements,

Fig. 4a-d die Veränderung der lateralen Bildauflösung durch Zusammenfassen vom photoempfindlichen, in einer orthogonalen Gitterstruktur angeordneten Pixelelementen und Fig. 4a-d, the change of the lateral image resolution by combining the photosensitive, in an orthogonal grid structure arranged pixel elements and

Fig. 5 die Veränderung der lateralen Bildauflösung durch Zusammenfassen vom photoempfindlichen, in einer hexagonalen Gitterstruktur angeordneten Pixelelementen. Fig. 5, the change in the lateral image resolution are arranged by grouping the photo-sensitive, in a hexagonal lattice structure of pixel elements.

Die Fig. 1 zeigt die prinzipielle Beschaltung photoempfindlicher Pixelelemente zur Signalauslesung am Beispiel eines PMD-Pixels 1 als Photoelement. Ein PMD-Pixel 1 stellt ein sogenanntes "aktives Pixel" dar, d. h. die durch den Photoeffekt erzeugten Ladungsträger werden direkt im Pixel 1 durch aktive elektronische Bauelemente für die Signalauslesung weiterverarbeitet. Ein Transistor T1 wird zum Reset des PMD-Pixels 1 eingesetzt, ein Transistor T2 dient zum Abtasten der Photospannung, die auf einem Kondensator C während der Auslesephase gehalten wird. Ein Transistor T3 ist als Sourcefolger geschaltet, der das Photosignal während der Auslesephase puffert. Zwischen der Drain-Source-Strecke des Transistors T1 und der Drain-Source-Strecke des Transistors T2 befindet sich ein Netzknoten N1, und zwischen der Drain- Source-Strecke des Transistors T2 und dem Gate des Transistors T3 befindet sich ein Netzknoten N2. Für die zweite Hälfte des symmetrisch aufgebauten PMD-Pixels 1 sind die entsprechenden Bauelemente mit T1', T2', T3' und C' und die entsprechenden Netzknoten mit N1' und N2' bezeichnet. Fig. 1 shows the basic circuit of photosensitive pixel elements to the signal read using the example of a PMD-pixel 1 as a photoelectric cell. A PMD pixel 1 represents a so-called "active pixel", ie the charge carriers generated by the photo effect are processed directly in pixel 1 by active electronic components for signal reading. A transistor T1 is used to reset the PMD pixel 1 , a transistor T2 is used to sample the photo voltage which is held on a capacitor C during the readout phase. A transistor T3 is connected as a source follower, which buffers the photo signal during the readout phase. A network node N1 is located between the drain-source path of transistor T1 and the drain-source path of transistor T2, and a network node N2 is located between the drain-source path of transistor T2 and the gate of transistor T3. For the second half of the symmetrically constructed PMD pixel 1 , the corresponding components are labeled T1 ', T2', T3 'and C' and the corresponding network nodes are labeled N1 'and N2'.

Zur Parallelschaltung einzelner PMD-Pixel 1 werden deren jeweilige Knoten N1 über Schalter S1 (Fig. 2) miteinander verbunden. Weitere Schalter S2 (Fig. 2) verbinden auch die jeweiligen Knoten N2, so dass auch die Integrationskapazität an die vergrößerte Pixelfläche angepasst werden kann. Entsprechende Bezeichnungen für die entsprechenden Schalter der zweiten Hälfte eines PMD-Pixels 1 lauten S1' und S2'. To connect individual PMD pixels 1 in parallel, their respective nodes N1 are connected to one another via switches S1 ( FIG. 2). Further switches S2 ( FIG. 2) also connect the respective nodes N2, so that the integration capacity can also be adapted to the enlarged pixel area. Corresponding designations for the corresponding switches of the second half of a PMD pixel 1 are S1 'and S2'.

Die Schalter S1 und S2 können unabhängig voneinander betätigt werden. Insbesondere können in einem Verbund von Pixeln 1 zwar sämtliche photoempfindlichen Flächen über die Schalter S1 verbunden sein, jedoch nur eine geringere Anzahl von Integrationskapazitäten C bzw. C' über die Schalter S2 bzw. S2'. Dieses Vorgehen ermöglicht eine Erhöhung des Signalhubes an den verbundenen Integrationskapazitäten C bzw. C'. Switches S1 and S2 can be operated independently of one another. In particular, in a composite of pixels 1 , all photosensitive surfaces can be connected via switches S1, but only a smaller number of integration capacitances C or C 'via switches S2 or S2'. This procedure enables an increase in the signal swing at the connected integration capacitances C or C '.

In Fig. 2 ist die Verschaltung einzelner photoempfindlicher PMD- Pixelelemente 1 miteinander dargestellt. In einem Bildaufnehmer oder Bildaufnehmer 2, insbesondere einem PMD-Bildaufnehmer, sind mehrere PMD- Pixelelemente 1 orthogonal angeordnet und jedes PMD-Pixelelement 1 ist mit seinen orthogonal benachbarten PMD-Pixelelementen 1 verschaltet. Da jeder Netzknoten N1, N2, N1' bzw. N2' eines ersten PMD-Pixels 1 über jeweils einen Schalter S1, S2, S1' bzw. S2' mit den Netzknoten N1, N2, N1' bzw. N2' eines zweiten, eines dritten und eines vierten benachbarten PMD-Pixels 1verbunden ist, ergeben sich daraus 16 schaltbare Verbindungen zwischen einem PMD-Pixel 1 und den vier zu ihm benachbarten PMD-Pixeln 1. In FIG. 2, the connection of individual photosensitive pixel elements PMD 1 is shown together. A plurality of PMD pixel elements 1 are arranged orthogonally in an image recorder or image recorder 2, in particular a PMD image recorder, and each PMD pixel element 1 is connected to its orthogonally adjacent PMD pixel elements 1 . Since each network node N1, N2, N1 'or N2' of a first PMD pixel 1 has a respective switch S1, S2, S1 'or S2' with the network nodes N1, N2, N1 'or N2' of a second one is connected to the third and a fourth neighboring PMD pixel 1 , this results in 16 switchable connections between a PMD pixel 1 and the four neighboring PMD pixels 1 .

In einem PMD-Bildaufnehmer 2 mit orthogonaler Array-Anordnung der PMD- Pixel 1 gemäß Fig. 2 kann die Adressierung der einzelnen PMD-Pixel 1 sowie die Schaltung der einzelnen Verbindungen zwischen den Netzknoten N1, N2, N1' bzw. N2' über horizontale und vertikale Adressregister erfolgen, wie dies in Fig. 3 dargestellt ist. Ein horizontales Adressregister 3 und ein vertikales Adressregister 4 übernehmen die Signalauslesung der PMD-Pixel 1, während jeweils zwei weitere horizontale bzw. vertikale Adressregister 5 und 6 bzw. 7 und 8 die Schalter S1 und S1' bzw. S2 und S2' für die Zeilen und Spalten der Array-Anordnung der PMD-Pixel 1 betätigen. Über die Ansteuerung der Adressregister 3 bis 8 lässt sich jedes gewünschte Pixelmuster konfigurieren. In a PMD image sensor 2 with an orthogonal array arrangement of the PMD pixels 1 according to FIG. 2, the addressing of the individual PMD pixels 1 and the switching of the individual connections between the network nodes N1, N2, N1 'and N2' can be carried out horizontally and vertical address registers take place, as shown in Fig. 3. A horizontal address register 3 and a vertical address register 4 take over the signal reading of the PMD pixels 1 , while two further horizontal or vertical address registers 5 and 6 or 7 and 8 each have the switches S1 and S1 'or S2 and S2' for the lines and actuate columns of the array arrangement of the PMD pixels 1 . Any desired pixel pattern can be configured by controlling address registers 3 to 8 .

In den Fig. 4a-d ist beispielhaft dargestellt, wie ein PMD-Bildaufnehmer 2 mit 8 × 8 PMD-Pixeln 1 in Fig. 4a in die Auflösungen 4 × 4 in Fig. 4b, 2 × 2 in Fig. 4c und in ein großes Einzelpixel in Fig. 4d überführt werden kann, um beispielsweise die Entfernung zu einem beleuchteten Objekt trotz schwacher Strahlungsleistung messen zu können. Die Zusammenfassung der PMD-Pixel 1 braucht keinem regelmäßigen Muster zu folgen, sondern kann ebenso frei wählbar und angepasst an die jeweils zu untersuchende Szene vorgenommen werden. So können z. B. auch einzelne Cluster von PMD-Pixeln 1 in einer sogenannten "Region of Interest (ROI)" geformt werden. In FIGS. 4a-d 2 × 2 is exemplified as a PMD image sensor 2 with 8 × 8 PMD pixels 1 in Fig. 4a in the resolutions 4 × 4 in Fig. 4b, in Fig. 4c and in a large single pixel can be transferred in FIG. 4d, for example in order to be able to measure the distance to an illuminated object despite weak radiation power. The summary of the PMD pixels 1 does not need to follow a regular pattern, but can also be freely selected and adapted to the scene to be examined in each case. So z. B. also individual clusters of PMD pixels 1 are formed in a so-called "region of interest (ROI)".

Ein PMD-Bildaufnehmer 2 mit z. B. 32 × 16 Pixeln kann im Extremfall durch eine elektrische Parallelschaltung sämtlicher photoempfindlicher Flächen der PMD-Pixel 1 zu einem einzigen PMD-Pixel 1 umgewandelt werden, das die 512-fache Bildaufnehmerfläche aufweist. Diese Flächenvergrößerung bewirkt unmittelbar den 512-fachen Photostrom und damit ein drastisch gesteigertes elektrisches Bildaufnehmersignal. Werden weniger PMD-Pixel 1 parallelgeschaltet, so lässt sich der genannte PMD-Bildaufnehmer 2 in seiner lateralen Auflösung innerhalb weiter Grenzen variieren. A PMD image sensor 2 with z. B. 32 × 16 pixels can be converted in an extreme case by an electrical parallel connection of all photosensitive surfaces of the PMD pixel 1 to a single PMD pixel 1 , which has 512 times the image sensor area. This enlargement of the area directly causes 512 times the photo current and thus a drastically increased electrical image pickup signal. If fewer PMD pixels 1 are connected in parallel, the lateral resolution of the PMD image sensor 2 mentioned can be varied within wide limits.

Im Unterschied zu der in den Fig. 2 und 4 gezeigten orthogonalen Anordnung können die PMD-Pixel 1 eines PMD-Bildaufnehmers 2 auch hexagonal angeordnet sein, wie aus Fig. 5 hervor geht. Auch in einer solchen Ausführungsform können PMD-Pixel 1 paarweise oder blockweise zusammengefasst werden. Darüber hinaus bietet die hexagonale Anordnung auch den Vorteil, durch Zusammenfassen von jeweils sieben PMD-Pixeln 1 gemäß Fig. 5 ein ebenfalls hexagonales "Übergitter" realisieren zu können. Kreise 9 in Fig. 5 zeigen die PMD-Pixel 1, die jeweils um ein zentrales PMD-Pixel 1 im Übergitter angeordnet sind. In einer hexagonalen Anordnung gemäß Fig. 5 ergibt eine Verschaltung mit den Nachbarpixeln 1 insgesamt 24 schaltbare Verbindungen pro PMD-Pixel 1. In contrast to the orthogonal arrangement shown in FIGS. 2 and 4, the PMD pixels 1 of a PMD image sensor 2 can also be arranged hexagonally, as can be seen from FIG. 5. In such an embodiment too, PMD pixels 1 can be combined in pairs or in blocks. In addition, the hexagonal arrangement also has the advantage of being able to realize a likewise superhedral “superlattice” by combining seven PMD pixels 1 according to FIG. 5. Circles 9 in FIG. 5 show the PMD pixels 1 , which are each arranged around a central PMD pixel 1 in the superlattice. In a hexagonal arrangement according to FIG. 5, an interconnection with the neighboring pixels 1 results in a total of 24 switchable connections per PMD pixel 1 .

Sämtliche Zusammenfassungen von PMD-Pixeln 1, beispielsweise in einer orthogonalen Gitterstruktur nach den Fig. 2 und 4 oder in einer hexagonalen Gitterstruktur nach Fig. 5 können sowohl statisch realisiert als auch dynamisch von einem Bildtakt zum nächsten vorgenommen werden. Eine dynamische Anpassung der Pixelfläche eines Bildaufnehmers 2 ermöglicht es beispielsweise, eine zu untersuchende Szene mit sehr geringer lateraler Auflösung in einem ersten Bildtakt zunächst grob abzutasten. Durch sukzessive Steigerung der Auflösung in den folgenden Bildtakten können dann weitere Detailinformationen über die Szene gewonnen werden. All summaries of PMD pixels 1 , for example in an orthogonal grid structure according to FIGS. 2 and 4 or in a hexagonal grid structure according to FIG. 5, can be implemented statically as well as dynamically from one image clock to the next. A dynamic adaptation of the pixel area of an image sensor 2 makes it possible, for example, to first roughly scan a scene to be examined with a very low lateral resolution in a first image cycle. By gradually increasing the resolution in the subsequent image cycles, further detailed information about the scene can then be obtained.

In schwach reflektierenden Szenen kann z. B. eine Signalschwelle der einzelnen PMD-Pixel 1 definiert werden, die zur sicheren Messung der Entfernungswerte erforderlich ist. Bei Erreichen dieser Signalschwelle wird die weitere dynamische Steigerung der lateralen Auflösung zugunsten eines besseren Signal-/Rauschverhältnisses dann beendet. In weakly reflecting scenes, e.g. For example, a signal threshold of the individual PMD pixels 1 can be defined, which is required for the safe measurement of the distance values. When this signal threshold is reached, the further dynamic increase in the lateral resolution is then ended in favor of a better signal / noise ratio.

Der Bildaufnehmer 2 ist, wie bereits beschrieben, als Array-Anordnung von vielen PMD-Pixeln 1 ausgeführt. Die einzelnen PMD-Pixel 1 ermöglichen sowohl die Aufnahme von Grauwertbildern wie auch von Entfernungsbildern. Die Anzahl der PMD-Pixel 1 sowie deren Anordnung - orthogonal wie in den Fig. 2 und 4 oder hexagonal wie in Fig. 5 - und geometrische Abmessungen können an die Aufgabenstellung angepasst werden. As already described, the image sensor 2 is designed as an array arrangement of many PMD pixels 1 . The individual PMD pixels 1 enable both gray value images and distance images to be recorded. The number of PMD pixels 1 and their arrangement - orthogonal as in FIGS. 2 and 4 or hexagonal as in FIG. 5 - and geometric dimensions can be adapted to the task.

Wesentliches Merkmal des PMD-Bildaufnehmers 2 ist die Eigenschaft, dass die einzelnen PMD-Pixel 1 mit Hilfe einer elektronischen Schaltung, die auf dem PMD-Chip integriert ist, dynamisch zu einem einzigen großflächigen PMD-Pixel (Superpixel) zusammengefasst werden können, wie schematisch in den Fig. 4a-d dargestellt ist. An essential feature of the PMD image sensor 2 is the property that the individual PMD pixels 1 can be dynamically combined into a single large-area PMD pixel (super pixel ) with the help of an electronic circuit that is integrated on the PMD chip, as schematically 4a-d is illustrated in Fig..

Bei geringer Beleuchtungsintensität liefern die kleinen Einzelpixel 1 des Bildaufnehmers 2 infolge ihrer geringen Fläche noch kein hinreichendes Bildaufnehmersignal. Ein solcher großflächiger Bildaufnehmer 2 hingegen weist eine hohe Lichtempfindlichkeit auf und kann daher auch bei geringer Beleuchtungsintensität zur Entfernungsmessung verwendet werden. Zudem kann bei einem derartigen Superpixel die Auslese des Bildaufnehmersignals viel schneller erfolgen als die sequentielle Auslese sämtlicher Einzelpixel, so dass auch höhere Annäherungsgeschwindigkeiten erfasst werden können. At low lighting intensity, the small individual pixels 1 of the image sensor 2 do not yet provide a sufficient image sensor signal due to their small area. Such a large-area image sensor 2, on the other hand, has a high sensitivity to light and can therefore also be used for distance measurement even with low illumination intensity. In addition, with such a super pixel, the image sensor signal can be read out much faster than the sequential readout of all individual pixels, so that even higher approach speeds can be detected.

Die Auslegung des gesamten Sensorsystems erfolgt in einer Weise, dass im Ruhezustand, d. h. bei hindernisfreier Fahrbahn, der PMD-Bildaufnehmer 2 zu einem einzigen großflächigen PMD-Pixel 1 (Superpixel) verschaltet ist. Infolge seiner hohen Lichtempfindlichkeit liefert dieser großflächige Bildaufnehmer 2 bei Annäherung eines Hindernisses oder bei Annäherung an ein Hindernis rechtzeitig den zugehörigen Entfernungswert. Durch wiederholte Messung kann aus der Differenz der erhaltenen Entfernungswerte und der Messzeitpunkte die Annäherungsgeschwindigkeit eines Hindernisses oder an ein Hindernis ermittelt werden. The entire sensor system is designed in such a way that in the idle state, ie in the case of an unobstructed roadway, the PMD image sensor 2 is connected to form a single large-area PMD pixel 1 (super pixel). As a result of its high sensitivity to light, this large-area image sensor 2 provides the associated distance value in good time when an obstacle is approached or when an obstacle is approached. The approach speed of an obstacle or an obstacle can be determined from the difference between the distance values obtained and the measurement times by repeated measurement.

Ist die Geschwindigkeit ermittelt, wird der Bildaufnehmer 1 in einen anderen Betriebsmodus umgeschaltet, in dem jedes Pixel 1 individuelle Entfernungs- und Grauwerte liefert und somit die Voraussetzungen für eine Objektklassifikation schafft. Once the speed has been determined, the image sensor 1 is switched to another operating mode, in which each pixel 1 supplies individual distance and gray values and thus creates the conditions for object classification.

Alternativ kann die Umschaltung des Bildaufnehmers 2 auch nach Erreichen einer vorgegebenen Entfernungsschwelle oder einer vorgegebenen minimalen Signalstärke erfolgen. Alternatively, the image sensor 2 can also be switched after a predetermined distance threshold or a predetermined minimum signal strength has been reached.

Falls die Beleuchtungsbedingungen kein hinreichendes Signal der Einzelpixel ermöglichen und daher nur ein stark verrauschtes Bild gewonnen werden kann, wird der Bildaufnehmer 2 wieder zu einem großflächigen Einzelpixel 1 (Superpixel) verschaltet. Durch einen derartigen Adaptionsmechanismus kann die Detektionssicherheit des Systems sehr hoch gehalten werden. Der Adaptionsmechanismus für die beiden Betriebsmodi kann auch mit Hilfe einer zusätzlichen Beleuchtungsmessung realisiert sein, wobei die Elemente zur Beleuchtungsmessung entweder auf dem Bildaufnehmer integriert sind oder diskret angeordnet sind. If the lighting conditions do not allow a sufficient signal from the individual pixels and therefore only a very noisy image can be obtained, the image sensor 2 is again connected to form a large-area individual pixel 1 (super pixel). The detection reliability of the system can be kept very high by such an adaptation mechanism. The adaptation mechanism for the two operating modes can also be implemented with the aid of an additional illumination measurement, the elements for the illumination measurement either being integrated on the image sensor or being arranged discretely.

Das erfindungsgemäße Verfahren zur dreidimensionalen Erfassung von Objekten oder Szenen weist die Eigenschaften eines großflächigen Ein-Pixel- Bildaufnehmers zur Abstandsmessung auf und verwendet denselben Bildaufnehmer auch als Bildsensor, mit dem Grauwert- und Entfernungsbilder mit einer Vielzahl von Pixeln aufgenommen werden können. The inventive method for three-dimensional detection of Objects or scenes have the properties of a large one-pixel Image sensor for distance measurement and uses the same Image sensor also as an image sensor, with the gray value and distance images with one Variety of pixels can be recorded.

Claims

1. A method for three-dimensional detection of objects or scenes and for determining distances and approach speeds for vehicles by means of an image sensor ( 2 ), characterized in that in the image sensor ( 2 ) a plurality of photosensitive pixel elements ( 1 ) arranged in a matrix and any number of adjacent pixel elements ( 1 ) can be connected in parallel.

2. The method according to claim 1, characterized in that all obstacle-free roadway all photosensitive pixel elements ( 1 ) of the image sensor ( 2 ) for determining distances to a single large-area pixel ( 1 ) are connected in parallel.

3. The method according to claim 2, characterized in that by repeated measurement from the difference between the distance values obtained and the Measuring times the approach speed of an obstacle or on an obstacle is identified.

4. The method according to claim 3, characterized in that after determining the approach speed of the image sensor ( 2 ) is switched such that each pixel ( 1 ) delivers individual distance and gray values.

5. The method according to any one of claims 1 to 3, characterized in that the image sensor ( 2 ) is switched after reaching a predetermined distance threshold.

6. The method according to any one of claims 1 to 3, characterized in that the image sensor ( 2 ) is switched after reaching a predetermined minimum signal strength.

7. The method according to any one of claims 1 to 3, characterized in that the image sensor ( 2 ) is switched after reaching a predetermined minimum illumination intensity.

8. The method according to claim 7, characterized in that the image sensor ( 2 ) is switched depending on the result of an additional lighting measurement.

9. The method according to claim 8, characterized in that the device for additional lighting measurement in the image sensor ( 2 ) is integrated.

10. The method according to claim 8, characterized in that the Device for additional lighting measurement is arranged discretely.

11. The method according to any one of claims 1 to 10, characterized in that PMD pixel elements ( 1 ) are used as the photosensitive pixel elements ( 1 ).