DE102023205343A1

DE102023205343A1 - Device for spatial image capture of an environment moving relative to the device and operating method therefor

Info

Publication number: DE102023205343A1
Application number: DE102023205343.8A
Authority: DE
Inventors: Dr. Ing. Schick Jens
Original assignee: Tripleye GmbH
Current assignee: Tripleye GmbH
Priority date: 2023-06-07
Filing date: 2023-06-07
Publication date: 2024-12-12
Also published as: WO2024251542A1

Abstract

Eine Vorrichtung (1) dient zur räumlichen Bilderfassung einer Umgebung. Die Bilderfassungs-Vorrichtung (1) hat mindestens eine Stereokamera (5, 14, 15, 20) zur triangulatorischen Objekt-Abstandsbestimmung der Vorrichtung (1) zur Umgebung. Mindestens eine Blitzlichtquelle (7, 13) dient zur Umgebungsbeleuchtung. Kameras der Stereokamera haben jeweils ein Sensor-Array. Eine Steuereinrichtung (10) steht mit den Kameras in Signalverbindung und dient zur zeitlich synchronisierten Vorgabe von Bilderfassungsparametern, nämlich eines Blitzbeleuchtungsbeginns, einer Blitzbeleuchtungsdauer der Blitzlichtquelle sowie eines Detektionsbeginns und einer Detektionsdauer der Kameras. Es resultiert eine Bilderfassungs-Vorrichtung, die an die Praxis insbesondere der Bilderfassung zur Sicherstellung eines unterstützenden oder autonomen Fahrens gut angepasst ist.A device (1) is used for spatial image capture of an environment. The image capture device (1) has at least one stereo camera (5, 14, 15, 20) for triangulatory object distance determination of the device (1) from the environment. At least one flash light source (7, 13) is used for ambient lighting. Cameras of the stereo camera each have a sensor array. A control device (10) is in signal connection with the cameras and is used for the temporally synchronized specification of image capture parameters, namely a flash illumination start, a flash illumination duration of the flash light source and a detection start and a detection duration of the cameras. The result is an image capture device that is well adapted to the practice, in particular of image capture to ensure assisted or autonomous driving.

Description

Die Erfindung betrifft eine Vorrichtung zur räumlichen Bilderfassung einer relativ zur Vorrichtung bewegten Umgebung. Ferner betrifft die Erfindung ein Verfahren zum Betrieb einer derartigen Vorrichtung.The invention relates to a device for spatial image capture of an environment moving relative to the device. The invention further relates to a method for operating such a device.

Derartige Vorrichtungen sind bekannt aus der WO 2022/069 424 A1 , der WO 2022/069 425 A2 , der WO 2022/179 998 A1 und der DE 10 2011 080 102 B3 .Such devices are known from the WO 2022/069 424 A1 , the WO 2022/069 425 A2 , the WO 2022/179 998 A1 and the DE 10 2011 080 102 B3 .

Es ist eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung zur räumlichen Bilderfassung zu schaffen, die an die Praxis insbesondere der Bilderfassung zur Sicherstellung eines unterstützenden oder autonomen Fahrens gut angepasst ist.It is an object of the present invention to provide a device for spatial image acquisition which is well adapted to the practice, in particular of image acquisition for ensuring assisted or autonomous driving.

Diese Aufgabe ist erfindungsgemäß gelöst durch ein Verfahren mit den im Anspruch 1 angegeben Merkmalen.This object is achieved according to the invention by a method having the features specified in claim 1.

Erfindungsgemäß wurde erkannt, dass sich die Funktionen einerseits mindestens einer Stereokamera und andererseits einer Bilderfassung mittels eines Beleuchtungs-Laufzeitverfahrens vorteilhaft ergänzen. Sowohl die Stereokamera als auch die ein Laufzeitverfahren ermöglichenden Komponenten Blitzlichtquelle und Sensor-Array, über die Laufzeitverfahrens-Bilderfassungsparameter vorgegeben werden können, erlauben die Ermittlung eines Abstandes von Objekten innerhalb der Umgebung.According to the invention, it was recognized that the functions of at least one stereo camera on the one hand and of image capture using an illumination time-of-flight method on the other hand advantageously complement each other. Both the stereo camera and the flash light source and sensor array components that enable a time-of-flight method and can be used to specify the time-of-flight method image capture parameters, allow the distance of objects within the environment to be determined.

Die Vorrichtung kann zur räumlichen Bilderfassung einer relativ zur Vorrichtung bewegten Umgebung dienen. Die mindestens eine Stereokamera kann zur triangulatorischen Objekt-Abstandsbestimmung innerhalb der erfassten Umgebung in Vorwärtsrichtung einer Relativbewegung der Vorrichtung zur Umgebung dienen. Dies kann zur Verbesserung einer Sicherheit der Umgebungserfassung insbesondere im Zusammenhang mit einem fahrerunterstützenden oder auch einem autonomen Fahren genutzt werden. Die Vorrichtung kann Bestandteil eines Fahrzeugs, beispielsweise eines PKW oder LKW, sein.The device can be used for spatial image capture of an environment moving relative to the device. The at least one stereo camera can be used for triangulatory object distance determination within the captured environment in the forward direction of a relative movement of the device to the environment. This can be used to improve the reliability of the environment capture, particularly in connection with driver-assisted or autonomous driving. The device can be part of a vehicle, for example a car or truck.

Die Steuereinrichtung kann insbesondere einen Delay-Zeitraum zwischen dem Blitzbeleuchtungsbeginn der mindestens einen Blitzlichtquelle und dem Detektionsbeginn des jeweiligen Sensor-Arrays der Kameras der mindestens einen Stereokamera vorgeben. Der Abstand der Kameras der Stereokamera zueinander ergibt eine Länge einer Baseline, also eines Abstandes von Zentren von Eintrittspupillen der Kameras der mindestens einen Stereokamera. Mit der Vorrichtung können Prinzipien einer TOF (Time of Flight)-Kamera mit einer triangulatorisch abstandsvermessenden Stereokamera verknüpft werden. Eine entsprechende TOF-Bilderfassung ist beschrieben beispielsweise in der US 2019/056 498 A1 . Die Blitzlichtquelle kann so ausgeführt sein, wie dies prinzipiell von TOF-Kameras oder von LIDAR-Systemen bekannt ist. Entsprechendes gilt für die Sensor-Arrays der Kameras. Ein Sensor-Array, das bei der TOF-Bilderfassung genutzt wird, kann als Single Photon Avalanche Diode (SPAD)-Array aufgebaut sein. Ein derartiges SPAD-Array und seine Anwendung im Zusammenhang mit einer TOF-Messung ist bekannt aus einem Fachartikel von T. Swedish et al.: „Beyond the Line of Sight? What's New in Optical Perception“, AUVSI XPONENTIAL 2022-SWEDISH (Konferenz-Handout), S. 1-8, https://www.xponential.org/xponential2022/Custom/Handout/Speaker5158 4_Session4220_1.pdf und aus der US 2022/0174255 A1 .The control device can in particular specify a delay period between the start of the flash illumination of the at least one flash light source and the start of detection of the respective sensor array of the cameras of the at least one stereo camera. The distance between the cameras of the stereo camera results in a length of a baseline, i.e. a distance between the centers of the entrance pupils of the cameras of the at least one stereo camera. The device can be used to link principles of a TOF (Time of Flight) camera with a stereo camera that measures distances using triangulation. A corresponding TOF image capture is described, for example, in the US 2019/056 498 A1 . The flash light source can be designed in the same way as is known in principle from TOF cameras or LIDAR systems. The same applies to the sensor arrays of the cameras. A sensor array used in TOF image acquisition can be constructed as a single photon avalanche diode (SPAD) array. Such a SPAD array and its application in connection with a TOF measurement is known from a technical article by T. Swedish et al.: “Beyond the Line of Sight? What's New in Optical Perception", AUVSI XPONENTIAL 2022-SWEDISH (Conference Handout), pp. 1-8, https://www.xponential.org/xponential2022/Custom/Handout/Speaker5158 4_Session4220_1.pdf and from the US 2022/0174255 A1 .

Zur triangulatorischen Objekt-Abstandsbestimmung sind die beiden Kameras der Stereokamera über eine Synchronisierungseinheit miteinander synchronisiert. Durch diese Synchronisation kann insbesondere eine exakt zeitgleiche Erfassung des jeweiligen Objekts über die Kameras der Stereokamera erreicht werden. Dies unterscheidet eine Stereokamera zur triangulatorischen Objekt-Abstandsbestimmung von einer stereoskopischen Kamera, über die ausschließlich ein Raumeindruck einer Bilderfassung erzeugt wird und die beispielsweise beschrieben ist in der US 2015/296 200 A1 . Der Einsatz eines SPAD-Arrays kann zu einer Verringerung einer Bewegungsunschärfe führen und kann zur Kontrastverbesserung einer Bilderfassung genutzt werden.For triangulatory object distance determination, the two cameras of the stereo camera are synchronized with each other via a synchronization unit. This synchronization makes it possible to achieve an exactly simultaneous recording of the respective object via the cameras of the stereo camera. This distinguishes a stereo camera for triangulatory object distance determination from a stereoscopic camera, which only creates a spatial impression of an image capture and which is described, for example, in the US 2015/296 200 A1 The use of a SPAD array can reduce motion blur and can be used to improve the contrast of an image acquisition.

Die Synchronisation und insbesondere die zeitgleiche Objekterfassung bei der triangulatorischen Objekt-Abstandsbestimmung ermöglicht es, auch fremdbewegte Objekte in ihrer Entfernung präzise zu erfassen, da dann der Einfluss einer zusätzlichen Relativgeschwindigkeit aufgrund der Fremdbewegung des Objekts die Entfernungsbestimmung nicht beeinflusst.Synchronization and, in particular, simultaneous object detection in triangulatory object distance determination makes it possible to precisely detect the distance of even externally moving objects, since the influence of an additional relative speed due to the external movement of the object does not then affect the distance determination.

Eine Brennweite f der jeweiligen Kamera einer Stereokamera, die Baseline b der Stereokamera sowie eine Disparität D, also ein Unterschied zwischen Bildkoordinaten von Abbildungspositionen des gleichen Punktes auf den Sensor-Arrays der Kameras der Stereokamera, werden so aufeinander abgestimmt, dass unter Einbeziehung der Beziehung $d = f b / D$

für den zu erfassenden Objekt-Abstandswert d gilt:

3 m \leq d \leq 300 m

A focal length f of the respective camera of a stereo camera, the baseline b of the stereo camera and a disparity D, i.e. a difference between image coordinates of imaging positions of the same point on the sensor arrays of the cameras of the stereo camera, are coordinated in such a way that, taking into account the relationship

d = f b / D

for the object distance value d to be recorded:

3 m \leq d \leq 300 m

Zusätzlich kann die Vorrichtung so ausgelegt sein, dass ein entsprechender Objekt-Entfernungsbereich über die TOF-Bilderfassungsfunktionalität der Vorrichtung erfasst wird.In addition, the device can be designed so that a corresponding object distance area is captured via the device's TOF imaging functionality.

Bei der Blitzlichtquelle kann es sich um eine gesteuerte Blitzlampe handeln oder auch um eine entsprechend zeitgesteuerte LED- oder Laser-Lichtquelle. Es können Blitzlichtquellen zum Einsatz kommen, die zum Einsatz beispielsweise bei LIDAR-Vorrichtungen bekannt sind.The flash light source can be a controlled flash lamp or a time-controlled LED or laser light source. Flash light sources can be used that are known for use in LIDAR devices, for example.

Eine Blitzbeleuchtungsdauer der Blitzlichtquelle kann im Bereich zwischen 10 ns und 200 ns, beispielsweise im Bereich von 100 ns, liegen. Eine Detektionsdauer der Sensor-Arrays der mindestens einen Stereokamera ist regelmäßig so vorgegeben, dass sie doppelt so groß ist wie die Blitzbeleuchtungsdauer der Blitzlichtquelle. Die Detektionsdauer kann im Bereich zwischen 20 ns und 400 ns, beispielsweise im Bereich von 200 ns, liegen.A flash illumination duration of the flash light source can be in the range between 10 ns and 200 ns, for example in the range of 100 ns. A detection duration of the sensor arrays of the at least one stereo camera is usually specified so that it is twice as long as the flash illumination duration of the flash light source. The detection duration can be in the range between 20 ns and 400 ns, for example in the range of 200 ns.

Sowohl die Blitzbeleuchtungsdauer als auch die Detektionsdauer können über die Steuereinrichtung einstellbar vorgebbar sein.Both the flash illumination duration and the detection duration can be set via the control device.

Die Synchronisierungseinheit kann Teil der Steuereinrichtung sein. Teil der Steuereinrichtung kann eine Speichereinheit insbesondere in Form eines Flash-Speichers sein. Die Synchronisationseinheit kann Bestandteil einer Synchronisationseinrichtung zur Synchronisation der Blitzlichtquelle und der Sensor-Arrays der Kameras der mindestens einen Stereokamera sein. Die Synchronisationseinrichtung kann wiederum Bestandteil der Steuereinrichtung der Bilderfassungs-Vorrichtung sein.The synchronization unit can be part of the control device. Part of the control device can be a storage unit, in particular in the form of a flash memory. The synchronization unit can be part of a synchronization device for synchronizing the flash light source and the sensor arrays of the cameras of the at least one stereo camera. The synchronization device can in turn be part of the control device of the image capture device.

Eine Synchronisation, die über die Synchronisationseinrichtung bereitgestellt werden kann, kann besser sein als 5 ns, kann besser sein als 2 ns, kann besser sein als 1 ns und kann auch noch besser sein.Synchronization that can be provided by the synchronization device may be better than 5 ns, may be better than 2 ns, may be better than 1 ns, and may be even better.

Die Kameras der Stereokamera können lateral zur Vorwärtsrichtung voneinander beabstandet sein. Je nach Erfassungswinkel der Kameras und je nach Anwendungszweck und Haupt-Erfassungsrichtung der Stereokamera sind auch andere Kamera-Anordnungen der Stereokamera möglich.The cameras of the stereo camera can be spaced apart laterally to the forward direction. Depending on the detection angle of the cameras and depending on the application and main detection direction of the stereo camera, other camera arrangements of the stereo camera are also possible.

Die Kameras der mindestens einen Stereokamera können eine Tele-Optik zur Erfassung von Objekten im Entfernungsbereich zwischen 50 m und 300 m aufweisen. Je nach Anwendungszweck können die Kameras der Stereokamera auch mit Optiken anderer Brennweiten ausgerüstet sein. Diese Kameraoptiken sind so ausgeführt, dass ein gesamter vorgegebener Entfernungsbereich insbesondere zwischen 3 m und 300 m abgedeckt wird. Grundsätzlich können auch noch kleinere Entfernungen abgedeckt werden.The cameras of the at least one stereo camera can have a telephoto lens for detecting objects in the distance range between 50 m and 300 m. Depending on the application, the cameras of the stereo camera can also be equipped with lenses of other focal lengths. These camera lenses are designed in such a way that an entire specified distance range is covered, in particular between 3 m and 300 m. In principle, even smaller distances can be covered.

Die Entfernungsbereiche der triangulatorischen Objekterfassung einerseits und der TOF-Entfernungserfassung andererseits sind aufeinander abgestimmt und können beispielsweise gleich sein. Auch eine Teilüberdeckung dieser Entfernungsbereiche ist möglich, sodass in einem Entfernungsbereich beide Entfernungsbestimmungsprinzipien „triangulatorisch“ und „TOF“ zur Verfügung stehen und in anderen Entfernungsbereichen eines dieser Prinzipien.The distance ranges of the triangulatory object detection on the one hand and the TOF distance detection on the other hand are coordinated with each other and can, for example, be the same. Partial overlap of these distance ranges is also possible, so that both distance determination principles "triangulatory" and "TOF" are available in one distance range and one of these principles is available in other distance ranges.

Mittels der Kameras der mindestens einen Stereokamera kann eine Korrespondenzanalyse zur Identifizierung von sich von einem Hintergrund unterscheidenden, in einem interessierenden Sichtbereich vorliegenden Objekten stattfinden. Methoden einer entsprechenden Korrespondenzanalyse sind bekannt aus der WO 2022/069 424 A1 und der WO 2022/069 425 A2 . Zur Vorbereitung eines Betriebs der Vorrichtung kann eine Stereo-Kalibrierung der Kameras der mindestens einen Stereokamera erfolgen, die grundsätzlich bekannt ist aus der WO 2022/069 424 A1 und der DE 10 2011 080 102 B3 .Using the cameras of the at least one stereo camera, a correspondence analysis can be carried out to identify objects that differ from a background and are present in a field of view of interest. Methods of a corresponding correspondence analysis are known from WO 2022/069 424 A1 and the WO 2022/069 425 A2 . In preparation for operation of the device, a stereo calibration of the cameras of the at least one stereo camera can be carried out, which is basically known from the WO 2022/069 424 A1 and the DE 10 2011 080 102 B3 .

Die mindestens eine Stereokamera kann mehr als zwei zueinander beabstandete Kameras aufweisen, was insbesondere einen Wechsel zwischen verschiedenen Baselines ermöglicht, was ebenfalls beispielsweise in der WO 2022/069 424 A1 beschrieben ist.The at least one stereo camera can have more than two cameras spaced apart from each other, which in particular enables a change between different baselines, which is also possible, for example, in the WO 2022/069 424 A1 described.

Weitere Objektinformationen, insbesondere Objekt-Abstandsinformationen, können durch Auswertung eines Objekt-Schattenwurfs erfolgen, der von einem Objekt innerhalb der erfassten Umgebung als Schatten der Blitzbeleuchtung geworfen wird und von den beiden zueinander beabstandeten Kameras der mindestens einen Stereokamera unterschiedlich abgebildet wird. Insbesondere eine Höhe des Objektes kann ermittelt werden, weil ein Bild eines Objektschattens von der Höhenlage und der seitlichen Ablage des Objekts abhängig ist.Further object information, in particular object distance information, can be obtained by evaluating an object shadow that is cast by an object within the captured environment as a shadow of the flash lighting and is imaged differently by the two cameras of the at least one stereo camera that are spaced apart from each other. In particular, a height of the object can be determined because an image of an object shadow depends on the height and lateral position of the object.

Mit der Vorrichtung kann eine räumliche Bilderfassung der relativ zur Vorrichtung bewegten oder auch unbewegten Umgebung erreicht werden, die, beispielsweise beim Einsatz der Vorrichtung als Bestandteil eines Fahrzeugs, eine fahrerunterstützende Funktion oder auch die Funktion eines autonomen Fahrens ermöglicht.The device can be used to capture spatial images of the environment, whether moving or stationary relative to the device, which enables a driver-assisting function or even the function of autonomous driving, for example when the device is used as part of a vehicle.

Die Blitzlichtquelle der Vorrichtung oder eine weitere Lichtquelle der Vorrichtung zur Umgebungsbeleuchtung kann einen Messlichtstrahl aufweisen, der über seinen Strahlquerschnitt texturiert beziehungsweise strukturiert ist. Eine derartige Texturierung/Strukturierung des Messlichtstrahls kann dadurch erfolgen, dass dieser als Vielzahl von einzelnen, die Umgebung in Form eines Rasters erfassenden Einzelstrahlen aufgebaut ist. Eine derartige Lichtquelle zur Erzeugung eines texturierten/strukturierten Messlichtstrahls kann als Laser ausgeführt sein. Beispiele für eine Detektionseinrichtung, die mittels eines solchen texturierten/strukturierten Messlichtstrahls arbeitet, finden sich in der DE 10 2018 213 976 A1 und den dort angegebenen Referenzen, insbesondere in der WO 2012/095 258 A1 , der US 9,451,237 und der WO 2013/020 872 A1 . Mithilfe einer derartigen texturierten/strukturierten Beleuchtung können optisch unstrukturierte, insbesondere diffuse Streumedien innerhalb der umfassten Umgebung hinsichtlich ihres Abstandes vermessen werden. Bei derartigen diffusen Streumedien kann es sich beispielsweise um Nebel, Rauch oder Staub handeln.The flash light source of the device or another light source of the device for ambient lighting can have a measuring light beam that is textured or structured over its beam cross-section. Such texturing/structuring of the measuring light beam can be achieved by structuring it as a plurality of individual beams that capture the environment in the form of a grid. the individual beams. Such a light source for generating a textured/structured measuring light beam can be designed as a laser. Examples of a detection device that works by means of such a textured/structured measuring light beam can be found in the DE 10 2018 213 976 A1 and the references given therein, in particular in the WO 2012/095 258 A1 , the US 9,451,237 and the WO 2013/020 872 A1 With the help of such textured/structured lighting, optically unstructured, particularly diffuse scattering media within the surrounding area can be measured in terms of their distance. Such diffuse scattering media can be, for example, fog, smoke or dust.

Mittels der Vorrichtung zur räumlichen Bilderfassung kann eine Formredundanz und/oder eine Funktionsredundanz erreicht werden. Eine Formredundanz ist dann erreicht, wenn unterschiedliche Technologien zur Ermittlung ein und derselben Messgröße genutzt werden. Eine Funktionsredundanz liegt dann vor, wenn mehrere Vorrichtungen derselben Technologie zur Messung ein und derselben Messgröße verwendet werden. Diese Begriffe „Formredundanz“ und „Funktionsredundanz“ sind hauptsächlich im Bereich der Luftfahrt gebräuchlich. Dort wird eine Kombination aus Form- und Funktionsredundanz gefordert, damit Mehrfachauswirkungen eines Fehlers vermieden werden. Derartige Redundanzen können, je nach Applikation der Vorrichtung, gesetzlich vorgeschrieben sein.Form redundancy and/or function redundancy can be achieved using the spatial image acquisition device. Form redundancy is achieved when different technologies are used to determine one and the same measurement variable. Function redundancy exists when several devices of the same technology are used to measure one and the same measurement variable. The terms "form redundancy" and "function redundancy" are mainly used in the aviation sector. There, a combination of form and function redundancy is required to avoid multiple effects of an error. Such redundancies can be required by law, depending on the application of the device.

Mindestens eine weitere Blitzlichtquelle und/oder mindestens eine weitere Stereokamera nach Anspruch 2 ermöglichen eine zusätzliche Funktionsredundanz der Vorrichtung. Bei Vorsehen mindestens einer weiteren Blitzlichtquelle kann beispielsweise nach Ausfall der zunächst eingesetzten Blitzlichtquelle auf die weitere Blitzlichtquelle umgeschaltet werden, sodass eine längere Betriebspause der Vorrichtung vermieden ist. Bei Einsatz mindestens einer weiteren Stereokamera kann, beispielsweise bei parallelem triangulatorischen Vermessen über zwei Stereokameras, eine weitere Redundanz bei der Objekt-Abstandsbestimmung erreicht werden.At least one further flash light source and/or at least one further stereo camera according to claim 2 enable additional functional redundancy of the device. If at least one further flash light source is provided, it is possible to switch to the further flash light source after the failure of the initially used flash light source, so that a longer break in operation of the device is avoided. If at least one further stereo camera is used, for example with parallel triangulation measurements using two stereo cameras, further redundancy in the object distance determination can be achieved.

Die Kameras der weiteren Stereokamera können wiederum jeweils ein Sensor-Array mit gesteuerter Vorgabe eines Detektionsbeginns und einer Detektionsdauer aufweisen, sodass die weitere Stereokamera in ihrer Funktion grundsätzlich die ursprünglich eingesetzte Stereokamera ersetzen kann. Auch eine redundante TOF-Bestimmung von Objekt-Abständen ist über zwei entsprechende Stereokameras mit gesteuerter Vorgabe des Detektionsbeginns und der Detektionsdauer möglich, was eine zusätzliche Sicherheit bei der Objekt-Abstandsbestimmung liefert und beispielsweise Synchronisationsprobleme erkennen hilft.The cameras of the additional stereo camera can each have a sensor array with a controlled specification of a detection start and a detection duration, so that the additional stereo camera can basically replace the function of the stereo camera originally used. A redundant TOF determination of object distances is also possible using two corresponding stereo cameras with a controlled specification of the detection start and the detection duration, which provides additional security when determining the object distance and helps to identify synchronization problems, for example.

Bei Verwendung mehrerer Stereokameras ist zudem eine Zuordnung von Kameras verschiedener Stereokameras zu einer neuen „virtuellen“ Stereokamera mit entsprechend veränderter Baseline möglich, was eine weitere Redundanz beziehungsweise Sicherheit bei der Objekt-Abstandsbestimmung ermöglicht. Es kann beispielsweise dasjenige Kamerapaar zur Baseline-Vorgabe ausgewählt werden, welches sich in Bezug auf ein bestimmtes Umgebungs-Objekt für eine Triangulationsbestimmung als besonders günstig herausstellt.When using multiple stereo cameras, it is also possible to assign cameras from different stereo cameras to a new "virtual" stereo camera with a correspondingly modified baseline, which allows for further redundancy or security when determining the distance to objects. For example, the camera pair that proves to be particularly suitable for triangulation determination in relation to a specific surrounding object can be selected as the baseline.

Mindestens eine Fischaugen-Stereokamera nach Anspruch 3 ermöglicht den Einsatz zusätzlicher Triangulations-Baselines, was zur Erfassung weiterer Umgebungs-Objekte und/oder zur Kontrolle von Objekt-Abstandsergebnissen der anderen Stereokameras und/oder zur Kalibrierung der anderen Stereokameras, insbesondere von mit Tele-Optik-Kameras ausgeführten Stereokameras, genutzt werden kann. Bei der Haupterfassungsrichtung kann es sich um die Vorwärtsrichtung einer Relativbewegung der Vorrichtung zur Umgebung handeln. Die Nutzung von Fischaugen-Kameras ist aus den oben genannten Referenzen sowie aus der WO 2022/179 998 A1 bekannt. Eine Fischaugen-Kamera, die möglichst steif an eine Tele-Optik-Kamera befestigt ist, erlaubt eine genauere Kalibrierung der Stereokameras zueinander, wegen des größeren Öffnungswinkels der Fischaugen-Kamera. Eine inertiale Messeinheit (Inertial Measurement Unit, IMU) in den Kameras der jeweiligen Stereokamera erlaubt eine weitere Optimierung der relativen Kalibrierung. Mittels der IMU kann insbesondere eine Drehrate, also eine Relativverkippung der jeweiligen Kamera um eine definierte Kippachse, bestimmt werden.At least one fisheye stereo camera according to claim 3 enables the use of additional triangulation baselines, which can be used to detect additional objects in the environment and/or to check object distance results of the other stereo cameras and/or to calibrate the other stereo cameras, in particular stereo cameras designed with tele-optical cameras. The main detection direction can be the forward direction of a relative movement of the device to the environment. The use of fisheye cameras is clear from the above-mentioned references and from the WO 2022/179 998 A1 known. A fisheye camera, which is attached as rigidly as possible to a telephoto camera, allows a more precise calibration of the stereo cameras to each other, due to the larger opening angle of the fisheye camera. An inertial measurement unit (IMU) in the cameras of the respective stereo camera allows further optimization of the relative calibration. In particular, the IMU can be used to determine a rotation rate, i.e. a relative tilt of the respective camera around a defined tilt axis.

Die Vorrichtung kann mehrere Fischaugen-Stereokameras beinhalten, was eine zusätzliche Redundanz ermöglicht. Auch die Kameras der mindestens einen Fischaugen-Stereokamera können jeweils Sensor-Arrays mit gesteuerter Vorgabe eines Detektionsbeginns und einer Detektionsdauer aufweisen, sodass hierüber auch eine TOF-Bestimmung von Objekt-Abständen möglich ist. Grundsätzlich kann die mindestens eine Fischaugen-Stereokamera auch ohne TOF-Funktion ausgeführt sein. Soweit die Vorrichtung mehrere Fischaugen-Stereokameras aufweist, ist auch möglich, dass mindestens eine der Fischaugen-Stereokameras mit TOF-Funktion und mindestens eine weitere der Fischaugen-Stereokameras ohne TOF-Funktion ausgeführt ist.The device can contain several fisheye stereo cameras, which enables additional redundancy. The cameras of the at least one fisheye stereo camera can also each have sensor arrays with controlled specification of a detection start and a detection duration, so that a TOF determination of object distances is also possible. In principle, the at least one fisheye stereo camera can also be designed without a TOF function. If the device has several fisheye stereo cameras, it is also possible for at least one of the fisheye stereo cameras to be designed with a TOF function and at least one other of the fisheye stereo cameras to be designed without a TOF function.

Grundsätzlich kann die Vorrichtung gemäß den obigen Ansprüchen so genutzt werden, dass hierüber mittels der TOF-Komponenten genau ein Entfernungsbereich erfasst wird, beispielsweise im Abstandsbereich zwischen 30 m und 300 m, insbesondere zwischen 100 m und 200 m, zur Vorrichtung.In principle, the device according to the above claims can be used in such a way that exactly one distance range is detected by means of the TOF components, for example in Distance range between 30 m and 300 m, in particular between 100 m and 200 m, from the device.

Die eingangs genannte Aufgabe ist zudem gelöst durch ein Betriebsverfahren mit den im Anspruch 5 angegebenen Merkmalen.The object mentioned at the outset is also achieved by an operating method having the features specified in claim 5.

Das Betriebsverfahren nach Anspruch 5 ermöglicht einen Echtzeitbetrieb der Vorrichtung, sodass beispielsweise autonomes Fahren beim Einsatz der Vorrichtung als Bestandteil eines Fahrzeugs möglich ist.The operating method according to claim 5 enables real-time operation of the device, so that, for example, autonomous driving is possible when using the device as part of a vehicle.

Beim Betriebsverfahren nach Anspruch 5 wird ein abgedeckter Gesamt-Entfernungsbereich unterteilt in eine Mehrzahl von aneinander angrenzenden oder miteinander teilweise überlappenden Entfernungsbereichen. Es können dabei beispielsweise drei bis 100 derartige Entfernungsbereiche über entsprechende Bilderfassungsparameter vorgegeben werden, beispielsweise 50 Entfernungsbereiche, die innerhalb des Gesamt-Entfernungsbereichs liegen. Beim Betrieb der Vorrichtung kann der Gesamt-Entfernungsbereich über die vorgegebenen einzelnen Entfernungsbereiche mehrmals in der Sekunde, beispielsweise mit einer Rate von 10 Hertz, erfasst werden. Beim Betrieb kann mit dem innerhalb des Gesamt-Entfernungsbereichs entferntesten Entfernungsbereich begonnen werden. Dies stellt sicher, dass beim Überschreiben von in einem vorhergehenden Erfassungsschritt erfassten Bildern mit einem jeweils zuletzt erfassten Bild in nicht herausgefilterten Bildbereichen des zuletzt erfassten Bildes nahe Objekte entferntere Objekte überschreiben, sodass das Ergebnis des Betriebsverfahrens, nämlich das zuletzt aktualisierte, ausgegebene Bild, in jedem Fall die der Vorrichtung nächst benachbarten Objekte darstellt, worauf dann beispielsweise durch Eingriff in eine Bewegung der Vorrichtung reagiert werden kann. Ein Zwischenspeichern von in jeweils vorhergehenden Erfassungsschritten erfassten Bildern kann dann entfallen, was die Geschwindigkeit des Verfahrensablaufs erhöht.In the operating method according to claim 5, a covered total distance range is divided into a plurality of distance ranges that are adjacent to one another or partially overlap one another. For example, three to 100 such distance ranges can be specified using corresponding image acquisition parameters, for example 50 distance ranges that lie within the total distance range. When the device is operating, the total distance range can be recorded over the specified individual distance ranges several times a second, for example at a rate of 10 Hertz. During operation, the most distant distance range within the total distance range can be started. This ensures that when images recorded in a previous recording step are overwritten with a most recently recorded image, nearby objects overwrite more distant objects in non-filtered image areas of the most recently recorded image, so that the result of the operating method, namely the most recently updated, output image, always represents the objects closest to the device, to which it is then possible to react, for example, by intervening in a movement of the device. Buffering of images captured in previous acquisition steps can then be eliminated, which increases the speed of the process.

Das zuletzt aktualisierte, ausgegebene Bild ist ein 2D-Bild mit nicht herausgefilterten Objekten in allen innerhalb des Gesamt-Entfernungsbereichs erfassten Entfernungsbereichen. Auch im Laufe des Betriebsverfahrens überschriebene Informationen der innerhalb des Gesamt-Entfernungsbereichs früher erfassten Entfernungsbereiche können für eine unabhängige räumliche (3D-) Auswertung erhalten bleiben.The last updated output image is a 2D image with unfiltered objects in all distance ranges recorded within the total distance range. Information from the distance ranges recorded earlier within the total distance range that was overwritten during the operating procedure can also be retained for independent spatial (3D) evaluation.

Zu den jeweils nicht herausgefilterten Objekten, die dem jeweiligen Erfassungsschritt zugeordnet sind, ergibt das Verfahren als Ergebnis einen Entfernungsbereich, in dem das Objekt relativ zur Vorrichtung vorliegt. Diese resultierenden Objekt-Entfernungsinformationen, die mittels der TOF-Bilderfassung ermittelt werden, ermöglichen im Zusammenspiel mit einer über die mindestens eine Stereokamera ermöglichten triangulatorischen Entfernungserfassung eine Formredundanz des Betriebsverfahrens.For the objects not filtered out that are assigned to the respective detection step, the method results in a distance range in which the object is present relative to the device. This resulting object distance information, which is determined using the TOF image capture, enables a form redundancy of the operating method in conjunction with a triangulatory distance capture enabled by the at least one stereo camera.

Als Entfernungsinformation kann eine jeweils geringste Entfernung des erfassten Objekts ausgegeben werden oder auch eine Entfernung pro Objekt-Bildpunkt des jeweiligen Sensor-Arrays.The distance information can be output as the smallest distance of the detected object or as a distance per object pixel of the respective sensor array.

Insgesamt resultiert eine einerseits sichere und andererseits vorausschauende Bilderfassung, die an die Erfordernisse insbesondere einer Fahrerunterstützung oder auch eines autonomen Fahrens gut angepasst ist.The overall result is an image capture that is both safe and predictive, and is well adapted to the requirements of driver assistance or autonomous driving in particular.

Beim digitalen Filtern zum Herausfiltern strukturloser Bildbereiche kann eine Stereo-Korrespondenzbestimmung zum Einsatz kommen, die beispielsweise beschrieben ist in der WO 2022/069 424 A1 .When digitally filtering to filter out structureless image areas, a stereo correspondence determination can be used, which is described, for example, in the WO 2022/069 424 A1 .

Ein zeitlicher Überlapp nach Anspruch 6 ermöglicht einen schnellen Ablauf des Betriebsverfahrens. Der zeitliche Überlapp kann derart sein, dass mindestens zwei Entfernungsbereiche mit gleichzeitigem Detektionsbeginn und gleicher Detektionsdauer mit den Sensor-Arrays gleichzeitig erfasst werden, wobei diese Erfassungsbereiche durch unterschiedliche Vorgabe des jeweiligen Blitzlichtbeleuchtungsbeginns und/oder der jeweiligen Blitzbeleuchtungsdauer hinsichtlich ihrer Bilderfassungsparameter vorgegeben werden. Es ist auch möglich, die Wiederholungssequenz des Betriebsverfahrens so zu gestalten, dass tatsächlich eine Detektion genau zu einem Zeitraum, also bei einem vorgegebenen Detektionsbeginn und mit einer vorgegebenen Detektionsdauer, für alle vorgegebenen Entfernungsbereiche erfolgt. Durch diese gleichzeitige Detektionserfassung von mindestens zwei Erfassungsbereichen kann ein Bildverarbeitungsaufwand reduziert und eine Beschleunigung des gesamten Verfahrens erreicht werden.A temporal overlap according to claim 6 enables the operating method to run quickly. The temporal overlap can be such that at least two distance ranges with simultaneous detection start and the same detection duration are simultaneously recorded with the sensor arrays, whereby these detection ranges are specified by different specifications of the respective flash illumination start and/or the respective flash illumination duration with regard to their image recording parameters. It is also possible to design the repetition sequence of the operating method in such a way that a detection actually takes place at exactly one time, i.e. at a specified detection start and with a specified detection duration, for all specified distance ranges. This simultaneous detection of at least two detection ranges can reduce the image processing effort and speed up the entire process.

Sich voneinander unterscheidende Entfernungs-Ausdehnungen der Entfernungsbereiche nach Anspruch 7 ermöglichen insbesondere, eine Entfernungs-Empfindlichkeit abhängig von der Entfernung vorzugeben, was ebenfalls hilft, eine Ablaufdauer des Betriebsverfahrens zu verkürzen. Mit zunehmender Entfernung kann beispielsweise die Entfernungs-Ausdehnung des jeweiligen Entfernungsbereiches vergrößert werden, insbesondere progressiv vergrößert werden.Different distance extensions of the distance ranges according to claim 7 make it possible in particular to specify a distance sensitivity depending on the distance, which also helps to shorten the duration of the operating method. With increasing distance, for example, the distance extension of the respective distance range can be increased, in particular increased progressively.

Eine zusätzliche Triangulationsbestimmung nach Anspruch 8 ermöglicht einen Abgleich von Objekt-Abstandswerten, die einerseits über das Entfernungsbereich-aufgelöste Erfassen mithilfe der TOF-Bilderfassungsparameter und andererseits mittels der Triangulation bestimmt wurden.An additional triangulation determination according to claim 8 enables a comparison of object distance values, which on the one hand are determined via the distance-range-resolved detection using the TOF image acquisition parameters and, on the other hand, by means of triangulation.

Eine ROI-Vorgabe nach Anspruch 9 ermöglicht eine Reduktion der zu verarbeitenden Bilddaten, was das Verfahren zudem verkürzen kann. Bei der vorgegebenen ROI kann es sich um einen Straßenbereich in der Vorwärtsrichtung handeln.A ROI specification according to claim 9 enables a reduction in the image data to be processed, which can also shorten the method. The specified ROI can be a road area in the forward direction.

Ein Betriebsverfahren nach Anspruch 10 kann alternativ oder zusätzlich zum vorstehend erläuterten Betriebsverfahren zum Einsatz kommen. Ein derartiges Betriebsverfahren ermöglicht eine redundante Entfernungsbestimmung eines jeweiligen Objektabstandes. Hierüber kann insbesondere eine Formredundanz bereitgestellt werden, also eine Redundanz, gegeben durch Verwendung unterschiedlicher Technologien zur Entfernungserfassung.An operating method according to claim 10 can be used as an alternative or in addition to the operating method explained above. Such an operating method enables redundant distance determination of a respective object distance. In particular, this can provide form redundancy, i.e. redundancy provided by using different technologies for distance detection.

Die Nutzung der erfassten TOF-Entfernung als Eingangsgröße für die triangulatorische Erfassung nach Anspruch 11 kann eine Korrespondenzanalyse bei der triangulatorischen Erfassung erleichtern. Insbesondere kann bei der Korrespondenzanalyse ein abzudeckender Disparitätsbereich eingegrenzt werden. Umgekehrt kann auch die triangulatorisch erfasste Entfernung als Eingangsgröße für eine TOF-Erfassung genutzt werden. Die Verwendung einer erfassten Objektentfernung kann im Betrieb der Vorrichtung zum Nachverfolgen beziehungsweise Tracken von erfassten Objekten genutzt werden. Es kann genau ein derartiges Objekt nachverfolgt werden oder auch eine Mehrzahl derartiger Objekte kann gleichzeitig nachverfolgt werden. Objekt-Nachverfolgungsschritte können sich mit Erfassungsschritten eines gesamten vorgegebenen Entfernungsbereichs abwechseln. Zum Objekt-Tracken können Bilderfassungsparameter der TOF-Entfernungserfassung und/oder der triangulatorischen Entfernungserfassung an eine bei der Nachverfolgung zu erwartende Objektentfernung angepasst werden.The use of the recorded TOF distance as an input variable for the triangulatory detection according to claim 11 can facilitate a correspondence analysis in the triangulatory detection. In particular, the correspondence analysis can be used to limit a disparity range to be covered. Conversely, the triangulatory detected distance can also be used as an input variable for a TOF detection. The use of a recorded object distance can be used in the operation of the device for tracking or tracking detected objects. Exactly one such object can be tracked or a plurality of such objects can be tracked simultaneously. Object tracking steps can alternate with detection steps of an entire predetermined distance range. For object tracking, image acquisition parameters of the TOF distance detection and/or the triangulatory distance detection can be adapted to an object distance to be expected during tracking.

Eine Blitzintensitäts-/Entfernungsbereichs-Abstimmung nach Anspruch 12 ermöglicht es insbesondere, einen Rückschluss auf im Blitzlicht- und/oder im Kamera-Erfassungsweg vorliegende diffuse Streumedien zu ziehen. Ein sicherer Vorrichtungsbetrieb auch in nebliger, staubiger oder verrauchter Umgebung ist dann möglich.A flash intensity/distance range adjustment according to claim 12 makes it possible in particular to draw a conclusion about diffuse scattering media present in the flashlight and/or camera detection path. Safe device operation is then possible even in foggy, dusty or smoky environments.

Eine quadratische Abhängigkeit der Blitzintensität von der zu erfassenden Entfernung nach Anspruch 13 ermöglicht insbesondere dann, wenn sich die Beleuchtungsintensität quadratisch mit wachsendem Entfernungsbereich erhöht, eine Abstimmung derart, dass bei identischer Umgebungs-Rückstreuung und zu vernachlässigender Streuung längs eines Blitz- und längs eines Erfassungsweges zwischen Quelle und Objekt eine Aussteuerung einer konstanten Intensitätsausleuchtung des mindestens einen Sensor-Arrays. Dies kann zur Bestimmung diffuser Streumedien im erfassten Entfernungsbereich genutzt werden.A quadratic dependence of the flash intensity on the distance to be detected according to claim 13 enables, particularly when the illumination intensity increases quadratically with increasing distance range, a tuning such that with identical ambient backscattering and negligible scattering along a flash path and along a detection path between source and object, a control of a constant intensity illumination of the at least one sensor array is possible. This can be used to determine diffuse scattering media in the detected distance range.

Eine Regelung einer Pixelempfindlichkeit nach Anspruch 14 kann insbesondere nicht linear zur einfallenden Lichtintensität erfolgen. Es kann insbesondere eine Gamma-Korrektur (γ) erfolgen. Die Empfindlichkeit des mindestens einen Sensor-Arrays kann dann spezifisch an bei der Anwendung vorliegende Beleuchtungs- und/oder Detektionsverhältnisse angepasst werden.A regulation of a pixel sensitivity according to claim 14 can in particular not be carried out linearly to the incident light intensity. In particular, a gamma correction (γ) can be carried out. The sensitivity of the at least one sensor array can then be specifically adapted to the lighting and/or detection conditions present in the application.

Eine angepasste Entfernungsbereichs-/Bewegungsmodus-Auswahl nach Anspruch 15 ermöglicht eine effiziente Ausnutzung insbesondere einer Rechnerleistung der Vorrichtung und kann auch eine Betriebssicherheit erhöhen.An adapted distance range/movement mode selection according to claim 15 enables efficient utilization, in particular, of a computing power of the device and can also increase operational reliability.

Bei der Auswertung mit triangulatorischer Stereoskopie bei binokularem Sehen werden zwei Bilder verglichen, so dass eventuelle Helligkeitsänderungen durch veränderte Dichteverläufe in erster Näherung vernachlässigt werden können. Bei Vergleich der Bilder mit trainierten Daten (Neuronale Netze, KI) bei monokularem Sehen erhöht eine homogene Helligkeitsverteilung über die Entfernung die Entdeckungsleistung, sich verändernde Dichteverteilungen erschweren dagegen eine sichere Objekterkennung.When evaluating with triangulatory stereoscopy in binocular vision, two images are compared so that possible changes in brightness due to changes in density can be neglected in a first approximation. When comparing the images with trained data (neural networks, AI) in monocular vision, a homogeneous brightness distribution over the distance increases the detection performance, whereas changing density distributions make reliable object recognition more difficult.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der Zeichnung näher erläutert. In dieser zeigen:

1 schematisch eine Aufsicht auf eine Vorrichtung zur räumlichen Bilderfassung einer relativ zur Vorrichtung bewegten Umgebung, wobei ein Umgebungs-Objekt in Vorwärtsrichtung einer Relativbewegung der Vorrichtung zur Umgebung beispielhaft und perspektivisch veranschaulicht ist;
2 ein Zeitdiagramm zur Verdeutlichung von Bilderfassungsparametern beim Betrieb der Vorrichtung nach 1;
3 in einer zur 1 ähnlichen Darstellung eine weitere Ausführung einer Vorrichtung zur räumlichen Bilderfassung einer relativ zur Vorrichtung bewegten Umgebung, wobei Umgebungs-Objekte in Vorwärtsrichtung einer Relativbewegung der Vorrichtung zur Umgebung beispielhaft und perspektivisch veranschaulicht sind;
4 in einer zur 2 ähnlichen Darstellung einen zeitlichen Ablauf eines Betriebsverfahrens der Vorrichtung nach 3; und
5 in einer Seitenansicht Hauptkomponenten einer Ausführung der Vorrichtung bei der räumlichen Bilderfassung einer Umgebung innerhalb von drei beispielhaften Entfernungsparametern, wobei innerhalb der erfassten Umgebung ein wolkenförmiges diffuses Streumedium vorliegt.

Embodiments of the invention are explained in more detail below with reference to the drawing, in which:

1 schematically shows a plan view of a device for spatial image capture of an environment moving relative to the device, wherein an environmental object is illustrated by way of example and in perspective in the forward direction of a relative movement of the device to the environment;
2 a timing diagram to illustrate image acquisition parameters during operation of the device according to 1 ;
3 in a 1 similar representation, a further embodiment of a device for spatial image capture of an environment moving relative to the device, wherein environmental objects in the forward direction of a relative movement of the device to the environment are illustrated by way of example and in perspective;
4 in a 2 similar representation a chronological sequence of an operating procedure of the device according to 3 ; and
5 in a side view, main components of an embodiment of the device in the spatial image capture of an environment within three exemplary distance parameters, wherein a cloud-shaped diffuse scattering medium is present within the captured environment.

1 zeigt eine Aufsicht auf eine Vorrichtung 1 zur räumlichen Bilderfassung einer relativ zu der Vorrichtung 1 bewegten Umgebung, die anhand eines Umgebungs-Objekts 2 in Form eines zylindrischen Körpers veranschaulicht ist. 1 shows a plan view of a device 1 for spatial image capture of an environment moving relative to the device 1, which is illustrated by an environmental object 2 in the form of a cylindrical body.

Die Vorrichtung 1 kann Bestandteil eines Fahrzeugs 3, beispielsweise eines PKW oder eines LKW, sein. Eine Vorwärtsrichtung der Relativbewegung der Vorrichtung 1 zur Umgebung ist in der 1 durch einen Pfeil 4 veranschaulicht.The device 1 can be part of a vehicle 3, for example a car or a truck. A forward direction of the relative movement of the device 1 to the environment is shown in the 1 illustrated by an arrow 4.

Die Vorrichtung 1 hat mehrere Stereokameras zur triangulatorischen Objekt-Abstandsmessung von Objekten innerhalb der erfassten Umgebung in der Vorwärtsrichtung 4, also insbesondere zur Abstandsbestimmung des Objekts 2.The device 1 has several stereo cameras for triangulatory object distance measurement of objects within the detected environment in the forward direction 4, i.e. in particular for determining the distance of the object 2.

Eine erste Stereokamera 5 dieser Stereokameras hat zwei zueinander beabstandete Kameras 5₁, 5₂. Ein Abstand A dieser Kameras 5₁, 5₂ der Stereokamera 5 ergibt eine Länge einer Baseline der Stereokamera 5, also eine Länge eines Abstandes von Zentren von Eintrittspupillen der Kameras 5₁, 5₂ der Stereokamera. Die Kameras 5₁, 5₂ der Stereokamera 5 haben jeweils ein Sensor-Array 6₁, 6₂ mit gesteuerter Vorgabe eines Detektionsbeginns der jeweiligen Kamera 5₁ und 5₂ und einer Detektionsdauer der jeweiligen Kamera 5₁, 5₂. Die Sensor-Arrays 6₁, 6₂ sind nach Art entsprechender Sensoren von Time of Flight (TOF)-Kameras ausgeführt und können eine Detektionsdauer im Bereich zwischen 1 ns und 500 ns realisieren. Eine typische Detektionsdauer liegt im Bereich zwischen 50 ns und 400 ns, beispielsweise zwischen 150 ns und 250 ns.A first stereo camera 5 of these stereo cameras has two cameras 5 ₁ , 5 ₂ spaced apart from one another. A distance A between these cameras 5 ₁ , 5 ₂ of the stereo camera 5 results in a length of a baseline of the stereo camera 5, i.e. a length of a distance from the centers of the entrance pupils of the cameras 5 ₁ , 5 ₂ of the stereo camera. The cameras 5 ₁ , 5 ₂ of the stereo camera 5 each have a sensor array 6 ₁ , 6 ₂ with controlled specification of a start of detection for the respective camera 5 ₁ and 5 ₂ and a detection duration for the respective camera 5 ₁ , 5 ₂ . The sensor arrays 6 ₁ , 6 ₂ are designed in the manner of corresponding sensors of time of flight (TOF) cameras and can realize a detection duration in the range between 1 ns and 500 ns. A typical detection time is in the range between 50 ns and 400 ns, for example between 150 ns and 250 ns.

Die Sensor-Arrays 6₁, 6₂ können jeweils 100 × 100 Pixel oder auch 200 × 200 Pixel aufweisen. Grundsätzlich ist auch eine höhere Pixelanzahl möglich, insbesondere eine Anzahl von 640 x 480 oder auch von 1440 x 1080 Pixeln.The sensor arrays 6 ₁ , 6 ₂ can each have 100 × 100 pixels or 200 × 200 pixels. In principle, a higher number of pixels is also possible, in particular a number of 640 x 480 or 1440 x 1080 pixels.

Die Sensor-Arrays 6₁, 6₂ können als CMOS-Array ausgeführt sein.The sensor arrays 6 ₁ , 6 ₂ can be designed as CMOS arrays.

Die Kameras 5₁, 5₂ haben eine Tele-Optik zur Erfassung von Objekten im Entfernungsbereich zwischen 50 m und 300 m.The cameras 5 ₁ , 5 ₂ have a telephoto lens for detecting objects at a distance of between 50 m and 300 m.

Zur Vorrichtung 1 gehört weiterhin eine Blitzlichtquelle 7, die ebenfalls nach Art der Lichtquelle einer TOF-Kamera ausgeführt sein kann und eine gesteuerte Vorgabe eines Blitzbeleuchtungsbeginns und einer Blitzbeleuchtungsdauer aufeinander folgender Beleuchtungsblitze ermöglicht. Eine Blitzbeleuchtungsdauer kann im Bereich zwischen 5 ns und 150 ns, beispielsweise im Bereich von 100 ns liegen.The device 1 also includes a flash light source 7, which can also be designed like the light source of a TOF camera and enables a controlled specification of a flash illumination start and a flash illumination duration of successive illumination flashes. A flash illumination duration can be in the range between 5 ns and 150 ns, for example in the range of 100 ns.

2 verdeutlicht einen zeitlichen Ablauf beim Betrieb der Vorrichtung 1 mit der Stereokamera 5 und der Blitzlichtquelle 7. Zu einem Zeitpunkt t = 0 beginnt ein Beleuchtungsblitz der Blitzlichtquelle 7. t = 0 stellt somit den Beleuchtungsblitzbeginn eines in der 2 schematisch als Signalkasten dargestellten Beleuchtungsblitzes 8 dar. Eine Blitzbeleuchtungsdauer des Beleuchtungsblitzes 8 ist in der 2 mit Δt_flash angegeben. 2 illustrates a temporal sequence during operation of the device 1 with the stereo camera 5 and the flash light source 7. At a time t = 0, an illumination flash of the flash light source 7 begins. t = 0 thus represents the illumination flash start of a 2 schematically shown as a signal box. A flash duration of the lighting flash 8 is in the 2 indicated by Δt _flash .

Ebenfalls zum Zeitpunkt t = 0 startet eine Verzögerungszeit Δt_lag, die auch als Delay-Zeit bezeichnet ist. Diese Verzögerungszeit Δt_lag liegt im Bereich zwischen 300 ns und 2 ms und kann beispielsweise im Bereich zwischen 500 ns und 1 ms, zum Beispiel im Bereich zwischen 700 ns und 900 ns, zum Beispiel bei 800 ns, liegen.Also at time t = 0, a delay time Δt _lag starts, which is also called delay time. This delay time Δt _lag is in the range between 300 ns and 2 ms and can, for example, be in the range between 500 ns and 1 ms, for example in the range between 700 ns and 900 ns, for example 800 ns.

Nach Ablauf des Delay-Zeitraums Δt_lag beginnt zum Zeitpunkt t = t_E eine Detektion 9 durch das jeweilige Sensor-Array 6₁ beziehungsweise 6₂ der Stereokamera 5. t_E stellt somit den Detektionsbeginn dar. Das jeweilige Sensor-Array 6₁, 6₂ detektiert einfallendes Licht der Blitzlichtquelle 7 dann während einer Detektionsdauer Δt_exp.After the delay period Δt _lag has elapsed, a detection 9 by the respective sensor array 6 ₁ or 6 ₂ of the stereo camera 5 begins at time t = t _E. t _E thus represents the start of detection. The respective sensor array 6 ₁ , 6 ₂ then detects incident light from the flash light source 7 during a detection period Δt _exp .

Die Detektion 9 durch das jeweilige Sensor-Array 6₁, 6₂ der Stereokamera 5 ist in der 2 wiederum durch einen zeitlichen Kasten veranschaulicht. The detection 9 by the respective sensor array 6 ₁ , 6 ₂ of the stereo camera 5 is in the 2 again illustrated by a time box.

Die vorstehend erläuterten Bilderfassungsparameter, nämlich der Blitzbeleuchtungsbeginn (t = 0), die Blitzbeleuchtungsdauer Δt_flash, der Detektionsbeginn (t = t_E) und die Detektionsdauer Δt_exp werden zeitlich synchronisiert von einer Steuereinrichtung 10 der Vorrichtung 1 vorgegeben. Hierzu kann eine Synchronisationseinheit einer Synchronisationseinrichtung der Steuereinrichtung 10 genutzt werden.The image acquisition parameters explained above, namely the start of the flash illumination (t = 0), the duration of the flash illumination Δt _flash , the start of detection (t = t _E ) and the duration of detection Δt _exp are specified in a time-synchronized manner by a control device 10 of the device 1. A synchronization unit of a synchronization device of the control device 10 can be used for this purpose.

Die Steuereinrichtung 10 hat einen Bildprozessor zur Echtzeit-Datenverarbeitung. Hierbei kann es sich um einen Prozessor mit einem Field Programmable Gate Array (FPGA, im Feld programmierbare Logik-Gatter-Anordnung) handeln. Der Bildprozessor kann auf ein ultraschnelles, mittels der Steuereinrichtung 10 getriggertes Image Grabbing der von den Sensor-Arrays 6_i erfassten Einzelbilder getrimmt sein.The control device 10 has an image processor for real-time data processing. This can be a processor with a field programmable gate array (FPGA). The image processor can be trimmed for ultra-fast image grabbing of the individual images captured by the sensor arrays 6 _i , triggered by the control device 10.

Aufgrund der synchronisierten Vorgabe des Blitzlichtbeleuchtungsbeginns und des Detektionsbeginns gibt die Steuereinrichtung 10 zwangsläufig auch den Delay-Zeitraum Δt_lag zwischen dem Beleuchtungsblitzbeginn (t = 0) und dem Detektionsbeginn (t = t_E) der Vorrichtung 1 vor.Due to the synchronized setting of the flash illumination start and the detection At the beginning, the control device 10 necessarily also specifies the delay period Δt _lag between the start of the illumination flash (t = 0) and the start of detection (t = t _E ) of the device 1.

Korreliert mit der Lichtgeschwindigkeit ergibt sich ein mittels der Stereokamera 5 erfasster Entfernungsbereich 11 in der Vorwärtsrichtung 4 der Vorrichtung 1. Das Objekt 2 hat zur Vorrichtung 1 einen Abstand längs der Vorwärtsrichtung 4, der innerhalb dieses Entfernungsbereichs 11 liegt, sodass das Objekt 2 von der Stereokamera 5 erfasst wird. Der erfasste Entfernungsbereich 11 ist von der Vorrichtung 1 etwa um 100 m bis 150 m beabstandet und hat längs der Vorwärtsrichtung 4 eine Ausdehnung von beispielsweise 30 m.Correlating with the speed of light, this results in a distance range 11 recorded by the stereo camera 5 in the forward direction 4 of the device 1. The object 2 is at a distance from the device 1 along the forward direction 4 that lies within this distance range 11, so that the object 2 is recorded by the stereo camera 5. The recorded distance range 11 is approximately 100 m to 150 m away from the device 1 and has an extension of, for example, 30 m along the forward direction 4.

Dieser Abstand ist in der 1 bei 12 angegeben und ist im Vergleich zum Entfernungsbereich 11 nicht maßstäblich.This distance is in the 1 at 12 and is not to scale compared to distance range 11.

Aufgrund der Erfassung über die beiden Kameras 5₁, 5₂ der Stereokamera 5 ergibt sich eine räumliche Bilderfassung des Objekts 2. Triangulatorisch kann dann redundant zur TOF-Abstandsmessung über den Delay-Zeitraum Δt_lag auch eine Referenz-Abstandsbestimmung des Objekts 2 zur Vorrichtung 1 vorgenommen werden. Bei der Vorrichtung 1 handelt es sich also prinzipiell um eine TOF-Kamera mit zusätzlicher Triangulation.Due to the detection via the two cameras 5 ₁ , 5 ₂ of the stereo camera 5, a spatial image of the object 2 is obtained. A reference distance determination of the object 2 to the device 1 can then be carried out in a triangulatory manner redundantly to the TOF distance measurement over the delay period Δt _lag . The device 1 is therefore in principle a TOF camera with additional triangulation.

Die Stereokamera 5 kann zudem eine Korrespondenzanalyse von mit den beiden Kameras 5₁, 5₂ aufgenommenen Kamera-Einzelbildern durchführen, um stereoskopisch erfasste Objekte von Hintergrundrauschen, das nur bei einer der beiden Kameras 5₁, 5₂ vorliegt, zu trennen. Eine derartige Korrespondenzanalyse ist beispielsweise beschrieben in der WO 2022/069424 A1 und in der WO 2022/069425 A2 .The stereo camera 5 can also perform a correspondence analysis of individual camera images recorded with the two cameras 5 ₁ , 5 ₂ in order to separate stereoscopically recorded objects from background noise that is only present in one of the two cameras 5 ₁ , 5 _2. Such a correspondence analysis is described, for example, in the WO 2022/069424 A1 and in the WO 2022/069425 A2 .

Initial kann bei der Stereokamera 5 eine Stereo-Kalibrierung insbesondere von Ausrichtungen und Lagen der Kameras 5₁, 5₂ der Stereokamera 5 mithilfe eines Verfahrens durchgeführt werden, das ebenfalls beschrieben ist in der WO 2022/069424 A1 . Hinsichtlich der Kalibrierung wird auch auf die DE 10 2011 080 102 B3 verwiesen.Initially, a stereo calibration of the stereo camera 5, in particular of the alignments and positions of the cameras 5 ₁ , 5 ₂ of the stereo camera 5, can be carried out using a method which is also described in the WO 2022/069424 A1 Regarding calibration, reference is also made to the DE 10 2011 080 102 B3 referred to.

Bei der räumlichen Bilderfassung mittels der Vorrichtung 1 kann eine mittels des TOF-Prinzips erfasste TOF-Entfernung mindestens eines erfassten Objekts mit einer triangulatorischen Entfernung des Objekts, die mittels der mindestens einen Stereokamera mittels der triangulatorischen Prinzips erfasst wurde, abgeglichen werden. Die TOF-Entfernung kann dabei beispielsweise als Eingangsgröße für die triangulatorische Erfassung genutzt werden. Hierüber kann die Korrespondenzanalyse bei der triangulatorischen Erfassung, beispielsweise durch Eingrenzung eines bei der Korrespondenzanalyse abzudeckenden Disparitätsbereichs, erleichtert werden.During spatial image capture using the device 1, a TOF distance of at least one captured object captured using the TOF principle can be compared with a triangulatory distance of the object captured using the at least one stereo camera using the triangulatory principle. The TOF distance can be used, for example, as an input variable for the triangulatory capture. This can facilitate the correspondence analysis during the triangulatory capture, for example by limiting a disparity range to be covered in the correspondence analysis.

Mithilfe der über die Kameras 5₁, 5₂ der Stereokamera 5 erfassten Bilder des mittels der Blitzlichtquelle 7 beleuchteten Objekts 2 kann auch eine Schattenerfassung eines vom Objekt 2 geworfenen Schattens für das Beleuchtungslicht der Blitzlichtquelle 7 erfolgen. Mittels einer derartigen Schattenwurf-Auswertung des unterschiedlichen Schattenwurfes des Objekts 2, aufgenommen durch die beiden Kameras 5₁, 5₂ der Stereokamera 5, ist eine zusätzlich redundante Ermittlung des Abstandes des Objekts 2 zur Vorrichtung 1 möglich.Using the images of the object 2 illuminated by the flash light source 7 captured by the cameras 5 ₁ , 5 ₂ of the stereo camera 5, a shadow cast by the object 2 can also be captured for the illumination light of the flash light source 7. By means of such a shadow casting evaluation of the different shadows cast by the object 2, recorded by the two cameras 5 ₁ , 5 ₂ of the stereo camera 5, an additional redundant determination of the distance of the object 2 to the device 1 is possible.

Die Vorrichtung 1 hat eine weitere Blitzlichtquelle 13, deren Funktion derjenigen der Blitzlichtquelle 7 entspricht, die also ebenfalls zur gesteuerten Vorgabe eines Blitzbeleuchtungsbeginns und einer Blitzbeleuchtungsdauer aufeinander folgender Beleuchtungsblitze dient. Die weitere Blitzlichtquelle 13 kann redundant zur zunächst beschriebenen Blitzlichtquelle 7 zum Einsatz kommen, beispielsweise bei einem Ausfall der zunächst beschriebenen Blitzlichtquelle 7. Während des Betriebs der weiteren Blitzlichtquelle 13 kann die zunächst beschriebene Blitzlichtquelle 7 dann beispielsweise ausgetauscht werden, sodass ein lückenloser Betrieb der Vorrichtung 1 beispielsweise während einer zu überwachenden Fahrt des PKW oder LKW, auf dem die Vorrichtung 1 montiert ist, möglich ist.The device 1 has a further flash light source 13, the function of which corresponds to that of the flash light source 7, which is also used for the controlled specification of a flash lighting start and a flash lighting duration of successive lighting flashes. The further flash light source 13 can be used redundantly to the initially described flash light source 7, for example in the event of a failure of the initially described flash light source 7. During operation of the further flash light source 13, the initially described flash light source 7 can then be replaced, for example, so that uninterrupted operation of the device 1 is possible, for example during a journey to be monitored by the car or truck on which the device 1 is mounted.

Die Vorrichtung 1 hat eine weitere Stereokamera 14 mit Kameras 14₁, 14₂, deren Aufbau und Funktion dem entspricht, was vorstehend unter Bezugnahme auf die Stereokamera 5 bereits erläutert wurde. Die Stereokamera 14₁ ist der Stereokamera 5₁ direkt benachbart angeordnet und deckt praktisch das gleiche Sichtfeld in der Vorwärtsrichtung 4 ab, wie die Kamera 5₁. Die Kamera 14₂ ist wiederum der Kamera 5₂ direkt benachbart angeordnet und deckt in der Vorwärtsrichtung 4 das gleiche Sichtfeld ab, wie die Kamera 5₂.The device 1 has a further stereo camera 14 with cameras 14 ₁ , 14 ₂ , the structure and function of which corresponds to what was already explained above with reference to the stereo camera 5. The stereo camera 14 ₁ is arranged directly adjacent to the stereo camera 5 ₁ and covers practically the same field of view in the forward direction 4 as the camera 5 ₁ . The camera 14 ₂ is in turn arranged directly adjacent to the camera 5 ₂ and covers the same field of view in the forward direction 4 as the camera 5 ₂ .

Die Stereokamera 14 ist wiederum redundant zur Stereokamera 5. Hier gilt, was zu den Blitzlichtquellen 7 und 13 ausgeführt wurde.The stereo camera 14 is in turn redundant to the stereo camera 5. The same applies here as was said for the flash sources 7 and 13.

Die Vorrichtung 1 hat weiterhin eine Fischaugen-Stereokamera 15 mit zwei Paaren 15₁, 15₂ einerseits und 15₃, 15₄ andererseits. Jede dieser Fischaugen-Kameras 15_i (i = 1 bis 4) dient zur Erfassung der Umgebung um die Vorrichtung 1 sowohl in der Vorwärtsrichtung 4 als auch in hierzu lateraler Richtung (vgl. Pfeil 16 in 1). Die beiden in der 1 links am Fahrzeug 3 angeordneten Fischaugen-Kameras 15₁ und 15₂ haben eine Haupt-Erfassungsrichtung 17, die wie die Haupterfassungsrichtungen der Kameras 5_i und 6_i horizontal verläuft, aber im Falle der Fischaugen-Kameras 15₁ und 15₂ einen Winkel von 45 ° zur Vorwärtsrichtung 4 einnimmt. Diese Fischaugen-Kameras 15₁, 15₂ decken also sowohl die Vorwärtsrichtung 4 als auch die zur lateralen Richtung 16 entgegengesetzte seitliche Richtung (links in der 1) des Fahrzeugs 3 ab, an dem die Vorrichtung 1 montiert ist. Entsprechend decken die beiden weiteren Fischaugen-Kameras 15₃, 15₄, deren Haupterfassungsrichtungen 18 ebenfalls einen Winkel von 45 ° zur Vorwärtsrichtung 4 einnehmen, neben der Vorwärtsrichtung 4 auch einen rechtsseitigen Bereich in der lateralen Richtung 16 ab.The device 1 further has a fisheye stereo camera 15 with two pairs 15 ₁ , 15 ₂ on the one hand and 15 ₃ , 15 ₄ on the other. Each of these fisheye cameras 15 _i (i = 1 to 4) serves to capture the environment around the device 1 both in the forward direction 4 and in the lateral direction (cf. arrow 16 in 1 ). The two in the 1 The fisheye cameras 15 ₁ and 15 ₂ arranged on the left side of the vehicle 3 have a main detection direction 17 which, like the main detection directions of the cameras 5 _i and 6 _i, runs horizontally. but in the case of the fisheye cameras 15 ₁ and 15 ₂ it forms an angle of 45 ° to the forward direction 4. These fisheye cameras 15 ₁ , 15 ₂ thus cover both the forward direction 4 and the lateral direction opposite to the lateral direction 16 (left in the 1 ) of the vehicle 3 on which the device 1 is mounted. Accordingly, the two further fisheye cameras 15 ₃ , 15 ₄ , whose main detection directions 18 also form an angle of 45 ° to the forward direction 4, cover not only the forward direction 4 but also a right-hand area in the lateral direction 16.

Die Fischaugen-Kameras 15_i haben einen Erfassungswinkel um die HauptErfassungsrichtungen 17, 18 von 180 °. Grenzwinkel der Erfassungsbereiche dieser Fischaugen-Kameras 15_i sind in der 1 gestrichelt angedeutet. Diese Öffnungsbereiche überlappen in einem Überlapp-Bereich 19, der in der 1 durch eine Schraffur angedeutet ist. In diesem Überlapp-Bereich 19 liegt insbesondere das Objekt 2.The fisheye cameras 15 _i have a detection angle around the main detection directions 17, 18 of 180 °. The limit angles of the detection ranges of these fisheye cameras 15 _i are shown in the 1 These opening areas overlap in an overlap area 19, which is shown in the 1 indicated by hatching. In this overlap area 19, object 2 is located in particular.

Die Beleuchtungslichtquelle 7 strahlt Blitzlicht der Beleuchtungsblitze längs der Vorwärtsrichtung in einem Beleuchtungskegel ab, dessen Randstrahlen in der 1 bei 8a veranschaulicht sind. Das Objekt 2 und auch der Überlappbereich 19 liegen innerhalb des Beleuchtungskegels 8a der Blitzlichtquelle 7.The illumination light source 7 emits flashlight of the illumination flashes along the forward direction in an illumination cone, the edge rays of which are in the 1 at 8a The object 2 and also the overlap area 19 lie within the illumination cone 8a of the flash light source 7.

Die Fischaugen-Stereokamera 15 kann wahlweise eine triangulatorische Objekt-Abstandsbestimmung mittels mindestens zweier der insgesamt vier Fischaugen-Kameras 15_i durchführen, wobei mit kurzen Baselines, Abstände der Fischaugen-Kameras 15₁, 15₂ einerseits beziehungsweise 15₃, 15₄ andererseits oder auch mit langen Baselines (Abstände der Fischaugen-Kameras 15₁ und 15₃ oder 15₁ und 15₄ oder 15₂ und 15₃ oder 15₂ und 15₄) gearbeitet werden kann. Hierüber lässt sich wiederum eine redundante triangulatorische Objekt-Abstandsbestimmung vornehmen.The fisheye stereo camera 15 can optionally carry out a triangulatory object distance determination using at least two of the four fisheye cameras 15 _i , whereby it is possible to work with short baselines, distances between the fisheye cameras 15 ₁ , 15 ₂ on the one hand and 15 ₃ , 15 ₄ on the other hand, or also with long baselines (distances between the fisheye cameras 15 ₁ and 15 ₃ or 15 ₁ and 15 ₄ or 15 ₂ and 15 ₃ or 15 ₂ and 15 ₄ ). This in turn can be used to carry out a redundant triangulatory object distance determination.

Die Nutzung derartiger zusätzlicher Triangulations-Baselines sind beispielsweise beschrieben in der WO 2022/069424 A1 und in der WO 2022/179998 A1 .The use of such additional triangulation baselines is described, for example, in the WO 2022/069424 A1 and in the WO 2022/179998 A1 .

Die Vorrichtung 1 hat zudem eine weitere Fischaugen-Stereokamera 20 mit Fischaugen-Kameras 20₁ bis 20₄, die in ihrem Aufbau, ihrer Ausrichtung und paarweisen Anordnung den Fischaugen-Kameras 15₁ bis 15₄ entsprechen. Die Fischaugen-Stereokamera 20 kann redundant zur Fischaugen-Stereokamera 15 zum Einsatz kommen. Hier gilt entsprechend, was vorstehend zu den Blitzlichtquellen 7 und 13 beziehungsweise zu den Stereokameras 5 und 14 ausgeführt wurde.The device 1 also has a further fisheye stereo camera 20 with fisheye cameras 20 ₁ to 20 ₄ , which correspond to the fisheye cameras 15 ₁ to 15 ₄ in terms of their structure, orientation and pairwise arrangement. The fisheye stereo camera 20 can be used redundantly to the fisheye stereo camera 15. What was stated above for the flash light sources 7 and 13 or for the stereo cameras 5 and 14 applies here accordingly.

Die Kameras 15_i der Fischaugen-Stereokamera 15 haben wiederum Sensor-Arrays nach Art der vorstehend beschriebenen Sensor-Arrays 6_i, können also wiederum als Bestandteil einer TOF-Erfassung genutzt werden, wie vorstehend bereits erläutert.The cameras 15 _i of the fisheye stereo camera 15 in turn have sensor arrays in the manner of the sensor arrays 6 _i described above, and can therefore in turn be used as part of a TOF detection, as already explained above.

Die Steuereinrichtung 10 steht mit den Stereokameras 5, 14, 15 und 20 und mit den Blitzlichtquellen 7 und 13 in Signalverbindung. Weiterhin kann die Steuereinrichtung 10 mit Komponenten des Fahrzeugs 3 in Signalverbindung stehen, beispielsweise mit einem Antrieb und/oder mit einer Bremsanlage und/oder mit Fahrzeug-Anzeigevorrichtungen, beispielsweise in einem Armaturenbrett des Fahrzeugs 3.The control device 10 is in signal connection with the stereo cameras 5, 14, 15 and 20 and with the flash light sources 7 and 13. Furthermore, the control device 10 can be in signal connection with components of the vehicle 3, for example with a drive and/or with a braking system and/or with vehicle display devices, for example in a dashboard of the vehicle 3.

Beim Echtzeitbetrieb kann die Vorrichtung 1 eine Bildaufnahme von beispielsweise zehn Bildern pro Sekunde vornehmen.In real-time operation, the device 1 can take an image recording of, for example, ten images per second.

3 zeigt eine weitere Ausführung einer Vorrichtung 21, die anstelle der Vorrichtung 1 zur räumlichen Bilderfassung einer relativ zur Vorrichtung bewegten Umgebung eingesetzt werden kann. Komponenten und Funktionen der Vorrichtung 21, die denjenigen der Vorrichtung 1 entsprechen, tragen insbesondere die gleichen Bezugsziffern und werden nicht nochmals im Einzelnen diskutiert. 3 shows a further embodiment of a device 21 which can be used instead of the device 1 for spatial image capture of an environment moving relative to the device. Components and functions of the device 21 which correspond to those of the device 1 have in particular the same reference numbers and will not be discussed again in detail.

Die Vorrichtung 21 ist mit zwei Stereokameras 5, 14 ausgerüstet, die die Umgebung der wiederum auf ein Fahrzeug 3 montierten Vorrichtung 21 in der Vorwärtsrichtung 4 erfassen. Veranschaulicht sind innerhalb dieser erfassten Umgebung drei Umgebungs-Objekte 22, 23 und 24.The device 21 is equipped with two stereo cameras 5, 14, which record the surroundings of the device 21, which is in turn mounted on a vehicle 3, in the forward direction 4. Three environmental objects 22, 23 and 24 are illustrated within this recorded environment.

Mit der Vorrichtung 21 ist insbesondere ein in der Vorwärtsrichtung 4, die auch als z-Richtung bezeichnet ist, z-gepufferter (z-buffered) Betrieb möglich, bei dem ein Gesamt-Entfernungsbereich 25 längs der Vorwärtsrichtung 4, innerhalb dem die Objekte 22 bis 24 liegen, in eine Mehrzahl von Entfernungsbereiche 22₁ bis 22_max, also in Entfernungsbereiche 22_i (i = 1 bis max) unterteilt wird. Die maximale Anzahl max dieser Entfernungsbereiche 22_i kann im Bereich zwischen 3 und 50 liegen, beispielsweise im Bereich von 10. Diese Entfernungsbereiche 22_i werden auch als Entfernungszonen (gate zones) gz bezeichnet.The device 21 enables, in particular, z-buffered operation in the forward direction 4, which is also referred to as the z-direction, in which a total distance range 25 along the forward direction 4, within which the objects 22 to 24 lie, is divided into a plurality of distance ranges 22 ₁ to 22 _max , i.e. into distance ranges 22 _i (i = 1 to max). The maximum number max of these distance ranges 22 _i can be in the range between 3 and 50, for example in the range of 10. These distance ranges 22 _i are also referred to as distance zones (gate zones) gz.

Beim entsprechenden Z-Buffering-Betrieb der Vorrichtung 21 werden zunächst die Bilderfassungsparameter Beleuchtungsblitzbeginn (t = 0), Beleuchtungsblitzdauer (Δt_{flash, gz-1}), ein Detektionsbeginn (t = t_E) und eine Detektionsdauer (Δt_{exp, gz-1}) vorgegeben.During the corresponding Z-buffering operation of the device 21, the image acquisition parameters illumination flash start (t = 0), illumination flash duration (Δt _{flash, gz-1} ), a detection start (t = t _E ) and a detection duration (Δt _{exp, gz-1} ) are initially specified.

Diese Bilderfassungsparameter-Vorgabe erfolgt wiederum mittels der Steuereinrichtung 10.This image acquisition parameter specification is again carried out by means of the control device 10.

Der Entfernungsbereich gz-1, also beispielsweise der Entfernungsbereich 22_max, wird dann mit den so vorgegebenen Bilderfassungsparametern erfasst.The distance range gz-1, for example the distance range 22 _max , is then captured using the image acquisition parameters specified in this way.

Über die Steuereinrichtung 10 werden weitere Bilderfassungsparameter vorgegeben, nämlich ein weiterer Blitzlichtbeginn (t = t_flash), eine weitere Blitzlichtdauer (Δ_{flash, gz}), ein weiterer Detektionsbeginn (t = t_E1) und eine Detektionsdauer (Δt_{exp, gz}). Diese Vorgabe ist so gewählt, dass ein Delay-Zeitraum (Δt_lag, _gz) bei diesen weiteren vorgegebenen Bilderfassungsparametern etwas kürzer ist als der zunächst vorgegebene Delay-Zeitraum Δt_lag, _gz-1. Dies bedingt, dass bei der Erfassung mit den zuletzt vorgegebenen Bilderfassungsparametern ein weiterer Erfassungsbereich gz erfasst wird, der den zunächst erfassten Entfernungsbereich gz-1, also den Entfernungsbereich 22_max, zu kürzeren Abständen zur Vorrichtung 21 hin benachbart ist.Further image acquisition parameters are specified via the control device 10, namely a further flash start (t = t _flash ), a further flash duration (Δ _{flash, gz} ), a further detection start (t = t _E1 ) and a detection duration (Δt _{exp, gz} ). This specification is selected such that a delay period (Δt _lag , _gz ) with these further specified image acquisition parameters is somewhat shorter than the initially specified delay period Δt _lag, _gz-1 . This means that when capturing with the last specified image acquisition parameters, a further detection range gz is captured, which is adjacent to the initially captured distance range gz-1, i.e. the distance range 22 _max , at shorter distances from the device 21.

Der weitere Entfernungsbereich gz grenzt an den vorhergehenden Entfernungsbereich gz-1 längs der Vorwärtsrichtung 4 in einer Erfassungsfortschrittsrichtung +z an oder überlappt mit diesem teilweise.The further distance range gz adjoins or partially overlaps the preceding distance range gz-1 along the forward direction 4 in a detection advance direction +z.

In diesem nun erfassten Erfassungsbereich gz liegt das Objekt 24.Object 24 is located in this now recorded detection area gz.

Es erfolgt nun ein digitales Filtern des zuletzt erfassten Bildes im Entfernungsbereich gz zum Herausfiltern strukturloser Bildbereiche, sodass das Objekt 24 übrigbleibt. Anschließend wird das im der Erfassung des Entfernungsbereichs gz vorhergehenden Erfassungsbereich (Erfassung des Entfernungsbereichs gz-1) erfasste Bild mit dem zuletzt erfassten Bild (Entfernungsbereich gz) in nicht herausgefilterten Bildbereichen, also im Bereich des Objekts 24, dieses zuletzt erfassten Bildes überschrieben, sodass in der Steuereinrichtung 10 ein aktualisiertes Bild abgelegt wird, welches die Informationen aus den beiden Entfernungsbereichen gz-1 und gz beinhaltet.The last captured image in the distance range gz is now digitally filtered to filter out unstructured image areas so that the object 24 remains. The image captured in the detection area preceding the detection of the distance range gz (detection of the distance range gz-1) is then overwritten with the last captured image (distance range gz) in non-filtered image areas, i.e. in the area of the object 24, of this last captured image, so that an updated image is stored in the control device 10 which contains the information from the two distance ranges gz-1 and gz.

Die Steuereinrichtung 10 gibt im Betrieb weitere Bilderfassungsparameter vor, sodass ein weiterer Entfernungsbereich gz+1 erfasst wird, der sich wiederum entgegen der Vorwärtsrichtung 4 an dem Entfernungsbereich gz anschließt beziehungsweise mit diesem teilweise überlappt.During operation, the control device 10 specifies further image acquisition parameters so that a further distance range gz+1 is acquired, which in turn adjoins the distance range gz or partially overlaps with it in the opposite direction to the forward direction 4.

Nun werden die zuletzt beschriebenen Schritte Erfassen, Filtern, Überschreiben und Bilderfassungsparameter-Vorgeben für diesen Entfernungsbereich gz+1 sowie weitere Entfernungsbereiche 22₄, 22₃, 22₂ und 22₁ wiederholt, bis der vorgegebene Gesamt-Entfernungsbereich 25 abgedeckt ist, der sich aus der Überlagerung der erfassten Entfernungsbereiche 22₁ bis 22_max ergibt. Im Zuge dieser Sequenzen werden im jeweils für den Entfernungsbereich 22_i aktualisierten Bild die Bildbereiche am Ort der weiteren Objekte 23 (Entfernungsbereich 22₂) und 22 (Entfernungsbereich 22₁) überschrieben, sodass im zuletzt aktualisierten Bild alle drei Objekte 22 bis 24 mit ihren über die Zuordnung zum jeweiligen Entfernungsbereich 22_i bestimmten Objekt-Abständen zur Vorrichtung 1 ausgegeben werden.Now the last described steps of capturing, filtering, overwriting and specifying image capture parameters are repeated for this distance range gz+1 as well as further distance ranges 22 ₄ , 22 ₃ , 22 ₂ and 22 ₁ until the specified total distance range 25 is covered, which results from the superposition of the captured distance ranges 22 ₁ to 22 _max . In the course of these sequences, the image areas at the location of the other objects 23 (distance range 22 ₂ ) and 22 (distance range 22 ₁ ) are overwritten in the image updated for the distance range 22 _i , so that in the last updated image all three objects 22 to 24 are output with their object distances to the device 1 determined via the assignment to the respective distance range 22 _i .

Die Anzahl i (i = 1 bis max) der Entfernungsbereiche 22_i, die während des Betriebsverfahrens erfasst werden, kann beispielsweise bei 50 liegen. Das Betriebsverfahren mit Abrastern aller Entfernungsbereiche 22_max bis 22₁ kann im 10 Hertz-Betrieb in Echtzeit stattfinden. Das Ergebnis eines solchen kompletten Abrasterung-Vorgangs der Entfernungsbereiche 22_max bis 22₁ ist ein 2D-Bild mit den nicht herausgefilterten Objekten 22, 23 und 24 in allen innerhalb des Gesamt-Entfernungsbereichs 25 erfassten Entfernungsbereichen 22_i. Auch überschriebene Informationen der innerhalb des Gesamt-Entfernungsbereichs 25 zunächst erfassten Entfernungsbereiche 22_max bis 22₂ können beim zuletzt aktualisierten, ausgegebenen Bild nach Erfassung des Entfernungsbereichs 22₁ für eine unabhängige räumliche (3D-) Auswertung erhalten bleiben.The number i (i = 1 to max) of distance ranges 22 _i that are recorded during the operating procedure can be 50, for example. The operating procedure with scanning of all distance ranges 22 _max to 22 ₁ can take place in 10 Hertz operation in real time. The result of such a complete scanning process of the distance ranges 22 _max to 22 ₁ is a 2D image with the non-filtered objects 22, 23 and 24 in all distance ranges 22 _i recorded within the total distance range 25. Overwritten information of the distance ranges 22 _max to 22 ₂ initially recorded within the total distance range 25 can also be retained in the last updated, output image after recording the distance range 22 ₁ for an independent spatial (3D) evaluation.

Wie die 4 veranschaulicht, können aufeinanderfolgende Erfassungsschritte für Entfernungsbereiche gz-1 und gz zeitlich miteinander überlappen. Auch mehr als zwei derartiger Erfassungsschritte können zeitlich miteinander überlappen, sodass beispielsweise während eines Delay-Zeitraums bei der Erfassung eines ersten Entfernungsbereichs gz ein Blitzlichtbeginn mindestens einer weiteren Erfassung eines weiteren Entfernungsbereichs gz+1, gz+2 stattfindet. Auch ein Detektionszeitraum einer vorhergehenden Erfassung kann beispielsweise mit einem Blitzzeitraum einer nachfolgenden Erfassung überlappen.As the 4 As illustrated, successive detection steps for distance ranges gz-1 and gz can overlap in time. More than two such detection steps can also overlap in time, so that, for example, during a delay period when detecting a first distance range gz, a flash of at least one further detection of a further distance range gz+1, gz+2 begins. A detection period of a previous detection can also overlap, for example, with a flash period of a subsequent detection.

Entfernungs-Ausdehnungen Δz der verschiedenen Entfernungsbereiche 22_i, 22_j können sich voneinander unterscheiden. Es können sich also die Detektionsdauern bei den verschiedenen Erfassungsschritten des Betriebsverfahrens unterscheiden.Distance extensions Δz of the various distance ranges 22 _i , 22 _j can differ from one another. The detection times can therefore differ in the various detection steps of the operating procedure.

Nach dem Erfassen eines jeweiligen Entfernungsbereichs 22_i kann zusätzlich eine Triangulations-Bestimmung einer Entfernung der Objekte 22 bis 24 in den nicht herausgefilterten Bildbereichen mithilfe der mindestens einen Stereokamera 5, 14 erfolgen. Hierbei kann wiederum eine Stereo-Korrespondenzbestimmung stattfinden, wie vorstehend bereits erläutert.After detecting a respective distance range 22 _i, a triangulation determination of a distance of the objects 22 to 24 in the non-filtered image areas can additionally be carried out using the at least one stereo camera 5, 14. In this case, a stereo correspondence determination can again take place, as already explained above.

Vor einem jeweiligen Erfassungsschritt des Betriebsverfahrens kann eine Region of Interest (ROI) als Teil eines über die jeweilige Kamera 5_i, 14_i erfassbaren Bildfeldes vorgegeben werden, beispielsweise ein durch entsprechende Objektfilterung identifizierter Straßenbereich in der Vorwärtsrichtung 4.Before a respective detection step of the operating method, a region of interest (ROI) can be specified as part of an image field that can be captured by the respective camera 5 _i , 14 _i , for example a road area in the forward direction 4 identified by appropriate object filtering.

5 zeigt eine Seitenansicht einer weiteren Ausführung der Bilderfassungs-Vorrichtung 1. Komponenten und Funktionen, die denjenigen entsprechen, die vorstehend unter Bezugnahme auf die 1 bis 4 bereits erläutert wurden, tragen die gleichen Bezugsziffern und werden nicht nochmals im Einzelnen diskutiert. 5 shows a side view of another embodiment of the image capture device 1. Components and functions corresponding to those described above with reference to the 1 to 4 already explained, bear the same reference numbers and will not be discussed again in detail.

Anhand der 5 wird der Einsatz der Vorrichtung 1 zur Bestimmung und Erkennung eines diffusen Streumediums längs eines Blitzlichtweges 28 zwischen der Blitzlichtquelle 7 und einem beispielhaften Umgebungs-Objekt 2 erläutert. Dargestellt ist in der 5 beispielhaft die Kamera 5₁ der Stereokamera 5, die neben der triangulatorischen Entfernungsbestimmung auch eine TOF-Entfernungsbestimmung ermöglicht.Based on the 5 The use of the device 1 for determining and detecting a diffuse scattering medium along a flash light path 28 between the flash light source 7 and an exemplary surrounding object 2 is explained. Shown in the 5 For example, the camera 5 ₁ of the stereo camera 5, which enables not only triangulatory distance determination but also TOF distance determination.

Beim Erfassungsbeispiel nach 5 erfasst die Vorrichtung 1 insgesamt drei Entfernungsbereiche 22₁, 22₂, 22₃ durch Vorgabe entsprechender TOF-Bilderfassungsparameter. Der erste, nächste Entfernungsbereich 22₁ erstreckt sich um einen ersten Abstand d₁. Der nächstentfernte weitere Entfernungsbereich 22₂ erstreckt sich um einen zweiten Abstand d₂, für den gilt: d₂ = 2 × d₁. Der nächstentfernte, dritte Entfernungsbereich 22₃ erstreckt sich um einen dritten Abstand d₃, für den gilt: d₃ = 3 × d₁.In the example of 5 the device 1 detects a total of three distance ranges 22 ₁ , 22 ₂ , 22 ₃ by specifying corresponding TOF image acquisition parameters. The first, closest distance range 22 ₁ extends by a first distance d ₁ . The next, further distance range 22 ₂ extends by a second distance d ₂ , for which the following applies: d ₂ = 2 × d ₁ . The next, third distance range 22 ₃ extends by a third distance d ₃ , for which the following applies: d ₃ = 3 × d ₁ .

Zur Vorgabe der Bilderfassungsparameter für die drei Entfernungsbereiche 22₁ bis 22₃ gehört neben der Vorgabe der TOF-Bilderfassungsparameter „Beleuchtungsbeginn“, „Beleuchtungsdauer“, „Detektionsbeginn“ und „Detektionsdauer“ auch eine Vorgabe einer Blitzintensität I₁ zur Ausleuchtung des jeweiligen Entfernungsbereichs 22_i. Die Blitzintensität I₂ zur Ausleuchtung des Entfernungsbereich 22₂ ist viermal so groß wie die Blitzintensität I₁ zur Ausleuchtung des ersten, nächstgelegenen Entfernungsbereichs 22₁. Die Blitzintensität I₃ zur Ausleuchtung des im Beispiel nach 5 entferntesten, dritten Entfernungsbereichs 22₃ ist neunmal so groß wie die Blitzintensität I₁. Die Blitzintensität I₁ hängt also quadratisch von einer Entfernung d_i innerhalb eines insgesamt zu erfassenden Gesamt-Entfernungsbereichs 25 ab.The specification of the image acquisition parameters for the three distance ranges 22 ₁ to 22 ₃ includes, in addition to the specification of the TOF image acquisition parameters “start of illumination”, “duration of illumination”, “start of detection” and “duration of detection”, a specification of a flash intensity I ₁ for illuminating the respective distance range 22 _i . The flash intensity I ₂ for illuminating the distance range 22 ₂ is four times as large as the flash intensity I ₁ for illuminating the first, closest distance range 22 ₁ . The flash intensity I ₃ for illuminating the distance range shown in the example after 5 The flash intensity I 1 of the third, most distant distance range 22 ₃ is nine times as large as the flash intensity I ₁ . The flash intensity I ₁ is therefore quadratically dependent on a distance d _i within a total distance range 25 to be recorded.

Unter Voraussetzung einer konstanten Reflektivität beziehungsweise eines konstanten Streuvermögens einer Umgebungs-Oberfläche 29 ergibt sich aufgrund dieser quadratischen Abhängigkeit der Beleuchtungsintensität I_i von der Entfernung d_i, dass das Sensor-Array 6₁ der Kamera 5₁ eine konstante Intensitätsausleuchtung bei der Bilderfassung der drei Entfernungsbereiche 22₁, 22₂ und 22₃ erfährt. Diese konstante Intensitätsausleuchtung des Sensor-Arrays 6₁ liegt nur dann vor, wenn längs Blitzlichtwegen 31₁, 31₂, 31₃ zwischen der Blitzlichtquelle 7 und der Umgebung in den Entfernungsbereichen 22₁ bis 22₃ keine wesentliche Streuung des Beleuchtungsblitzes 8 durch das diffuse Streumedium 27 vorliegt. Anders ausgedrückt: Ungleichheiten einer Intensitätsausleuchtung des Sensor-Arrays 6₁ längs der Erfassungswege 30_i bei der vorgegebenen quadratischen Abhängigkeit der Beleuchtungsintensität I_i von der Entfernung d_i innerhalb des zu erfassenden Entfernungsbereiches 22_i sind ein Hinweis auf das Vorliegen des diffusen Streumediums 27.Assuming a constant reflectivity or a constant scattering power of an ambient surface 29, this quadratic dependence of the illumination intensity I _i on the distance d _i results in the sensor array 6 ₁ of the camera 5 ₁ experiencing a constant intensity illumination when capturing images of the three distance ranges 22 ₁ , 22 ₂ and 22 ₃ . This constant intensity illumination of the sensor array 6 ₁ only occurs when there is no significant scattering of the illumination flash 8 by the diffuse scattering medium 27 along flash light paths 31 ₁ , 31 ₂ , 31 ₃ between the flash light source 7 and the environment in the distance ranges 22 ₁ to 22 ₃ . In other words: inequalities in the intensity illumination of the sensor array 6 ₁ along the detection paths 30 _i with the given quadratic dependence of the illumination intensity I _i on the distance d _i within the distance range 22 _i to be detected are an indication of the presence of the diffuse scattering medium 27.

Hierbei können folgende Fälle unterschieden werden:

a) Das diffuse Streumedium 27 liegt innerhalb des aktuell erfassten Entfernungsbereichs, im in der 5 dargestellten Fall also innerhalb des Entfernungsbereichs 22₂, vor. In diesem Fall wird das diffuse Streumedium 27 längs des Beleuchtungsweges 31₂ direkt beleuchtet und eine entsprechende Streuung des Beleuchtungslichts 8 durch das diffuse Streumedium 27 in das Sensor-Array 6₁ bei der TOF-Erfassung gemessen, was zu einer Erhöhung der Intensitätsausleuchtung längs des Erfassungsweges 30₂ führt.
b) Das diffuse Streumedium 27 liegt zwischen der Blitzlichtquelle 7 und dem Sensor-Array 6₁ einerseits und dem aktuell erfassten Entfernungsbereich, beispielsweise dem Entfernungsbereich 22₃, andererseits. In diesem Fall erfolgt eine Schwächung des Beleuchtungslichts längs des Blitzlichtweges 31₃ beim Durchtreten des diffusen Streumediums 27. Eine weitere Schwächung erfährt das vom Erfassungsbereich 22₃ in Richtung des Sensor-Arrays 6₁ längs des Erfassungsweges 30₃ rückgestreute Beleuchtungslicht aufgrund einer nochmaligen Streuung durch das diffuse Streumedium 27. Im Ergebnis ist die Intensitätsausleuchtung des Sensor-Arrays 6₁ bei der Erfassung des Entfernungsbereichs 22₃ aufgrund der im zwischenliegenden Entfernungsbereich 22₂ vorliegenden Wolke des diffusen Streumediums 27 geschwächt.

The following cases can be distinguished:

a) The diffuse scattering medium 27 is within the currently recorded distance range, in the 5 In the case shown, the light source is within the distance range 22 ₂ . In this case, the diffuse scattering medium 27 is directly illuminated along the illumination path 31 ₂ and a corresponding scattering of the illumination light 8 through the diffuse scattering medium 27 into the sensor array 6 ₁ is measured during the TOF detection, which leads to an increase in the intensity illumination along the detection path 30 ₂ .
b) The diffuse scattering medium 27 lies between the flash light source 7 and the sensor array 6 ₁ on the one hand and the currently detected distance range, for example the distance range 22 ₃ , on the other hand. In this case, the illumination light along the flash light path 31 ₃ is weakened when it passes through the diffuse scattering medium 27. The illumination light scattered back from the detection area 22 ₃ in the direction of the sensor array 6 ₁ along the detection path 30 ₃ is further weakened due to further scattering by the diffuse scattering medium 27. As a result, the intensity illumination of the sensor array 6 ₁ when detecting the distance range 22 ₃ is weakened due to the cloud of the diffuse scattering medium 27 present in the intermediate distance range 22 ₂ .

Eine Kombination einer im Vergleich zur erwarteten konstanten Intensitätsausleuchtung erhöhten Intensitätsausleuchtung des Sensor-Arrays 6₁ bei Erfassung des Entfernungsbereichs 22₂ und einer Verringerung der Intensitätsausleuchtung des Sensor-Arrays 6₁ bei Erfassung des Entfernungsbereichs 22₃ ermöglicht also die Identifikation des diffusen Streumediums 27 innerhalb des Entfernungsbereichs 22₂.A combination of an increased intensity illumination of the sensor array 6 ₁ when detecting the distance range 22 ₂ compared to the expected constant intensity illumination and a reduction in the intensity illumination of the sensor array 6 ₁ when detecting the distance range 22 ₃ enables the identification of the diffuse s scattering medium 27 within the distance range 22 ₂ .

Bei den vorstehend erläuterten Ausführungen der Bilderfassungs-Vorrichtung 1 beziehungsweise 21 kann eine Pixelempfindlichkeit von Sensorpixeln der verschiedenen Sensor-Arrays 6₁, ... als Funktion einer einfallenden Lichtintensität, also als Funktion einer Intensitätsausleuchtung, des Sensor-Arrays 6₁, ... geregelt werden. Es kann insbesondere eine γ-Korrektur bei der Bildverarbeitung mittels des jeweiligen Sensor-Arrays 6₁, ... erfolgen. Hierbei kann der bei der γ-Korrektur eingesetzte Exponent γ im Bereich zwischen beispielsweise 0,2 und 5 variieren. Je nach Größe von γ kann dann eine Pixelempfindlichkeit zur Anpassung einer hohen Dynamik entweder bei hoher oder bei niedriger Intensitätsausleuchtung des Sensor-Arrays erreicht werden.In the above-explained embodiments of the image capture device 1 or 21, a pixel sensitivity of sensor pixels of the various sensor arrays 6 ₁ , ... can be regulated as a function of an incident light intensity, i.e. as a function of an intensity illumination of the sensor array 6 ₁ , ... In particular, a γ correction can be carried out during image processing using the respective sensor array 6 ₁ , ... The exponent γ used for the γ correction can vary in the range between 0.2 and 5, for example. Depending on the size of γ, a pixel sensitivity can then be achieved to adapt a high dynamic range either with high or low intensity illumination of the sensor array.

Eine Auswahl von zu erfassenden Objekt-Entfernungsbereichen 22_i kann bei bestimmten Betriebsmodi der Erfassungs-Vorrichtung 1 beziehungsweise 21 an einen Bewegungsmodus der Vorrichtung 1 beziehungsweise 21 relativ zur Umgebung angepasst sein. Insbesondere kann der Gesamt-Entfernungsbereich 25 an eine Relativgeschwindigkeit der Vorrichtung 1, 21 zur Umgebung angepasst werden. Auch eine Anpassung an einen Rückwärts- oder Kurvenfahrt-Modus ist möglich.A selection of object distance ranges 22 _i to be detected can be adapted to a movement mode of the device 1 or 21 relative to the environment in certain operating modes of the detection device 1 or 21. In particular, the total distance range 25 can be adapted to a relative speed of the device 1, 21 to the environment. Adaptation to a reversing or cornering mode is also possible.

Alternativ oder zusätzlich zum vorstehend mithilfe der 3 und 4 erläuterten Betriebsverfahren kann die jeweilige Vorrichtung 1 beziehungsweise 21 auch wie folgt betrieben werden:

Über eine entsprechende Zuordnung insbesondere der Blitzbeleuchtungsdauer und der Detektionsdauer wird mithilfe der jeweiligen Vorrichtung 1, 21 mittels des TOF-Prinzips eine TOF-Entfernung des mindestens einen Objekts 2 beziehungsweise 22 bis 24 erfasst. Parallel oder sequenziell hierzu wird mittels der einen Stereokamera 5, ... der Vorrichtung 1, 21 mittels des triangulatorischen Prinzips eine triangulatorische Entfernung des jeweiligen Objekts 2 beziehungsweise 22 bis 24 erfasst. Die Erfassungswerte „TOF-Entfernung“ und „triangulatorische Entfernung“ werden dann bei Betrieb der Vorrichtung 1, 21 abgeglichen.

Alternatively or in addition to the above, using the 3 and 4 In addition to the operating procedures explained above, the

respective device

1 or 21 can also be operated as follows:

By means of a corresponding assignment, in particular of the flash illumination duration and the detection duration, a TOF distance of the at least one object 2 or 22 to 24 is recorded using the TOF principle with the aid of the respective device 1, 21. In parallel or sequentially, a triangulatory distance of the respective object 2 or 22 to 24 is recorded using the triangulatory principle using the one stereo camera 5, ... of the device 1, 21. The detection values "TOF distance" and "triangulatory distance" are then compared when the device 1, 21 is in operation.

Es ist dabei insbesondere möglich, die ermittelte TOF-Entfernung als Eingangsgröße für die triangulatorische Erfassung zu nutzen. Dies kann insbesondere die Korrespondenzanalyse bei der triangulatorischen Erfassung erleichtern. Insbesondere kann ein bei der Korrespondenzanalyse abzudeckender Disparitätsbereich eingegrenzt werden. Auch der umgekehrte Fall ist möglich, also, dass die triangulatorisch erfasste Entfernung als Eingangsgröße für die Entfernungserfassung mittels des TOF-Prinzips genutzt wird. Dies kann zur Bestimmung beziehungsweise zur Einteilung eines vorgegebenen Gesamt-Entfernungsbereichs in abschnittsweise Entfernungsbereiche 22_i genutzt werden sowie zur entfernungsangepassten Vorgabe der TOF-Bilderfassungsparameter.In particular, it is possible to use the determined TOF distance as an input variable for the triangulatory detection. This can particularly facilitate the correspondence analysis in the triangulatory detection. In particular, a disparity range to be covered in the correspondence analysis can be limited. The reverse case is also possible, i.e. that the triangulatory detected distance is used as an input variable for the distance detection using the TOF principle. This can be used to determine or divide a given total distance range into section-by-section distance ranges 22 _i and to specify the TOF image detection parameters adapted to the distance.

Eine Beleuchtungsintensität durch die Blitzlichtquelle 7 kann insbesondere so vorgegeben werden, dass eine gemeinsame und insbesondere skalare Helligkeits-Regelung aller Bilder des Z-Bufferings der ersten 3 und 4 bei insbesondere konstanter Intensitätsausleuchtung der jeweiligen Sensor-Arrays 6₁, ... vorgenommen wird. Diese Helligkeits-Regelung kann in Form eines Regelkreises bei der Vorrichtung 1, 21 genutzt werden.An illumination intensity by the flash light source 7 can be specified in particular such that a common and in particular scalar brightness control of all images of the Z-buffering of the first 3 and 4 with a particularly constant intensity illumination of the respective sensor arrays 6 ₁ , ... This brightness control can be used in the form of a control loop in the device 1, 21.

Eine Kalibrierung einer Abhängigkeit einer Beleuchtungsintensität der Blitzlichtquelle von der Entfernung, also einer Beleuchtungsintensitätsfunktion, kann mithilfe eines Kalibrieraufbaus unter Verwendung eines Streumediums mit homogener Streupartikelverteilung erfolgen.A calibration of a dependence of an illumination intensity of the flash light source on the distance, i.e. an illumination intensity function, can be carried out using a calibration setup using a scattering medium with a homogeneous scattering particle distribution.

Die Pixelempfindlichkeit als Funktion der einfallenden Lichtintensität kann in Form einer proportionalen Funktion eingestellt werden oder auch in Form einer nichtlinearen Funktion.The pixel sensitivity as a function of the incident light intensity can be set in the form of a proportional function or in the form of a nonlinear function.

Im Rahmen des Betriebs der Vorrichtung 1 beziehungsweise 21 können ausgewählte Objekte 2 beziehungsweise 22 bis 24 nachverfolgt beziehungsweise getrackt werden. Sobald eines der Objekte 2 beziehungsweise 22 bis 24 im Rahmen der triangulatorischen Entfernungserfassung und/oder im Rahmen der TOF-Entfernungserfassung erfasst wurde, können insbesondere die TOF-Bilderfassungsparameter, aber auch die triangulatorischen Bilderfassungsparameter (zum Beispiel die Länge der Baseline einer jeweils ausgewählten Stereokamera, eine Objektivbrennweite der Kameras der jeweiligen Stereokamera oder ein zu überwachender Disparitätsbereich) so vorgegeben werden, dass das einmal erfasste Objekt auch bei nachfolgenden Bilderfassungen wiederum erfasst wird. Hierbei kann eine Relativbewegung des jeweils erfassten Objekts zur Vorrichtung 1 beziehungsweise 21 berücksichtigt werden, sodass beispielsweise dann, wenn zu erwarten ist, dass sich Objekt und Vorrichtung einander annähern, beim Nachverfolgen die Entfernung des jeweils ausgewählten Entfernungsbereichs 22_i bei der TOF-Erfassung jeweils reduziert wird. Eine Lichtintensität der Blitzlichtquelle kann auf einen Entfernungsbereich des jeweils nachzuverfolgenden Objekts abgestimmt und insbesondere geregelt werden.During operation of the device 1 or 21, selected objects 2 or 22 to 24 can be tracked. As soon as one of the objects 2 or 22 to 24 has been detected as part of the triangulatory distance detection and/or as part of the TOF distance detection, the TOF image detection parameters in particular, but also the triangulatory image detection parameters (for example the length of the baseline of a respectively selected stereo camera, a lens focal length of the cameras of the respective stereo camera or a disparity range to be monitored) can be specified in such a way that the object once detected is also detected again in subsequent image captures. In this case, a relative movement of the respectively detected object to the device 1 or 21 can be taken into account, so that, for example, if it is to be expected that the object and the device will approach each other, the distance of the respectively selected distance range 22 _i is reduced in the TOF detection during tracking. The light intensity of the flash source can be adjusted and, in particular, controlled to suit the distance range of the object to be tracked.

Je nach dem Betriebsverfahren der Vorrichtung 1, 21 kann genau ein Objekt nachverfolgt werden oder es können auch mehrere Objekte gleichzeitig nachverfolgt werden.Depending on the operating method of the device 1, 21, exactly one object can be tracked or several objects can be tracked at the same time.

Soweit mindestens ein Objekt getrackt wird, kann intermittierend eine Tracking-Erfassung des mindestens einen getrackten Objekts und ein Scan über den Gesamt-Entfernungsbereich 25 erfolgen, was die Erfassungssicherheit insgesamt bei vertretbarem Erfassungsaufwand erhöht.If at least one object is tracked, a tracking detection of the at least one tracked object and a scan over the entire distance range 25 can be carried out intermittently, which increases the overall detection reliability with a reasonable detection effort.

Die Bilderfassungsparameter können bei der TOF-Erfassung mehrerer Entfernungsbereiche 22_i, 22_i+1 so abgestimmt werden, dass eine Detektion über die jeweilige Kamera während genau eines Detektionszeitraums (gleicher Detektionsbeginn, gleiche Detektionsdauer) für diese Entfernungsbereiche 22_i, 22_i+1 erfolgt. Im Extremfall kann dies für alle Entfernungsbereiche 22_i innerhalb des Gesamt-Entfernungsbereichs 25 gelten.The image acquisition parameters can be adjusted for the TOF acquisition of several distance ranges 22 _i , 22 _i+1 so that detection via the respective camera takes place during exactly one detection period (same detection start, same detection duration) for these distance ranges 22 _i , 22 _i+1 . In extreme cases, this can apply to all distance ranges 22 _i within the total distance range 25.

Beim Nachverfolgen von Objekten kann insbesondere die Erstreckung des jeweiligen Entfernungsbereichs 22_i, in dem das Objekt erwartet wird, über eine entsprechende Anpassung einer Blitzbeleuchtungsdauer erfolgen. Zur genaueren Nachverfolgung von Objekten können kürzere Blitzbeleuchtungsdauern sowie kürzere Detektionsdauern mit entsprechender Erhöhung der Entfernungsgenauigkeit bei der TOF-Entfernungsbestimmung vorgegeben werden.When tracking objects, the extent of the respective distance range 22 _i in which the object is expected can be determined by appropriately adjusting the flash illumination duration. For more precise tracking of objects, shorter flash illumination durations and shorter detection durations can be specified with a corresponding increase in the distance accuracy in the TOF distance determination.

Die Vorrichtung 1 kann ein neuronales Netz beziehungsweise ein KI-Modul beinhalten, welches zum Training des jeweiligen Betriebsverfahrens und zur entsprechenden Verbesserung einer Bilderkennung genutzt werden kann.The device 1 can contain a neural network or an AI module, which can be used to train the respective operating procedure and to improve image recognition accordingly.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

WO 2022/069 424 A1 [0002, 0020, 0021, 0039, 0070, 0071, 0081]
WO 2022/069 425 A2 [0002, 0020, 0070]
WO 2022/179 998 A1 [0002, 0029, 0081]
DE 10 2011 080 102 B3 [0002, 0020, 0071]
US 2019/056 498 A1 [0007]
US 2022/0174255 A1 [0007]
US 2015/296 200 A1 [0008]
DE 10 2018 213 976 A1 [0024]
WO 2012/095 258 A1 [0024]
US 9,451,237 [0024]
WO 2013/020 872 A1 [0024]

Zitierte Nicht-PatentliteraturCited non-patent literature

T. Swedish et al.: “Beyond the Line of Sight? What's New in Optical Perception", AUVSI XPONENTIAL 2022-SWEDISH (conference handout), pp. 1-8, https://www.xponential.org/xponential2022/Custom/Handout/Speaker5158 4_Session4220_1.pdf [0007]

Claims

Device (1; 21) for spatial image capture of an environment, - with at least one stereo camera (5, 14, 15, 20; 5, 14) with at least two cameras (5 ₁ , 5 ₂ , 14 ₁ , 14 ₂ , 15 ₁ , 15 ₂ , 15 ₃ , 15 ₄ , 20 ₁ , 20 ₂ , 20 ₃ , 20 ₄ ) spaced apart from one another for triangulatory object distance determination within the captured environment, - with at least one flash light source (7, 13) for ambient lighting with controlled specification of a flash lighting start (t = 0, t = t _flash ) and a flash lighting duration (Δt _flash ) of successive lighting flashes, - wherein the cameras (5 ₁ , 5 ₂ , 14 ₁ , 14 ₂ , 15 ₁ , 15 ₂ , 15 ₃ , 15 ₄ , 20 ₁ , 20 ₂ , 20 ₃ , 20 ₄ ) of the stereo camera (5, 14, 15, 20; 5, 14) each have a sensor array (6) with controlled specification of a detection start (t = t _E , t = t _E1 ) and a detection duration (Δt _exp ), - with a control device (10) which is connected to the cameras (5 ₁ , 5 ₂ , 14 ₁ , 14 ₂ , 15 ₁ , 15 ₂ , 15 ₃ , 15 ₄ , 20 ₁ , 20 ₂ , 20 ₃ , 20 ₄ ) and the flash light source (7, 13) is in signal connection, for the time-synchronized specification of the following image acquisition parameters: - the start of flash illumination (t = 0, t = t _flash ) and the flash illumination duration (Δt _flash ) of the flash light source (7, 13) and - the start of detection (t = t _E , t = t _E1 ) and the detection duration (Δt _exp ) of the cameras (5 ₁ , 5 ₂ , 14 ₁ , 14 ₂ , 15 ₁ , 15 ₂ , 15 ₃ , 15 ₄ , 20 ₁ , 20 ₂ , 20 ₃ , 20 ₄ ).

device according to claim 1 - with at least one further flash light source (13) with controlled specification of a flash illumination start (t = 0, t = t _flash ) and a flash illumination duration (Δt _flash ) of successive illumination flashes (8, 8 ₁ ) and/or - with at least one further stereo camera (14) with two further cameras (14 ₁ , 14 ₂ ) spaced apart from one another for triangulatory object distance determination within the enclosed environment.

device according to claim 1 or 2 , characterized by at least one fisheye stereo camera (15, 20) with at least two fisheye cameras (15 ₁ to 15 ₄ , 20 ₁ to 20 ₄ ), wherein each of the fisheye cameras (15 ₁ to 15 ₄ , 20 ₁ to 20 ₄ ) is aligned to capture the surroundings both in a main capture direction (4) and longitudinally thereto in a lateral direction (16), wherein capture areas of the fisheye cameras (15 ₁ , 20 ₁ ) overlap in the main capture direction (4) in an overlap area (19).

Device according to one of the Claims 1 until 3 , characterized in that the control device (10) has an image processor for real-time processing.

Method for operating a device (1; 21) according to one of the Claims 1 until 4 , with the following steps: - specifying the image acquisition parameters such that a first distance range (gz-1) is recorded, - capturing the distance range (gz-1) with the specified image acquisition parameters with the cameras of the at least one stereo camera, - specifying the image acquisition parameters such that a further distance range (gz) is recorded, which borders on the previous distance range (gz-1) along the forward direction (4) in a capture progress direction (+z) or partially overlaps with it, - capturing the further distance range (gz) with the last specified image acquisition parameters with the cameras of the at least one stereo camera, - digitally filtering the last captured image to filter out structureless image areas, - overwriting the image captured in the capture step preceding the last capture with the last captured image in non-filtered image areas of the last captured image to generate an updated image, - specifying the image acquisition parameters such that a further Distance range (gz+1) is detected which borders on or partially overlaps with the previous distance range (gz) along the forward direction (4) in the detection progress direction (-z), - repeating the last steps of detection, digital filtering, overwriting and specification for further distance ranges (22 ₄ to 22 ₁ ) until a predetermined total distance range (25) is covered which results from a superposition of the detected distance ranges (22 ₁ to 22 _max ), - outputting the last updated image.

procedure according to claim 5 , characterized in that at least two of the successive detection steps overlap with each other in time.

procedure according to claim 5 or 6 , characterized in that distance extensions (Δz) of the distance ranges (22 _i ) differ from one another.

Method according to one of the Claims 5 until 7 , characterized in that after the detection of the respective distance range (gz-1, gz, gz+1; 22 _i ), a triangulation determination of a distance of objects (22 to 24) in non-filtered image areas is carried out by means of the at least one stereo camera (5, 14).

Method according to one of the Claims 5 until 8 , characterized in that before the detection a region of interest (ROI) is specified as part of an image field that can be captured by the stereo cameras (5, 14).

Method for operating a device (1; 21) according to one of the Claims 1 until 4 , with the following steps: - detecting a time of flight (TOF) distance of at least one object (2; 22 to 24) via a corresponding assignment of the flash illumination duration and the detection duration using the TOF principle, - detecting a triangulatory distance of the object (2; 22 to 24) by means of the at least one stereo camera using the triangulatory principle, - comparing the TOF distance and the triangulatory distance.

procedure according to claim 10 , characterized in that the TOF distance is used as an input variable for the triangulatory detection.

Method according to one of the Claims 5 until 11 , characterized in that an illumination intensity of the flash light source (7, 13) is adjusted to a distance range (22 _i ) to be detected.

procedure according to claim 12 , characterized in that the flash intensity depends quadratically on a distance (d _i ) within the distance range (22 _i ) to be detected.

Method according to one of the Claims 5 until 13 , characterized in that a pixel sensitivity of a sensor pixel of the sensor array (6) is controlled as a function of an incident light intensity of the flash light source (7, 13).

Method according to one of the Claims 5 until 14 , characterized in that a selection of object distance ranges (22 _i ) to be detected is adapted to a movement mode of the device (1; 21) relative to the environment.