[go: up one dir, main page]

DE102012220648B4 - PMD camera with a volume determination - Google Patents

PMD camera with a volume determination Download PDF

Info

Publication number
DE102012220648B4
DE102012220648B4 DE102012220648.5A DE102012220648A DE102012220648B4 DE 102012220648 B4 DE102012220648 B4 DE 102012220648B4 DE 102012220648 A DE102012220648 A DE 102012220648A DE 102012220648 B4 DE102012220648 B4 DE 102012220648B4
Authority
DE
Germany
Prior art keywords
images
volume
pmd camera
camera
conveyed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102012220648.5A
Other languages
German (de)
Other versions
DE102012220648A1 (en
Inventor
Harald Ilg
Florian Forster
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
IFM Electronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IFM Electronic GmbH filed Critical IFM Electronic GmbH
Priority to DE102012220648.5A priority Critical patent/DE102012220648B4/en
Publication of DE102012220648A1 publication Critical patent/DE102012220648A1/en
Application granted granted Critical
Publication of DE102012220648B4 publication Critical patent/DE102012220648B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F1/00—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow
    • G01F1/002—Measuring the volume flow or mass flow of fluid or fluent solid material wherein the fluid passes through a meter in a continuous flow wherein the flow is in an open channel
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01F—MEASURING VOLUME, VOLUME FLOW, MASS FLOW OR LIQUID LEVEL; METERING BY VOLUME
    • G01F17/00—Methods or apparatus for determining the capacity of containers or cavities, or the volume of solid bodies
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/80—Devices characterised by the determination of the time taken to traverse a fixed distance using auto-correlation or cross-correlation detection means
    • G01P3/806—Devices characterised by the determination of the time taken to traverse a fixed distance using auto-correlation or cross-correlation detection means in devices of the type to be classified in G01P3/68
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Fluid Mechanics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Photomischdetektorkamera (10) mit einer Auswerteeinheit (15) zur Bestimmung eines Volumens (Vol) eines erfassten Förderguts (30), bei dem die Auswerteeinheit (15) derart ausgebildet ist, dass in Abhängigkeit eines erfassten Oberflächentiefenbilds des Förderguts und einer erfassten Geschwindigkeit ein Volumen (Vol) und/oder Volumenstrom (Vol/t) des Förderguts an mindestens einem Ausgang der PMD-Kamera (10) abgreifbar ist, dadurch gekennzeichnet, dass die Auswerteeinheit der PMD-Kamera (10) derart ausgestaltet ist, dass die Auswerteeinheit mindestens ein Oberflächenmerkmal und/oder einen Oberflächenbereich des Förderguts (30) in erfassten Tiefenbildern (B1, B2) in Übereinstimmung bringt und in Abhängigkeit einer Verschiebung des Oberflächenmerkmals und/oder Oberflächenbereichs zwischen den Tiefenbildern (B1, B2) eine Geschwindigkeit (v) des Förderguts ermittelt wird.Photomixdetektor camera (10) with an evaluation unit (15) for determining a volume (Vol) of a detected Förderguts (30), wherein the evaluation unit (15) is formed such that depending on a detected surface depth image of the conveyed and a detected speed, a volume ( Vol) and / or volumetric flow (Vol / t) of the conveyed at at least one output of the PMD camera (10) can be tapped, characterized in that the evaluation of the PMD camera (10) is designed such that the evaluation at least one surface feature and / or a surface area of the conveyed material (30) in detected depth images (B1, B2) in accordance and depending on a shift of the surface feature and / or surface area between the depth images (B1, B2) a speed (v) of the conveyed material is determined.

Description

Die Erfindung betrifft eine PMD-Kamera und ein Verfahren zum Betreiben einer PMD-Kamera zur Erfassung eines Volumens eines Förderguts nach Gattung der unabhängigen Ansprüche.The invention relates to a PMD camera and a method for operating a PMD camera for detecting a volume of a conveyed material according to the preamble of the independent claims.

Aus der DE 28 26 959 A1 ist ein Verfahren zur Bildverarbeitung von bewegten Objekten auf einem Fließband bekannt, bei dem ein Erfassungsbereich, innerhalb dessen Objekte erkannt werden können, während eines Teils der Vermessungszeitdauer mit einer der Gegenstandsgeschwindigkeit entsprechenden Geschwindigkeit vorrückend gesteuert wird. Nach Erkennen des Objektes und insbesondere einer Gegenstandsidentifizierung und Lagevermessung wird der Bildrahmen in seine Ausgangslage zurückgeschaltet. Entsprechend der erkannten Objekte und Lagepositionen wird ein nachfolgender Roboter angesteuert.From the DE 28 26 959 A1 A method of image processing moving objects on an assembly line is known in which a detection area within which objects can be detected is advancingly controlled during a part of the measurement period of time at a speed corresponding to the object speed. After recognizing the object and in particular an object identification and position measurement, the image frame is switched back to its initial position. According to the detected objects and position positions, a following robot is controlled.

Aus der EP 2 026 033 A1 ist eine Objektgeometrie-Vermessungsvorrichtung bekannt, die Geometriedaten auf einer Fördereinrichtung mit Hilfe eines optoelektronischen Sensors, beispielsweise auch mit Hilfe eines PMD-Sensors, erfasst. Die am Sensor vorbeibewegten Objekte werden abgetastet und eine dreidimensionale Kontur des Förderbands und der auf ihm bewegten Objekte zur Bestimmung von Volumen, Lage Position etc. ermittelt.From the EP 2 026 033 A1 an object geometry measuring device is known, the geometry data on a conveyor by means of an optoelectronic sensor, for example, with the aid of a PMD sensor detected. The objects moved past the sensor are scanned and a three-dimensional contour of the conveyor belt and the objects moving on it are determined for determining volume, position, etc.

Die DE 44 44 661 A1 beschreibt ein Verfahren zur berührungslosen Messung einer Geschwindigkeit mit Hilfe einer 2-Kamera. Hierzu ist es vorgesehen, die 2D-Kamera auf ein Messgut mit beliebig gemusterter oder strukturierter Oberfläche auszurichten und eine Folge von Bildern des Messguts aufzunehmen. Anhand der Ortsveränderung erkannter Struktureinzelheiten des Messgurts in den Bildfolgen wird eine Geschwindigkeit zwischen der Struktureinzelheit und dem Sensor bestimmt.The DE 44 44 661 A1 describes a method for the non-contact measurement of a speed using a 2-camera. For this purpose, it is intended to align the 2D camera on a material to be measured with any patterned or structured surface and to record a sequence of images of the material to be measured. Based on the change in location of detected structural details of the measuring belt in the image sequences, a speed between the structural detail and the sensor is determined.

Aus der EP 0 938 837 A1 ist ein Verfahren zur Bestimmung von Massenanteilen, bei dem eine Volumenmessung eines Schüttgut auf einem Fördermittel mit Hilfe eines Laserscanners erfolgt. Der Laserscanner ist so ausgerichtet, dass die Kontur des Förderguts in Querrichtung des Fördermittels erfasst wird. Unter Berücksichtigung der bekannten Kontur des Fördermittels wird eine Querschnittsfläche des Förderguts bestimmt und zusammen mit einer extern ermittelten Bandgeschwindigkeit ein Volumenstrom berechnet.From the EP 0 938 837 A1 is a method for the determination of mass fractions, in which a volume measurement of a bulk material on a conveyor using a laser scanner. The laser scanner is aligned so that the contour of the conveyed material is detected in the transverse direction of the conveyor. Taking into account the known contour of the conveying means, a cross-sectional area of the conveyed material is determined and a volume flow is calculated together with an externally determined belt speed.

Zur berührungslosen Messung einer Geschwindigkeit von bewegten, bandförmigen Material, wie z. B. Papier, Blech, Folien etc. ist aus der DE 44 41 864 A1 eine Vorrichtung mit zwei Laserscanner bekannt. Die beiden Scanner sind in einem festen Abstand voneinander angeordnet und erfassen jeweils ein Oberflächenprofil des bewegten Materials. Eine Auswerteeinheit überprüft, wann am dem zweiten Laserscanner eine am ersten Laserscanner erfasste Profilsignatur identisch vorliegt. Aus der Zeitdifferenz und dem bekannten Abstand der Laserscanner lässt sich in bekannter Weise eine Geschwindigkeit des bewegten Materials berechnen.For non-contact measurement of a speed of moving, band-shaped material, such. As paper, sheet, foils, etc. is from the DE 44 41 864 A1 a device with two laser scanners known. The two scanners are arranged at a fixed distance from each other and each capture a surface profile of the moving material. An evaluation unit checks when a profile signature recorded on the first laser scanner is identical on the second laser scanner. From the time difference and the known distance of the laser scanner can be calculated in a known manner, a speed of the moving material.

Ferner sind für die Gewinnung von Tiefenbildern so genannte PMD-Kameras bzw. Photomischdetektorkameras mit Photomischdetektoren (PMD) bekannt, wie sie u. a. in den Anmeldungen EP 1 777 747 B1 , US 6 587 186 B2 und auch DE 197 04 496 C2 beschrieben und beispielsweise von der Firma'ifm electronic GmbH' oder 'PMD-Technologies GmbH' als Frame-Grabber O3D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere auch eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl im Kamera-Gehäuse als auch separat angeordnet werden kann.Furthermore, for the acquisition of depth images so-called PMD cameras or photomix detector cameras with photonic mixer detectors (PMD) are known, as described, inter alia, in the applications EP 1 777 747 B1 . US Pat. No. 6,587,186 B2 and also DE 197 04 496 C2 described and, for example, by the company'ifm electronic GmbH 'or' PMD Technologies GmbH 'as a frame grabber O3D or as CamCube relate. In particular, the PMD camera also allows a flexible arrangement of the light source and the detector, which can be arranged both in the camera housing and separately.

Aufgabe der Erfindung ist es, die Bestimmung eines Födergutvolumens auf einem Fördermittel zu verbessern.The object of the invention is to improve the determination of a Födergutvolumens on a conveyor.

Die Aufgabe wird vorteilhaft durch die erfindungsgemäße PMD-Kamera gelöst.The object is advantageously achieved by the PMD camera according to the invention.

Vorteilhaft ist eine Photomischdetektorkamera mit einer Auswerteeinheit zur Bestimmung einer Volumens eines erfassten Förderguts ausgestattet, bei dem die Auswerteeinheit derart ausgebildet ist, dass in Abhängigkeit eines erfassten Oberflächenbilds des Förderguts und einer intern oder extern erfassten Geschwindigkeit ein Volumen und/oder Volumenstrom des Förderguts an mindestens einem Ausgang der PMD-Kamera abgreifbar ist.Advantageously, a photonic mixer detector camera is equipped with an evaluation unit for determining a volume of a conveyed item, in which the evaluation unit is designed such that a volume and / or volume flow of the item to be conveyed on at least one of a detected surface image of the conveyed and an internally or externally detected speed Output of the PMD camera can be tapped off.

Ferner ist die Auswerteeinheit der PMD-Kamera derart ausgestaltet, dass die Auswerteeinheit mindestens ein Oberflächenmerkmal und/oder einen Oberflächenbereich des Förderguts in erfassten Tiefenbildern in Übereinstimmung bringt und in Abhängigkeit einer Verschiebung des Oberflächenmerkmals und/oder Oberflächenbereichs zwischen den Tiefenbildern eine Geschwindigkeit des Förderguts ermittelt wird.Furthermore, the evaluation unit of the PMD camera is configured in such a way that the evaluation unit matches at least one surface feature and / or a surface region of the conveyed material in detected depth images and a velocity of the conveyed material is determined as a function of a displacement of the surface feature and / or surface region between the depth images ,

Dieses Vorgehen hat den Vorteil, dass mit Hilfe eines Tiefenbilds ein größerer Oberflächenbereich eines Förderguts erfasst und die Profilierung und somit im Ergebnis das Volumen des Förderguts schnell und zuverlässig bestimmt werden kann. Die Geschwindigkeit des Förderguts bzw. des Transportmittels wird über die dargelegte interne Auswertung zur Verfügung gestellt; sie kann zusätzlich über externe Sensoren der PMD-Kamera ermittelt werden.This approach has the advantage that with the help of a depth image, a larger surface area of a conveyed recorded and the profiling and thus the volume of the conveyed material can be determined quickly and reliably. The speed of the material to be conveyed or of the means of transport is made available via the internal evaluation set out; It can also be determined via external sensors of the PMD camera.

Dieses Vorgehen hat zudem den Vorteil, dass bereits allein durch die PMD-Kamera unabhängig von einem externen Odometrie- bzw. Geschwindigkeitssensor die Geschwindigkeit des Förderguts ermittelt wird. Somit sind externe Geschwindigkeitssensoren nicht zwingend notwendig können jedoch ggf. zur Absicherung oder Plausibilisierung herangezogen werden. This approach also has the advantage that the speed of the conveyed material is determined solely by the PMD camera independently of an external odometry or speed sensor. Thus, external speed sensors are not absolutely necessary but may be used for protection or plausibility.

Bevorzugt weist die PMD-Kamera einen oder mehrere Ausgänge auf, wobei ein Ausgang beispielsweise als Impulsausgang ausgestaltet ist, wobei jeder Impuls einer vorgebbaren Volumenmenge entspricht.Preferably, the PMD camera on one or more outputs, wherein an output is configured for example as a pulse output, each pulse corresponds to a predetermined volume amount.

Weiterhin kann ein Ausgang der PMD-Kamera als Volumenausgabe ausgestaltet sein, so dass das erfasste und aufsummierte Fördervolumen als Signal abgreifbar ist.Furthermore, an output of the PMD camera can be designed as a volume output, so that the detected and summed delivery volume can be tapped off as a signal.

Ferner kann ein Ausgang der PMD-Kamera für die Ausgabe eines Volumenstroms ausgebildet sein.Furthermore, an output of the PMD camera can be designed for the output of a volume flow.

Zur Verbesserung der Zuverlässigkeit der Geschwindigkeitsmessung können zusätzlich zu den Tiefenbildern auch 2D-Bilder erfasst werden. Die Geschwindigkeit des Förderguts kann so vorteilhaft aus einer Kombination der Tiefen- und 2D-Bildern ermittelt werden.To improve the reliability of the speed measurement, 2D images can be captured in addition to the depth images. The speed of the conveyed material can thus advantageously be determined from a combination of the depth and 2D images.

Bevorzugt werden die 2D-Bilder ausgehend von Signalen zur Gewinnung der Tiefenbilder erzeugt.The 2D images are preferably generated on the basis of signals for obtaining the depth images.

Vorteilhaft ist die PMD-Kamera bzw. eine Auswerteeinheit derart ausgestaltet, dass zwischen zwei zeitlich aufeinanderfolgende Tiefen- und/oder 2D-Bildern eine Verschiebung ermittelt wird, die den Bildern gemeinsame Oberflächenmerkmale in einen übereinstimmenden Teilbereich überführt, wobei ausgehend von der Verschiebung und einer bekannten Bildfolgezeit eine Geschwindigkeit ermittelt wird.Advantageously, the PMD camera or an evaluation unit is configured in such a way that a displacement is determined between two temporally successive depth and / or 2D images, which converts the images common surface features into a matching subregion, starting from the displacement and a known Sequence time a speed is determined.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention will be explained in more detail by means of embodiments with reference to the drawings.

Es zeigen schematisch:They show schematically:

1 eine Anordnung zur Überwachung eines Förderbandes in einem ersten Zeitpunkt, 1 an arrangement for monitoring a conveyor belt at a first time,

2 ein Querschnitt des überwachten Förderbandes, 2 a cross section of the monitored conveyor belt,

3 eine Anordnung gemäß 1 zu einem nachfolgenden Zeitpunkt. 3 an arrangement according to 1 at a subsequent time.

1 zeigt ein Förderband 40 auf dem ein Fördergut 30 mit einer Geschwindigkeit v transportiert wird. Oberhalb des Förderbandes 40 und dem Fördergut 30 ist eine Photomischdetektorkamera 10 mit einer Auswerteeinheit 15 angeordnet, die einen Teilbereich 20 bzw. einen Erfassungsbereich EB des Förderbands 40 überwacht. Vom überwachten Teilbereich 20 werden mit einer vorgegebenen Framerate 1/t bzw. Bildfolgezeit t Bilder B1, insbesondere Tiefenbilder und gegebenenfalls 2D-Bilder erfasst. Die Auswerteeinheit 15 ist ferner so ausgestaltet, dass über die erfassten Bilder B1 eine Geschwindigkeit des Förderguts bzw. des Förderbands ermittelt wird. 1 shows a conveyor belt 40 on a conveyed 30 is transported at a speed v. Above the conveyor belt 40 and the conveyed goods 30 is a photonic mixer camera 10 with an evaluation unit 15 arranged, which is a subarea 20 or a detection range EB of the conveyor belt 40 supervised. From the monitored subarea 20 are recorded at a predetermined frame rate 1 / t or frame time t images B1, especially depth images and optionally 2D images. The evaluation unit 15 is further configured so that a speed of the conveyed or the conveyor belt is determined via the captured images B1.

Ferner kann die PMD-Kamera mit einem externen Geschwindigkeits- bzw. Odometriesensor 80 verbunden werden. Die Geschwindigkeitsdaten können dann beispielsweise direkt von einer Förderband-Steuerung oder einer Überwachung an die PMD-Kamera weiter geleitet werden. Auch kann es vorgesehen sein, die Geschwindigkeit des Förderbandes bzw. Fördermittel mit Geschwindigkeitssensoren zu erfassen.Furthermore, the PMD camera can be equipped with an external speed or odometry sensor 80 get connected. The speed data may then be forwarded, for example, directly from a conveyor control or monitoring to the PMD camera. It can also be provided to detect the speed of the conveyor belt or conveying means with speed sensors.

Zur Vorbereitung einer Volumenbestimmung wird zunächst in einer Lernphase oder Initialisierungsphase ein Tiefenbild des Fördermittels 40 ohne Fördergut 30 erfasst. Dieses Tiefenbild dient als Referenztiefenbild RT für die weitere Volumenbestimmung.To prepare a volume determination is first in a learning phase or initialization phase, a depth image of the funding 40 without conveyed goods 30 detected. This depth image serves as a reference depth image RT for further volume determination.

2 zeigt einen perspektivischen Querschnitt der Anordnung gemäß 1. Aus der Differenz zwischen dem erfassten Tiefenbild bzw. Oberflächentiefenbild der Förderbandes 40 mit Fördergut 30 und dem hinterlegten Referenztiefenbild RT lässt sich dann ohne weiteres ein Volumen ermitteln. 2 shows a perspective cross-section of the arrangement according to 1 , From the difference between the acquired depth image or surface depth image of the conveyor belt 40 with conveyed goods 30 and the stored reference depth image RT can then easily determine a volume.

3 zeigt die Situation gemäß 1 zu einem späteren Zeitpunkt, in dem ein nachfolgendes Bild B2 bzw. Tiefenbild vom überwachten Teilbereich 20, EB aufgenommen wird. Ausgehend von der an sich bekannten Bildfolgerate/-zeit t und einer Verschiebung d des Förderguts 30 bzw. einer ermittelten Verschiebung zwischen den Tiefenbildern B1, B2 kann nicht nur eine Geschwindigkeit v, sondern auch ein Volumenstrom des Förderguts 30 bestimmt werden. Der Volumenstrom kann beispielsweise anhand des im nachfolgenden Bild neu erfassten Volumens oder auch des hinausgeförderten Volumenabschnitts bestimmt werden. V / t = V(d) / t = Volumenabschnitt·Framrate 3 shows the situation according to 1 at a later time, in which a subsequent image B2 or depth image from the monitored subarea 20 , EB is being recorded. Starting from the known image sequence rate / time t and a shift d of the conveyed 30 or a determined shift between the depth images B1, B2 can not only a speed v, but also a volume flow of the conveyed 30 be determined. The volumetric flow can be determined, for example, on the basis of the volume newly recorded in the following image or also of the volume portion conveyed out. V / t = V (d) / t = volume segment · frame rate

Für unterschiedliche Applikationen kann die PMD-Kamera 10 einen oder mehrere Ausgänge aufweisen, an denen beispielsweise ein Volumenstrom oder ein über die Förderzeit aufsummiertes Volumen abgreifbar ist. Auch ist es denkbar, das geförderte Volumen als Impuls auszugeben, beispielsweise könnte ein Impuls einer vorher festgelegten Volumenmenge entsprechen.For different applications, the PMD camera 10 Have one or more outputs at which, for example, a volume flow or a summed over the delivery time volume can be tapped. It is also conceivable to output the conveyed volume as a pulse, for example, an impulse could correspond to a predetermined volume amount.

Vorteilhaft ist die PMD-Kamera 10 bzw. die Auswerteeinheit 15 auch zur internen Bestimmung der Geschwindigkeit v des Förderguts 30 ausgebildet. Zur Geschwindigkeitsbestimmung werden die beiden zeitlich aufeinanderfolgenden Bilder B1, B2 im Hinblick auf gemeinsame Oberflächenmerkmale untersucht und ein Verschiebungsvektor d bestimmt, der die übereinstimmenden Merkmale in einen gemeinsamen Bildbereich bzw. Teilbildbereich überführt. Dies kann beispielsweise über bekannte stitching- oder Pattern-matching-Verfahren erfolgen. Ausgehend von der ermittelten Verschiebung d und der bekannten Bildfolgezeit t bzw. Framerate 1/t lässt sich die Geschwindigkeit v = d/t des Förderguts 30 ermitteln.Advantageous is the PMD camera 10 or the evaluation unit 15 also for internal determination of the speed v of the conveyed goods 30 educated. To determine the velocity, the two temporally successive images B1, B2 are examined with regard to common surface features, and a displacement vector d is determined, which converts the matching features into a common image area or partial image area. This can be done, for example, via known stitching or pattern matching methods. Starting from the determined displacement d and the known image sequence time t or frame rate 1 / t, the velocity v = d / t of the conveyed material can be determined 30 determine.

Die Bestimmung der Geschwindigkeit kann insbesondere mit Hilfe einer Kombination eines Tiefen- und 2D-Bilds erfolgen. Wobei beide Bilder vorzugsweise so kombiniert werden, dass die Kombination der Bilder einen maximalen Informationsinhalt aufweist und die Versuche für ein Pattern-Matching reduziert werden. Insbesondere kann es vorgesehen sein, Tiefen- und 2D-Bild unterschiedlich zu gewichten.The determination of the speed can be carried out in particular by means of a combination of a depth and a 2D image. Whereby both images are preferably combined in such a way that the combination of the images has a maximum information content and the attempts for a pattern matching are reduced. In particular, it may be provided to weight depth and 2D image differently.

Die dargestellte interne Geschwindigkeitsbestimmung kann beispielsweise in der Auswerteeinheit oder in einer Odometrievorrichtung realisiert sein. Die Odometrievorrichtung kann sowohl Bestandteil der Auswerteeinheit selbst sein oder aber auch als separate Einheit aufgebaut sein.The illustrated internal speed determination can be realized, for example, in the evaluation unit or in an odometry device. The odometry device can either be part of the evaluation unit itself or else be constructed as a separate unit.

Vorzugsweise sind die Auswerteeinheit und/oder die Odometrievorrichtung selbstlernend ausgebildet. Insbesondere kann es für eine interne Geschwindigkeitsbestimmung vorgesehen sein, während einer Initialisierungsphase die Oberfläche des Förderguts sowohl als Tiefenbild als auch als 2D-Bild zu erfassen. Wobei zu weiteren Messung das Bild oder eine Kombination von entsprechend gewichteten Bildern verwendet wird, die einen möglichst hohen Informationsgehalt im Hinblick auf eine Geschwindigkeitsbestimmung aufweist.Preferably, the evaluation unit and / or the odometry device are self-learning. In particular, it may be provided for an internal speed determination, during an initialization phase to capture the surface of the conveyed both as depth image and as a 2D image. Wherein, for further measurement, the image or a combination of correspondingly weighted images is used, which has the highest possible information content with regard to a velocity determination.

Auch ist es denkbar, dass die optimale Auswahl bzw. Kombination im weiteren Messablauf regelmäßig oder zufällig auf optimale Funktionsfähigkeit überprüft wird, so dass die Kamera selbstlernend immer die optimalen Parameter für eine Geschwindigkeitsmessung respektive Volumenbestimmung einstellt.It is also conceivable that the optimum selection or combination is regularly or randomly checked for optimum functionality in the further measurement sequence, so that the camera always self-learning always sets the optimum parameters for a speed measurement or volume determination.

Claims (8)

Photomischdetektorkamera (10) mit einer Auswerteeinheit (15) zur Bestimmung eines Volumens (Vol) eines erfassten Förderguts (30), bei dem die Auswerteeinheit (15) derart ausgebildet ist, dass in Abhängigkeit eines erfassten Oberflächentiefenbilds des Förderguts und einer erfassten Geschwindigkeit ein Volumen (Vol) und/oder Volumenstrom (Vol/t) des Förderguts an mindestens einem Ausgang der PMD-Kamera (10) abgreifbar ist, dadurch gekennzeichnet, dass die Auswerteeinheit der PMD-Kamera (10) derart ausgestaltet ist, dass die Auswerteeinheit mindestens ein Oberflächenmerkmal und/oder einen Oberflächenbereich des Förderguts (30) in erfassten Tiefenbildern (B1, B2) in Übereinstimmung bringt und in Abhängigkeit einer Verschiebung des Oberflächenmerkmals und/oder Oberflächenbereichs zwischen den Tiefenbildern (B1, B2) eine Geschwindigkeit (v) des Förderguts ermittelt wird.Photomix detector camera ( 10 ) with an evaluation unit ( 15 ) for determining a volume (Vol) of a conveyed item ( 30 ), in which the evaluation unit ( 15 ) is designed such that, as a function of a detected surface depth image of the conveyed goods and a detected speed, a volume (vol) and / or volumetric flow (vol / t) of the conveyed material at at least one output of the PMD camera ( 10 ) can be tapped, characterized in that the evaluation unit of the PMD camera ( 10 ) is configured such that the evaluation unit at least one surface feature and / or a surface region of the conveyed ( 30 ) in detected depth images (B1, B2) and in response to a shift of the surface feature and / or surface area between the depth images (B1, B2) a speed (v) of the conveyed material is determined. PMD-Kamera (10) nach Anspruch 1, bei der ein Ausgang der PMD-Kamera als Impulsausgang ausgestaltet ist, wobei jeder Impuls einer vorgebbaren Volumenmenge entspricht.PMD camera ( 10 ) according to claim 1, wherein an output of the PMD camera is designed as a pulse output, wherein each pulse corresponds to a predeterminable volume amount. PMD-Kamera (10) nach einem der vorhergehenden Ansprüchen, bei der ein Ausgang der PMD-Kamera als Volumenausgabe derart ausgestaltet ist, dass das erfasste, aufsummierte Fördervolumen als Signal abgreifbar ist.PMD camera ( 10 ) according to one of the preceding claims, in which an output of the PMD camera is designed as a volume output such that the detected accumulated delivery volume can be tapped off as a signal. PMD-Kamera (10) nach einem der vorhergehenden Ansprüche, bei der ein Ausgang der PMD-Kamera für die Ausgabe eines Volumenstroms ausgebildet ist.PMD camera ( 10 ) according to one of the preceding claims, wherein an output of the PMD camera is designed for the output of a volume flow. PMD-Kamera (10) nach einem der vorhergehenden Ansprüche, bei der die PMD-Kamera (10) zusätzlich zu den Tiefenbildern 2D-Bilder erfasst, und die Geschwindigkeit (v) des Förderguts aus einer Kombination der Tiefen- und 2D-Bildern ermittelt wird.PMD camera ( 10 ) according to one of the preceding claims, in which the PMD camera ( 10 ) detects 2D images in addition to the depth images, and determines the velocity (v) of the conveyed material from a combination of the depth and 2D images. PMD-Kamera (10) nach Anspruch 5, bei der die 2D-Bilder ausgehend von Signalen zur Gewinnung der Tiefenbilder erzeugt werden.PMD camera ( 10 ) according to claim 5, wherein the 2D images are generated from signals for obtaining the depth images. PMD-Kamera (10) nach einem der Ansprüche 5 oder 6, bei der zwischen zwei zeitlich aufeinanderfolgende Tiefen- und/oder 2D-Bildern eine Verschiebung (d) ermittelt wird, die den Bildern gemeinsame Oberflächenmerkmale in einen übereinstimmenden Teilbereich überführt, wobei ausgehend von der Verschiebung (d) und einer bekannten Bildfolgezeit (t) eine Geschwindigkeit (v) ermittelt wird.PMD camera ( 10 ) according to one of Claims 5 or 6, in which a displacement (d) is determined between two temporally successive depth and / or 2D images which converts the images common surface features into a matching partial region, starting from the displacement (d). and a known image sequence time (t) a speed (v) is determined. PMD-Kamera (10) nach einem der vorhergehenden Ansprüche, bei der zur Ermittlung des Volumenstroms ein Referenztiefenbild (RT) von einem Fördermittel (40) ohne Fördergut (30) hinterlegt ist, so dass aus der Differenz vom erfassten und bekannten Referenztiefenbild (RT) ein Volumen ermittelt werden kann.PMD camera ( 10 ) according to one of the preceding claims, wherein for determining the volume flow, a reference depth image (RT) of a Funding ( 40 ) without conveyed goods ( 30 ), so that a volume can be determined from the difference between the detected and known reference depth image (RT).
DE102012220648.5A 2012-11-13 2012-11-13 PMD camera with a volume determination Active DE102012220648B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012220648.5A DE102012220648B4 (en) 2012-11-13 2012-11-13 PMD camera with a volume determination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012220648.5A DE102012220648B4 (en) 2012-11-13 2012-11-13 PMD camera with a volume determination

Publications (2)

Publication Number Publication Date
DE102012220648A1 DE102012220648A1 (en) 2014-05-28
DE102012220648B4 true DE102012220648B4 (en) 2015-11-26

Family

ID=50678984

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012220648.5A Active DE102012220648B4 (en) 2012-11-13 2012-11-13 PMD camera with a volume determination

Country Status (1)

Country Link
DE (1) DE102012220648B4 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886961B (en) * 2019-03-27 2023-04-11 重庆交通大学 Medium and large cargo volume measuring method based on depth image
CN112857219B (en) * 2021-01-14 2021-11-16 青岛大学威海创新研究院 Volume measurement method and device based on TOF depth camera
CN114212445B (en) * 2021-12-07 2023-06-27 合肥欣畅源光电科技有限公司 Material processing feeding servo system based on structured light volume measurement
CN115856923B (en) * 2023-02-27 2023-06-16 北京理工大学深圳汽车研究院(电动车辆国家工程实验室深圳研究院) Method, device, equipment and storage medium for measuring ore card unloading time

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2826959A1 (en) * 1978-05-26 1979-11-29 Bbc Brown Boveri & Cie METHOD FOR IMAGE DATA PROCESSING OF MOVING OBJECTS
DE3411540C2 (en) * 1984-03-29 1989-04-06 Fried. Krupp Gmbh, 4300 Essen, De
DE4441864A1 (en) * 1993-12-18 1995-06-22 Hengstler Gmbh Contactless speed measurement appts.
DE4444661A1 (en) * 1994-12-15 1996-06-20 Korneffel Burghard Dr Rer Nat Contact free speed measurement method for e.g. conveyor belt or road
EP0938837A1 (en) * 1998-02-27 1999-09-01 Karl-Hans Prof. Dr. Ing. Kromer Determination of the earth proportion in a belt conveyor for agricultural goods
DE19704496C2 (en) * 1996-09-05 2001-02-15 Rudolf Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747B1 (en) * 2005-10-19 2008-03-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
DE102006056556A1 (en) * 2006-11-29 2008-06-05 Sick Ag Volume determining device for object moved on frame conveyor i.e. tilting frame sorter, has sensor for determining frame geometry of frame and object geometry of object located in frame, where sensor is formed using common measuring process
EP2026033A1 (en) * 2007-08-14 2009-02-18 Sick Ag Method and device for dynamic generation and transfer of geometry data

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2826959A1 (en) * 1978-05-26 1979-11-29 Bbc Brown Boveri & Cie METHOD FOR IMAGE DATA PROCESSING OF MOVING OBJECTS
DE3411540C2 (en) * 1984-03-29 1989-04-06 Fried. Krupp Gmbh, 4300 Essen, De
DE4441864A1 (en) * 1993-12-18 1995-06-22 Hengstler Gmbh Contactless speed measurement appts.
DE4444661A1 (en) * 1994-12-15 1996-06-20 Korneffel Burghard Dr Rer Nat Contact free speed measurement method for e.g. conveyor belt or road
DE19704496C2 (en) * 1996-09-05 2001-02-15 Rudolf Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
EP0938837A1 (en) * 1998-02-27 1999-09-01 Karl-Hans Prof. Dr. Ing. Kromer Determination of the earth proportion in a belt conveyor for agricultural goods
US6587186B2 (en) * 2000-06-06 2003-07-01 Canesta, Inc. CMOS-compatible three-dimensional image sensing using reduced peak energy
EP1777747B1 (en) * 2005-10-19 2008-03-26 CSEM Centre Suisse d'Electronique et de Microtechnique SA Device and method for the demodulation of modulated electromagnetic wave fields
DE102006056556A1 (en) * 2006-11-29 2008-06-05 Sick Ag Volume determining device for object moved on frame conveyor i.e. tilting frame sorter, has sensor for determining frame geometry of frame and object geometry of object located in frame, where sensor is formed using common measuring process
EP2026033A1 (en) * 2007-08-14 2009-02-18 Sick Ag Method and device for dynamic generation and transfer of geometry data

Also Published As

Publication number Publication date
DE102012220648A1 (en) 2014-05-28

Similar Documents

Publication Publication Date Title
DE102012220648B4 (en) PMD camera with a volume determination
DE102014005688B4 (en) TRACK ESTIMATE DEVICE AND METHOD
DE60207128T3 (en) Sensor for automatic doors
EP1330132B1 (en) Method and apparatus for occlusion detection in image sensor systems
DE102013215117A1 (en) Object determination by means of radar sensor
CN107703505A (en) Trailer size estimation is carried out using two-dimensional radar and camera
EP1474315B1 (en) Device for identifying the risk of a rollover
DE102013202915A1 (en) Method for measuring parking space for parking assistance system of motor vehicle, involves determining free parking area within parking space depending on positions of two corners and detection of obstacles within two blind ranges
WO2017103255A1 (en) Device and method for an unmanned flying object
DE102008043190A1 (en) tracking device
DE102010021851A1 (en) System for loading of collective package of goods in e.g. cardboard, has sensor system acquiring integrity of package, and sensor system arranged such that packaging units are under-detected when packaging units are fed along path
EP2801258B1 (en) Device and method for determining at least one parameter of a manufactured sausage
AT511773A1 (en) DEVICE AND METHOD FOR DETECTING AT LEAST ONE PERIODIC ERROR ON A SUBJECT
DE102018201615A1 (en) Household robot and method for determining the distance of a home robot to a substrate
DE102007008602A1 (en) Recoil holding system used for vehicle seat comprises a safety belt with a roller for generating the safety belt and a rotation sensor for specifying the relative length and tension required for the safety belt
DE102012220650B4 (en) PMD camera with a speed determination
EP2910893A1 (en) Device and method for determining variations in flatness when handling a material in the form of a strip
DE102012105401B3 (en) Three-dimensional camera i.e. stereoscopic security camera, for monitoring e.g. press, has classification unit to form measuring curve of correlation quality based on depth maps produced at different exposure times
DE102007011417A1 (en) Apparatus and method for determining distance
DE102014009522A1 (en) Method for detecting an environment of a vehicle
AT523414B1 (en) Method for determining the bulk density of bulk material in a mobile crusher
EP1619085B1 (en) Arrangement for monitoring the movements of a vehicle
DE4441864A1 (en) Contactless speed measurement appts.
DE102021134196B3 (en) Method for detecting at least a partial area of an area surrounding a motor vehicle with a sensor device, sensor device and motor vehicle
DE102020003349B4 (en) ROBOT SYSTEM

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: IFM ELECTRONIC GMBH, 45128 ESSEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE