[go: up one dir, main page]

DE102010054626A1 - Method for monitoring danger area i.e. entrance area, of door of transportation medium i.e. bus, for transporting persons, involves providing warning notice to driver based on position or movement of detected person in one of partial areas - Google Patents

Method for monitoring danger area i.e. entrance area, of door of transportation medium i.e. bus, for transporting persons, involves providing warning notice to driver based on position or movement of detected person in one of partial areas Download PDF

Info

Publication number
DE102010054626A1
DE102010054626A1 DE102010054626A DE102010054626A DE102010054626A1 DE 102010054626 A1 DE102010054626 A1 DE 102010054626A1 DE 102010054626 A DE102010054626 A DE 102010054626A DE 102010054626 A DE102010054626 A DE 102010054626A DE 102010054626 A1 DE102010054626 A1 DE 102010054626A1
Authority
DE
Germany
Prior art keywords
danger
area
door
transport
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102010054626A
Other languages
German (de)
Inventor
Björn Dipl.-Ing. Barrois (FH), 89233
Tim-Colin 70180 Gielow
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102010054626A priority Critical patent/DE102010054626A1/en
Publication of DE102010054626A1 publication Critical patent/DE102010054626A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05FDEVICES FOR MOVING WINGS INTO OPEN OR CLOSED POSITION; CHECKS FOR WINGS; WING FITTINGS NOT OTHERWISE PROVIDED FOR, CONCERNED WITH THE FUNCTIONING OF THE WING
    • E05F15/00Power-operated mechanisms for wings
    • E05F15/70Power-operated mechanisms for wings with automatic actuation
    • E05F15/73Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects
    • E05F15/74Power-operated mechanisms for wings with automatic actuation responsive to movement or presence of persons or objects using photoelectric cells
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • EFIXED CONSTRUCTIONS
    • E05LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05YINDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2900/00Application of doors, windows, wings or fittings thereof
    • E05Y2900/50Application of doors, windows, wings or fittings thereof for vehicles
    • E05Y2900/506Application of doors, windows, wings or fittings thereof for vehicles for buses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C2209/00Indexing scheme relating to groups G07C9/00 - G07C9/38
    • G07C2209/60Indexing scheme relating to groups G07C9/00174 - G07C9/00944
    • G07C2209/62Comprising means for indicating the status of the lock

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

The method involves detecting a danger area i.e. entrance area (1.1), of a door of a transportation medium (1) by an image detection device (3) i.e. stereo camera. Images of the device are supplied to a control unit, and the danger area is divided into a set of danger partial areas (G1-G5). A warning notice is provided to a driver and/or a closing process of the door is interrupted automatically by the control unit based on a position or movement of a detected person in one of the partial areas, where the notice is provided in the form of an optical, acoustical and/or haptic warning signal. An independent claim is also included for a device for monitoring a danger area i.e. entrance area of a door of a transportation medium.

Description

Die Erfindung betrifft ein Verfahren zur Überwachung eines Gefahrenbereiches, insbesondere eines Einstiegsbereiches, eines Verkehrsmittels zur Beförderung von Personen, wobei der Gefahrenbereich mittels mindestens einer Bilderfassungseinheit erfasst wird.The invention relates to a method for monitoring a danger area, in particular an access area, a means of transport for the transport of persons, wherein the danger area is detected by means of at least one image capture unit.

Im Bereich von Bustüren ist besondere Vorsicht notwendig, damit Fahrgäste nicht verletzt werden. Beim Öffnen und insbesondere beim Schließen der Türen können durch die sich bewegenden Teile Personen verletzt werden. Wird eine Person oder ein Gegenstand in der Tür eingeklemmt, so muss die Tür reversiert angesteuert werden. Ist eine Person oder ein Gegenstand in der Tür eingeklemmt, wird dies durch Kontakte im Rahmen der Tür sensiert. Zusätzlich kommen in verschiedenen Bussen Lichtschranken zum Einsatz, die einen Einstiegsbereich überwachen.Special care must be taken in the area of bus doors so that passengers are not injured. When opening and especially when closing the doors, people may be injured by the moving parts. If a person or an object is trapped in the door, the door must be reversed. If a person or an object is trapped in the door, this is sensed by contacts within the door. In addition, photoelectric sensors that monitor an entry area are used in various buses.

Aus der DE 102 45 720 A1 ist ein Verfahren und eine Vorrichtung zum Absichern eines Gefahrenbereiches, insbesondere des Gefahrenbereiches einer automatisiert arbeitenden Maschine bekannt. Die Vorrichtung beinhaltet zumindest eine erste und eine zweite Bildaufnahmeeinheit zum Aufnehmen eines ersten und eines zweiten Bildes des Gefahrenbereiches. Die erste und die zweite Bildaufnahmeeinheit sind versetzt zueinander angeordnet. Ferner ist eine Auswerteeinheit vorgesehen, die anhand einer Stereobildanalyse des ersten und zweiten Bildes Fremdobjekte in dem Gefahrenbereich detektiert. In der Auswerteeinheit sind zwei verschiedene Stereobildanalyseverfahren sowie ein Schaltmittel implementiert. Das Schaltmittel wird aktiviert, wenn zumindest eines der Stereobildanalyseverfahren eine Fremdobjektdetektion liefert.From the DE 102 45 720 A1 is a method and an apparatus for securing a danger area, in particular the danger zone of an automated machine known. The apparatus includes at least first and second image pickup units for receiving first and second images of the danger area. The first and second image pickup units are offset from one another. Furthermore, an evaluation unit is provided, which detects foreign objects in the danger area on the basis of a stereo image analysis of the first and second image. In the evaluation unit, two different stereo image analysis methods and a switching means are implemented. The switching means is activated when at least one of the stereo image analysis methods provides a foreign object detection.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Überwachung eines Gefahrenbereiches, insbesondere eines Einstiegsbereiches, eines Verkehrsmittels zur Beförderung von Personen anzugeben.The invention has for its object to provide a comparison with the prior art improved method for monitoring a danger area, in particular an entry area, a means of transport for the transport of persons.

Die Aufgabe wird erfindungsgemäß durch die in Anspruch 1 angegebenen Merkmale gelöst. Vorteilhafte Weiterbildungen der Erfindung sind Gegenstand der Unteransprüche.The object is achieved by the features specified in claim 1. Advantageous developments of the invention are the subject of the dependent claims.

Bei einem Verfahren zur Überwachung eines Gefahrenbereiches, insbesondere eines Einstiegsbereiches, einer Fahrzeugtür eines Verkehrsmittels zur Beförderung von Personen wird der Gefahrenbereich mittels mindestens einer Bilderfassungseinheit erfasst. Erfindungsgemäß ist der Gefahrenbereich in eine Anzahl von Gefahrenteilbereichen eingeteilt, wobei in Abhängigkeit einer Position oder einer Bewegung einer detektierten Person in einem der Gefahrenteilbereiche ein Warnhinweis an den Fahrer ausgegeben wird und/oder ein Schließvorgang der Fahrzeugtür automatisch unterbrochen wird.In a method for monitoring a danger area, in particular an entry area, of a vehicle door of a means of transport for the transport of persons, the danger area is detected by means of at least one image capture unit. According to the hazard area is divided into a number of partial hazard areas, depending on a position or a movement of a detected person in one of the danger areas a warning to the driver is issued and / or a closing operation of the vehicle door is automatically interrupted.

Dadurch, dass der Gefahrenbereich, insbesondere der Einstiegsbereich, mittels der Bilderfassungseinheit, welche eine Stereokamera ist, überwacht wird, wird in besonders vorteilhafter Weise ein vergleichsweise großer Bereich, welcher einen Bereich innerhalb des Verkehrsmittels und einen Bereich außerhalb des Verkehrsmittels umfasst, erfasst. Alternativ zur Verwendung einer Stereokamera können zwei Bilderfassungseinheiten, die in einer Stereoanordnung angeordnet sind, eingesetzt werden.Due to the fact that the danger area, in particular the access area, is monitored by means of the image capture unit, which is a stereo camera, a comparatively large area, which encompasses an area within the means of transport and an area outside the means of transport, is detected in a particularly advantageous manner. As an alternative to using a stereo camera, two image acquisition units arranged in a stereo arrangement can be used.

Mittels des erfindungsgemäßen Verfahrens ist eine Gefährdung von Personen, die sich in einem Gefahrenteilbereich des Gefahrenbereiches, insbesondere des Einstiegsbereiches, des Verkehrsmittels aufhalten, vermindert, da entsprechend der Position oder der Bewegung der Person automatisch Maßnahmen eingeleitet werden, mittels derer Verletzungen durch die sich schließende Fahrzeugtür weitgehend ausgeschlossen sind.By means of the method according to the invention, a danger to persons who are in a danger subarea of the danger area, in particular the boarding area, of the means of transport is reduced, since according to the person's position or movement, measures are automatically taken by means of which injuries are caused by the closing vehicle door are largely excluded.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand einer Zeichnung näher erläutert.Embodiments of the invention will be explained in more detail below with reference to a drawing.

Dabei zeigt:Showing:

1 schematisch eine Schnittdarstellung eines Einstiegsbereiches eines Verkehrsmittels zur Beförderung von Personen. 1 schematically a sectional view of an entry area of a means of transport for the transport of persons.

In der einzigen Figur ist ein Querschnitt eines Einstiegsbereiches 1.1 als Gefahrenbereich eines Busses als Verkehrsmittel 1 zur Beförderung von Personen dargestellt.In the single figure is a cross section of an entry area 1.1 as danger area of a bus as means of transport 1 presented for the transport of persons.

Der Einstiegsbereich 1.1 des Verkehrsmittels 1 weist Stufen 1.1.1 bis 1.1.4 auf, wobei sich eine niedrigste Stufe 1.1.1 in einem Türrahmen 1.2 befindet. Eine höchste Stufe 1.1.4 stellt die Ebene dar, auf welcher Fahrzeugsitze 2 angeordnet sind.The entry area 1.1 of the means of transport 1 has stages 1.1.1 to 1.1.4 on, being a lowest level 1.1.1 in a doorway 1.2 located. A highest level 1.1.4 represents the plane on which vehicle seats 2 are arranged.

Eine nicht näher dargestellte Fahrzeugtür des Verkehrsmittels 1 öffnet und schließt automatisch, wobei ein Fahrer des Verkehrsmittels 1 jeweils zum Öffnen und Schließen ein in einer nicht gezeigten Instrumententafel des Verkehrsmittels 1 angeordnetes Betätigungselement bedient. A vehicle door, not shown, of the means of transport 1 opens and closes automatically, being a driver of the transport 1 each for opening and closing a not shown in an instrument panel of the transport 1 operated actuator operated.

Oberhalb des Türrahmens 1.2 ist eine Bilderfassungseinheit 3 in Form einer Stereokamera innerhalb des Verkehrsmittels 1 befestigt, wobei alternativ zur Befestigung einer als Stereokamera ausgeführten Bilderfassungseinheit 3 zwei Bilderfassungseinheiten in einer Stereoanordnung befestigt sein können.Above the door frame 1.2 is an image capture unit 3 in the form of a stereo camera within the means of transport 1 attached, wherein, alternatively, for mounting an image acquisition unit designed as a stereo camera 3 two image capture units can be mounted in a stereo arrangement.

Mittels der Bilderfassungseinheit 3 wird der Einstiegsbereich 1.1 als Gefahrenbereich fortlaufend erfasst, wobei sich der Einstiegsbereich 1.1 entsprechend eines Erfassungsbereiches E der Bilderfassungseinheit 3 von den Stufen 1.1.1 bis 1.1.4 im Verkehrsmittel 1 bis einschließlich eines Bereiches vor der Fahrzeugtür erstreckt. Dadurch können Personen oder Gegenstände, die sich im unmittelbaren Bereich der Fahrzeugtür oder im Türrahmen 1.2 selbst befinden, erfasst werden.By means of the image acquisition unit 3 becomes the entry level 1.1 as a danger area continuously recorded, whereby the entry area 1.1 corresponding to a detection area E of the image acquisition unit 3 from the steps 1.1.1 to 1.1.4 in the transport 1 extends up to and including an area in front of the vehicle door. This allows people or objects that are in the immediate area of the vehicle door or in the door frame 1.2 themselves are detected.

Bei erstmaliger Anordnung der Bilderfassungseinheit 3, welche bevorzugt vorkalibriert ist, wird eine Geometrie des Einstiegsbereiches 1.1, in dem sich keine Personen oder Gegenstände befinden, dreidimensional rekonstruiert, wobei hierzu ein beliebiges Stereoanalyseverfahren verwendet werden kann. Mittels der Vorkalibrierung der Bilderfassungseinheit 3 ist eine Zeitersparnis bei der Produktion des Verkehrsmittels 1 erzielbar, wobei die Funktion der Bilderfassungseinheit 3 bei Inbetriebnahme dieser sichergestellt ist.For the first time arrangement of the image acquisition unit 3 , which is preferably pre-calibrated, becomes a geometry of the boarding area 1.1 , in which there are no persons or objects, three-dimensionally reconstructed, for which purpose any stereo analysis method can be used. By means of the pre-calibration of the image acquisition unit 3 is a time saving in the production of the means of transport 1 achievable, wherein the function of the image acquisition unit 3 when commissioning this is ensured.

Im Anschluss an die dreidimensionale Rekonstruktion des Einstiegsbereiches 1.1 werden die dreidimensionalen Punkte zu einzelnen Flächen zusammengefasst, wobei hierzu beispielsweise der Iterative Closest Point Algorithm oder ein anderes bekanntes Verfahren verwendet werden kann. Die so automatisch generierte Flächenkonstruktion wird als Referenzmodell gespeichert, so dass bei Anwendung des Verfahrens zwischen dem Verkehrsmittel 1 zugehörigen Objekten und fremden Objekten, wie Gegenständen und Personen, differenziert werden kann.Following the three-dimensional reconstruction of the entry area 1.1 For example, the three-dimensional points are combined into individual areas, for which purpose the Iterative Closest Point Algorithm or another known method can be used, for example. The so automatically generated surface construction is stored as a reference model, so that when using the method between the transport 1 associated objects and foreign objects, such as objects and persons, can be differentiated.

Mittels einer weiteren Auswertung der erfassten Flächen wird ermittelt, wo sich eine Türschwelle 1.2.1 der Fahrzeugtür innerhalb des Einstiegsbereiches 1.1 befindet.By means of a further evaluation of the detected areas, it is determined where a door threshold 1.2.1 the vehicle door within the boarding area 1.1 located.

Befindet sich beispielsweise eine Person im Einstiegsbereich 1.1, ist es notwendig zu ermitteln, wie kritisch die Situation in Abhängigkeit von der Position oder der Bewegung der Person relativ zur Türschwelle 1.2.1, also zum Türrahmen 1.2 einzuschätzen ist. Dazu ist der Einstiegsbereich 1.1 als Gefahrenbereich des Verkehrsmittels 1 in Gefahrenteilbereiche G1 bis G5 unterteilt, wobei sich ein kritischster Gefahrenteilbereich G4 im Türrahmen 1.2, also in gleicher Ebene mit der Türschwelle 1.2.1 befindet.For example, is a person in the entry area 1.1 It is necessary to determine how critical the situation is depending on the position or movement of the person relative to the threshold 1.2.1 So to the door frame 1.2 is to be estimated. This is the entry area 1.1 as a danger zone of the means of transport 1 subdivided into danger subareas G1 to G5, whereby a most critical danger subarea G4 in the door frame 1.2 So in the same level with the threshold 1.2.1 located.

Je weiter ein Gefahrenteilbereich G1, G2, G3, G5 entfernt zu dem kritischsten Gefahrenteilbereich G4, also der Türschwelle 1.2.1 und somit vom Türrahmen 1.2 angeordnet ist, desto weniger kritisch ist der Gefahrenteilbereich G1, G2, G3, G5 eingestuft.The further a partial hazard area G1, G2, G3, G5 removes the most critical partial area G4, ie the threshold 1.2.1 and thus from the door frame 1.2 is arranged, the less critically classified the danger subarea G1, G2, G3, G5.

Um zu ermitteln, wie kritisch die Situation in Abhängigkeit der Position oder der Bewegung der nicht dargestellten Person einzuschätzen ist, wird eine Kritikalitätsverteilung verwendet, die den Erfassungsbereich E der Bilderfassungseinheit 3 entsprechend einem Gefahrenpotential des jeweiligen Gefahrenteilbereiches G1 bis G5 gewichtet.In order to determine how critically the situation is to be assessed as a function of the position or the movement of the person not represented, a criticality distribution is used that covers the detection area E of the image acquisition unit 3 weighted according to a hazard potential of the respective danger subarea G1 to G5.

Dazu sind verschiedene Formen der Kritikalitätsverteilung möglich. Beispielsweise ist die Kritikalitätsverteilung eine zweidimensionale Gauß-Verteilung, wobei das Maximum der Kritikalitätsverteilung im Türrahmen 1.2 liegt und somit dem kritischsten Gefahrenteilbereich G4 entspricht, und in ihrem Verlauf in Abhängigkeit der Entfernung zum Türrahmen 1.2 innerhalb und außerhalb des Verkehrsmittels 1 abnimmt.For this purpose, different forms of criticality distribution are possible. For example, the criticality distribution is a two-dimensional Gaussian distribution, with the maximum of the criticality distribution in the doorframe 1.2 and thus corresponds to the most critical risk area G4, and in their course depending on the distance to the door frame 1.2 inside and outside the means of transport 1 decreases.

Mittels einer solchen Situationsanalyse, mittels der zunächst ermittelt wird, ob sich im Vergleich zum Referenzmodell ein fremdes Objekt im Einstiegsbereich 1.1 befindet, und einer anschließenden Bewertung der Kritikalität der erfassten Unterschiede zum Referenzmodell entsprechend der Kritikalitätsverteilung, ist es möglich, dass der Fahrer in Abhängigkeit der Position der Person innerhalb des Einstiegsbereiches 1.1 und von der ermittelten tatsächlichen Gefahr, also der Kritikalität, gewarnt wird oder ein Schließvorgang der Fahrzeugtür automatisch gestoppt wird.By means of such a situation analysis, by means of which it is first determined whether there is a foreign object in the entry area compared to the reference model 1.1 and subsequently assessing the criticality of the detected differences from the reference model according to the criticality distribution, it is possible for the driver to be dependent on the position of the person within the boarding area 1.1 and is warned of the determined actual risk, so the criticality, or a closing operation of the vehicle door is automatically stopped.

Für eine Bewertung der Kritikalität stehen verschiedene mathematische Modelle zur Verfügung.For a criticality rating, various mathematical models are available.

Ein erstes Modell sieht vor, dass eine Summe aller Kritikalitätswerte, welche Pixel im erfassten Bild der Bilderfassungseinheit 3 darstellen, die einen Unterschied zum Referenzmodell zeigen, gebildet wird. Es werden Pixel, deren 3D-Rekonstruktion vom Referenzmodell abweicht, auch als verletzte Pixel bezeichnet. Zur Bewertung der Kritikalität wird ein Maximum der einzelnen Kritikalitätswerte gebildet. Darüber hinaus ist eine Bildung des Mittelwertes ebenfalls denkbar. A first model provides that a sum of all criticality values, which pixels in the captured image of the image acquisition unit 3 representing a difference to the reference model is formed. Pixels whose 3D reconstruction deviates from the reference model are also referred to as injured pixels. To evaluate the criticality, a maximum of the individual criticality values is formed. In addition, a formation of the mean value is also conceivable.

In Experimenten hat sich gezeigt, dass eine Kombination von Maximum und Summe der einzelnen Kritikalitätswerte vielversprechende Ergebnisse liefert. Beispielsweise wird die Kritikalität wie folgt ermittelt:

Figure 00050001
Ki = einzelne Kritikalitätswerte von Pixeln, deren 3D-Rekonstruktion vom Referenzmodell abweicht;
i = 1 bis n (n = Anzahl der verletzten Pixel) und
KMax = Maximalwert der Kritikalitätswerte der verletzten Pixel.Experiments have shown that a combination of maximum and sum of the individual criticality values gives promising results. For example, the criticality is determined as follows:
Figure 00050001
K i = individual criticality values of pixels whose 3D reconstruction deviates from the reference model;
i = 1 to n (n = number of injured pixels) and
K max = maximum value of the criticality values of the injured pixels.

Der Korrekturfaktor 103 wird empirisch ermittelt, um eine Gewichtung zwischen einer Vielzahl von verletzten Pixeln und dem Maximalwert der Kritikalitätswerte zu ermöglichen, wobei der Korrekturfaktor vom angewendeten Stereoanalyseverfahren, von einer verwendeten Bildgröße und von der verwendeten Kritikalitätsverteilung abhängig ist.The correction factor 10 3 is determined empirically to allow weighting between a plurality of injured pixels and the maximum value of the criticality values, the correction factor being dependent upon the stereo analysis method employed, image size used, and the criticality distribution used.

Die Kritikalitätsverteilung bietet neben dem Vorteil der unterschiedlichen Gefahreneinstufungen auch die Möglichkeit, eine Prädiktion der Kritikalität zu bestimmen. Wird über mehrere Zeitschritte eine kontinuierliche Erhöhung der Kritikalität, beispielsweise durch ein Annähern der Person an die Türschwelle 1.2.1, d. h. den Türrahmen 1.2, festgestellt, kann davon ausgegangen werden, dass sich die Kritikalität auch in den folgenden Zeitschritten weiter erhöht, es sei denn, dass der Maximalwert der Kritikalitätswerte dem Maximum der Kritikalitätsverteilung entspricht.In addition to the advantage of the different hazard classifications, the criticality distribution also offers the possibility of determining a prediction of the criticality. Will over several time steps, a continuous increase in criticality, for example, by approaching the person to the threshold 1.2.1 ie the door frame 1.2 , it can be assumed that the criticality increases further in the following time steps, unless the maximum value of the criticality values corresponds to the maximum of the criticality distribution.

Entspricht der Maximalwert der Kritikalitätswerte nicht dem Maximum der Kritikalitätsverteilung, kann die erste und die zweite Ableitung der Kritikalität über die vorangegangenen Zeitschritte zur Prädiktion der Kritikalität für die nächsten ein bis zwei Zeitschritte verwendet werden.If the maximum value of the criticality values does not correspond to the maximum of the criticality distribution, the first and the second derivative of the criticality over the preceding time steps for predicting the criticality can be used for the next one to two time steps.

Die erste Ableitung wird wie folgt ermittelt:

Figure 00060001
wobei der Kritilalitätswert für den nächsten Zeitschritt wie folgt bestimmt wird: K(t + 1) = K(t) + K .Δt. [3] The first derivative is determined as follows:
Figure 00060001
where the criterium value for the next time step is determined as follows: K (t + 1) = K (t) + K .Δt. [3]

Aus dem Wert der ersten oder auch der zweiten Ableitung der Kritikalität kann abgeleitet werden, dass es empfehlenswert ist, an den Fahrer einen Warnhinweis auszugeben, um ihn auf das bestehende Gefahrenpotential im Einstiegsbereich 1.1 seines Verkehrsmittels 1 hinzuweisen.It can be deduced from the value of the first or the second derivative of the criticality that it is advisable to issue a warning to the driver in order to alert him to the existing danger potential in the entry area 1.1 his means of transport 1 to point.

In Abhängigkeit der Werte für die erste Ableitung der Kritikalität oder der Gesamtkritikalität können verschiedene Warnungen an den Fahrer ausgelöst werden.Depending on the values for the first derivative of the criticality or the total criticality, various warnings to the driver can be triggered.

Vorzugsweise ist im Sichtfeld des Fahrers eine Anzeigeeinheit angeordnet, mittels derer von der Bilderfassungseinheit 3 erfasste Bilder fortlaufend angezeigt werden. Beispielsweise ist die Anzeigeeinheit in einem Bedieninstrument im Fahrerbereich des Verkehrsmittels 1 angeordnet.Preferably, a display unit is arranged in the field of view of the driver, by means of which of the image acquisition unit 3 Captured images are displayed continuously. For example, the display unit is in an operating instrument in the driver's area of the means of transport 1 arranged.

Sind die ermittelten Werte der Kritikalität vergleichsweise gering, wird dem Fahrer ein mittels der Bilderfassungseinheit 3 erfasstes Bild angezeigt. Erhöht sich das Gefahrenpotential, da sich die Person in Richtung der Türschwelle 1.2.1 bewegt, kann zusätzlich ein optischer, akustischer und/oder haptischer Warnhinweis an den Fahrer ausgegeben werden. Beispielsweise wird das dem Fahrer angezeigte Bild mittels grafischer Symbole bereichsweise überlagert, so dass z. B. mittels eines eingeblendeten Pfeils, welcher auf die Person zeigt, welche durch ihre Position oder Bewegung potentiell gefährdet ist, die mögliche Gefahr für den Fahrer ersichtlich ist.If the determined values of the criticality are comparatively small, the driver is informed by means of the image acquisition unit 3 captured image displayed. Increases the risk potential, as the person in the direction of the threshold 1.2.1 moves, in addition an optical, audible and / or haptic warning can be issued to the driver. For example, the image displayed to the driver by means of graphical symbols is partially overlaid, so that z. B. by means of an inserted arrow, which points to the person who is potentially endangered by their position or movement, the potential danger to the driver is apparent.

Bei einer mittels des Verfahrens ermittelten potentiellen Gefahr für eine Person wird direkt automatisch in die Türsteuerung eingegriffen, so dass der Schließvorgang verhindert wird oder die Fahrzeugtür wieder geöffnet wird. In a determined by the method potential danger to a person is automatically intervened directly in the door control, so that the closing process is prevented or the vehicle door is opened again.

Bei dem Verfahren wird der Einstiegsbereich 1.1 dreidimensional rekonstruiert, wobei die mittels der dreidimensionalen Rekonstruktion ermittelte Flächenkonstruktion als Referenzmodell gespeichert wird. Bei Erstellung des Referenzmodells befinden sich keine Personen oder dem Verkehrsmittel 1 nicht zugehörige Objekte im Einstiegsbereich 1.1, so dass bei Anwendung des Verfahrens zwischen zum Verkehrsmittel 1 zugehörigen Objekten und fremden Objekten, die Personen oder Gegenstände sein können, differenziert wird.In the process, the entry area 1.1 reconstructed three-dimensionally, wherein the determined by means of the three-dimensional reconstruction surface construction is stored as a reference model. When creating the reference model, there are no people or means of transport 1 non-associated objects in the entry area 1.1 so that when applying the method between to the means of transport 1 associated objects and foreign objects, which may be persons or objects, is differentiated.

Mittels der Kritikalitätsverteilung, die in Abhängigkeit der Gefahrenteilbereiche G1 bis G5 innerhalb des Einstiegsbereiches 1.1 ermittelt wird, ist es möglich ein Gefahrenpotential einer momentanen Situation zu bestimmen und dementsprechend automatisch Maßnahmen einzuleiten, um eine Gefährdung von Personen zu vermeiden oder zumindest zu verringern.By means of the criticality distribution, which depends on the danger subareas G1 to G5 within the entry area 1.1 is determined, it is possible to determine a risk potential of a current situation and accordingly automatically initiate measures to avoid a hazard to persons or at least reduce.

Darüber hinaus kann mittels der Kritikalitätsverteilung und einer Betrachtung derselben über mehrere Zeitabschnitte hinweg eine Prädiktion der Kritikalität ermittelt werden, wobei die erste Ableitung der Kritikalität als Maß für die Gefährdung einer sich im Einstiegsbereich 1.1 bewegenden Person genutzt werden kann. Somit kann eine frühzeitige Reaktion auf eine sich andeutende Gefahr ausgelöst und die Person geschützt werden.In addition, by means of the criticality distribution and a consideration of the same over a plurality of time periods, a prediction of the criticality can be determined, the first derivative of the criticality as a measure of the risk of getting in the entry area 1.1 moving person can be used. Thus, an early response to an imminent danger can be triggered and the person protected.

Mittels einer Vorgabe unterschiedlicher Warnstufen, welche aufgrund der Analyse der Kritikalität ausgelöst werden, kann der Fahrer des Verkehrsmittels 1 bedarfsgerecht auf eine vorliegende Situation hingewiesen werden. Im Fall einer potentiellen Gefährdung einer Person kann in eine Türsteuerung automatisch eingegriffen werden, so dass der Fahrer des Verkehrsmittels 1 kaum, d. h. nur so viel wie nötig, von seiner eigentlichen Fahraufgabe abgelenkt wird.By means of a specification of different warning levels, which are triggered on the basis of the analysis of the criticality, the driver of the means of transport can 1 be referred to a current situation as needed. In the case of a potential danger to a person, a door control can be automatically intervened so that the driver of the means of transport 1 hardly, ie only as much as necessary, is distracted from its actual driving task.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Verkehrsmittelmeans of transport
1.11.1
Einstiegsbereichentry level
1.1.11.1.1
unterste Stufelowest level
1.1.41.1.4
höchste Stufehighest step
1.21.2
Türrahmendoorframe
1.2.11.2.1
Türschwellethreshold
22
Fahrzeugsitzvehicle seat
33
BilderfassungseinheitImage capture unit
Ee
Erfassungsbereichdetection range
G1 bis G5G1 to G5
GefahrenteilbereichRisk portion
G4G4
kritischster Gefahrenteilbereichmost critical danger area

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 10245720 A1 [0003] DE 10245720 A1 [0003]

Claims (8)

Verfahren zur Überwachung eines Gefahrenbereiches, insbesondere eines Einstiegsbereiches (1.1) einer Fahrzeugtür eines Verkehrsmittels (1) zur Beförderung von Personen, wobei der Gefahrenbereich mittels mindestens einer Bilderfassungseinheit (3) erfasst wird, dadurch gekennzeichnet, dass der Gefahrenbereich in eine Anzahl von Gefahrenteilbereichen (G1 bis G5) eingeteilt ist und in Abhängigkeit einer Position oder einer Bewegung einer detektierten Person in einem der Gefahrenteilbereiche (G1 bis G5) ein Warnhinweis an den Fahrer ausgegeben und/oder ein Schließvorgang der Fahrzeugtür automatisch unterbrochen wird.Method for monitoring a danger area, in particular an entry area ( 1.1 ) a vehicle door of a means of transport ( 1 ) for the transport of persons, the danger zone being defined by at least one image acquisition unit ( 3 ) is detected, characterized in that the danger area is divided into a number of danger sub-areas (G1 to G5) and depending on a position or a movement of a detected person in one of the danger subregions (G1 to G5) issued a warning to the driver and / or a closing operation of the vehicle door is automatically interrupted. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine Geometrie des Gefahrenbereiches mittels eines Stereobildanalyseverfahrens dreidimensional rekonstruiert wird, wobei dreidimensionale Punkte zu einzelnen Flächen zusammengefasst werden und als Flächenrekonstruktion gespeichert werden und eine Kritikalitätsverteilung in Abhängigkeit der Gefahrenteilbereiche (G1 bis G5) im Gefahrenbereich ermittelt wird.A method according to claim 1, characterized in that a geometry of the danger zone is reconstructed three-dimensionally by means of a stereo image analysis method, wherein three-dimensional points are combined into individual areas and stored as area reconstruction and a criticality distribution is determined depending on the danger sub-areas (G1 to G5) in the danger area. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass eine Türschwelle (1.2.1) innerhalb des Gefahrenbereiches ermittelt wird.Method according to claim 1 or 2, characterized in that a door threshold ( 1.2.1 ) within the danger zone. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Türschwelle (1.2.1) als kritischster Gefahrenteilbereich (G4) vorgegeben wird.Method according to claim 3, characterized in that the door threshold ( 1.2.1 ) is specified as the most critical danger subarea (G4). Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Kritikalitätsverteilung mittels einer Gauß-Verteilung ermittelt wird.Method according to one of claims 2 to 4, characterized in that the criticality distribution is determined by means of a Gaussian distribution. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass dem Fahrer mittels der mindestens einen Bilderfassungseinheit (3) fortlaufend erfasste Bilder des Gefahrenbereiches angezeigt werden.Method according to one of the preceding claims, characterized in that the driver by means of the at least one image capture unit ( 3 ) continuously recorded images of the danger area are displayed. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Warnhinweis als optisches, akustisches und/oder haptisches Warnsignal an den Fahrer ausgegeben wird.Method according to one of the preceding claims, characterized in that the warning is issued as a visual, audible and / or haptic warning signal to the driver. Vorrichtung zur Überwachung eines Gefahrenbereiches, insbesondere eines Einstiegsbereiches (1.1) einer Fahrzeugtür eines Verkehrsmittels (1) zur Beförderung von Personen, wobei mittels mindestens einer Bilderfassungseinheit (3) der Gefahrenbereich erfassbar ist, wobei erfasste Bilder einer Steuereinheit zuführbar sind, dadurch gekennzeichnet, dass der Gefahrenbereich in eine Anzahl von Gefahrenteilbereichen (G1 bis G5) eingeteilt ist und in Abhängigkeit einer Position oder einer Bewegung einer detektierten Person in einem der Gefahrenteilbereiche (G1 bis G5) mittels der Steuereinheit ein Warnhinweis generierbar und an den Fahrer ausgebbar ist und/oder mittels der Steuereinheit eine Unterbrechung eines Schließvorganges der Fahrzeugtür automatisch ausführbar ist.Device for monitoring a danger zone, in particular a boarding area ( 1.1 ) a vehicle door of a means of transport ( 1 ) for the transport of persons, whereby by means of at least one image acquisition unit ( 3 in which the danger zone can be detected, wherein captured images can be fed to a control unit, characterized in that the danger zone is divided into a number of danger subregions (G1 to G5) and in dependence of a position or a movement of a detected person in one of the danger subregions (G1 to G5 G5) by means of the control unit a warning can be generated and output to the driver and / or by means of the control unit an interruption of a closing operation of the vehicle door is automatically executable.
DE102010054626A 2010-12-16 2010-12-16 Method for monitoring danger area i.e. entrance area, of door of transportation medium i.e. bus, for transporting persons, involves providing warning notice to driver based on position or movement of detected person in one of partial areas Withdrawn DE102010054626A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102010054626A DE102010054626A1 (en) 2010-12-16 2010-12-16 Method for monitoring danger area i.e. entrance area, of door of transportation medium i.e. bus, for transporting persons, involves providing warning notice to driver based on position or movement of detected person in one of partial areas

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102010054626A DE102010054626A1 (en) 2010-12-16 2010-12-16 Method for monitoring danger area i.e. entrance area, of door of transportation medium i.e. bus, for transporting persons, involves providing warning notice to driver based on position or movement of detected person in one of partial areas

Publications (1)

Publication Number Publication Date
DE102010054626A1 true DE102010054626A1 (en) 2011-07-28

Family

ID=44315679

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102010054626A Withdrawn DE102010054626A1 (en) 2010-12-16 2010-12-16 Method for monitoring danger area i.e. entrance area, of door of transportation medium i.e. bus, for transporting persons, involves providing warning notice to driver based on position or movement of detected person in one of partial areas

Country Status (1)

Country Link
DE (1) DE102010054626A1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2757501A1 (en) 2013-01-18 2014-07-23 Hella KGaA Hueck & Co Method for detecting whether a controlled zone is occupied
DE102015006814A1 (en) 2014-05-28 2015-12-03 Scania Cv Ab driver warning
DE102014113567A1 (en) * 2014-09-19 2016-03-24 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit for non-contact passenger compartment monitoring
DE102014113572A1 (en) * 2014-09-19 2016-03-24 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit for access control
DE102014113569A1 (en) * 2014-09-19 2016-03-24 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit and communication element
CN109859447A (en) * 2019-01-30 2019-06-07 广州轨道交通建设监理有限公司 Method, controller and the system of security protection in a kind of construction site
CN110288796A (en) * 2019-06-21 2019-09-27 浙江大华技术股份有限公司 Vehicle monitoring method and device, storage medium, electronic device
DE102019209145A1 (en) * 2019-06-25 2020-12-31 Zf Friedrichshafen Ag Detection device and vehicle sensor system

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10245720A1 (en) 2002-09-24 2004-04-01 Pilz Gmbh & Co. Safety method for protecting automatic machine danger area with scene analysis of different images of danger area via 2 different analysis algorithms for reliable detection of foreign object in danger area

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10245720A1 (en) 2002-09-24 2004-04-01 Pilz Gmbh & Co. Safety method for protecting automatic machine danger area with scene analysis of different images of danger area via 2 different analysis algorithms for reliable detection of foreign object in danger area

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2757501A1 (en) 2013-01-18 2014-07-23 Hella KGaA Hueck & Co Method for detecting whether a controlled zone is occupied
DE102013200817A1 (en) 2013-01-18 2014-07-24 Hella Kgaa Hueck & Co. Method for detecting an occupancy of a monitored zone
DE102015006814A1 (en) 2014-05-28 2015-12-03 Scania Cv Ab driver warning
DE102014113569B4 (en) 2014-09-19 2018-05-03 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit and communication element
DE102014113572A1 (en) * 2014-09-19 2016-03-24 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit for access control
DE102014113569A1 (en) * 2014-09-19 2016-03-24 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit and communication element
DE102014113567A1 (en) * 2014-09-19 2016-03-24 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit for non-contact passenger compartment monitoring
US10494853B2 (en) 2014-09-19 2019-12-03 Gebr. Bode Gmbh & Co. Kg Door system with sensor unit for contactless passenger compartment monitoring
DE102014113572B4 (en) 2014-09-19 2023-01-12 Bode - Die Tür Gmbh Door system with sensor unit for boarding aid monitoring
DE102014113567B4 (en) 2014-09-19 2023-01-12 Bode - Die Tür Gmbh Door system with sensor unit for contactless passenger compartment monitoring
CN109859447A (en) * 2019-01-30 2019-06-07 广州轨道交通建设监理有限公司 Method, controller and the system of security protection in a kind of construction site
CN110288796A (en) * 2019-06-21 2019-09-27 浙江大华技术股份有限公司 Vehicle monitoring method and device, storage medium, electronic device
DE102019209145A1 (en) * 2019-06-25 2020-12-31 Zf Friedrichshafen Ag Detection device and vehicle sensor system

Similar Documents

Publication Publication Date Title
DE102010054626A1 (en) Method for monitoring danger area i.e. entrance area, of door of transportation medium i.e. bus, for transporting persons, involves providing warning notice to driver based on position or movement of detected person in one of partial areas
DE102014220759B4 (en) Monitoring a degree of attention of a driver of a vehicle
DE102006051930A1 (en) Method and device for driver status detection
DE102008001648A1 (en) Driver assistance method for moving a motor vehicle and driver assistance device
DE102014204792B4 (en) system for detecting abnormal driving behavior
EP1495919A1 (en) Method and Apparatus for estimating the severity of accidents
WO2020201217A1 (en) Method and apparatus for determining deformations on an object
EP2163429B1 (en) Method for image-supported monitoring of a vehicle environment, especially the environment of a goods vehicle
DE102016216962B3 (en) Method and control unit for tracking a picture detail
DE102017119317A1 (en) Classification of surrounding vehicles for a cruise control cruise control device in a motor vehicle
DE102016220450A1 (en) Apparatus, means of transport and method for estimating a collision probability between a means of locomotion and an environment object
DE102012109390A1 (en) Monitoring device for safety-critical unit, particularly conveyer of conveyer system, has first video sensor unit, which is adapted to generate first image as representation formed from line by first monitoring area of safety-critical unit
EP4239592A1 (en) Computer-implemented method for detecting a new object in an interior of a train
EP3914462B1 (en) Method for monitoring the position of a jockey wheel of a trailer, camera system for monitoring the position of a jockey wheel of a trailer, and motor vehicle comprising a camera system
DE102022003463A1 (en) Method for displaying a braking distance and device therefor
DE112017007812T5 (en) Vehicle peripheral image display device and vehicle peripheral image display method
WO2022184550A1 (en) Driver monitoring system for a motor vehicle
WO2016087339A1 (en) Method for detecting shading of a sensor device of a motor vehicle by an object, computing device, driver assistance system and motor vehicle
DE102023200181A1 (en) Parking assistance for vehicle with corpulent occupant
DE102019107242A1 (en) Diagnostic method, diagnostic system and motor vehicle
DE102018002516A1 (en) Method for determining a road condition
DE102023134749A1 (en) Method for operating a motor vehicle, motor vehicle
DE102018205658A1 (en) Use of video surveillance cameras to support driver assistance systems in vehicles
DE102018215513A1 (en) Arrangement of TOF sensors for detecting a passenger room of a people mover, evaluation device for perceiving a passenger room of a people mover and perception system for detecting a blocking of a passenger door of a people mover, a number of passengers in the people mover and of positions, body poses and activities of the passengers
DE102022131558A1 (en) METHOD AND SYSTEM FOR DETECTING A SEAT POSITIONING CONDITION IN A VEHICLE

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140701