DE69624980T2 - Objektüberwachungsverfahren und -gerät mit zwei oder mehreren Kameras - Google Patents
Objektüberwachungsverfahren und -gerät mit zwei oder mehreren KamerasInfo
- Publication number
- DE69624980T2 DE69624980T2 DE69624980T DE69624980T DE69624980T2 DE 69624980 T2 DE69624980 T2 DE 69624980T2 DE 69624980 T DE69624980 T DE 69624980T DE 69624980 T DE69624980 T DE 69624980T DE 69624980 T2 DE69624980 T2 DE 69624980T2
- Authority
- DE
- Germany
- Prior art keywords
- projection
- images
- points
- dimensional coordinates
- vertical plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 73
- 238000012544 monitoring process Methods 0.000 title claims description 3
- 238000012545 processing Methods 0.000 claims description 26
- 238000004364 calculation method Methods 0.000 claims description 24
- 238000003860 storage Methods 0.000 claims description 10
- 238000012806 monitoring device Methods 0.000 claims description 6
- 238000001454 recorded image Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 44
- 230000015654 memory Effects 0.000 description 36
- 238000010276 construction Methods 0.000 description 27
- 238000001514 detection method Methods 0.000 description 16
- 238000013500 data storage Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000011156 evaluation Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 5
- 238000009434 installation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003014 reinforcing effect Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012731 temporal analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/14—Traffic control systems for road vehicles indicating individual free spaces in parking areas
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
- Diese Erfindung betrifft ein Verfahren und eine Vorrichtung zum Beobachten eines Objekts an einem vorbestimmten Beobachtungspunkt und insbesondere eine verbesserte Verkehrsfluß-Meßvorrichtung zum Beobachten von Fahrzeugen auf einer Straße, um Daten wie z. B. die Anzahl von vorbeifahrenden Fahrzeugen, die Geschwindigkeit eines Fahrzeugs und die Arten von Fahrzeugen (nachstehend "Verkehrsflußdaten" genannt) auf der Basis der Zeitablaufergebnisse der Messung zu messen, und eine verbesserte Parkplatz-Beobachtungsvorrichtung zum Beobachten von Fahrzeugen, die auf einem Parkplatz parken.
- Für den Zweck der Messung von Verkehrsflußdaten wurde bisher eine Vorrichtung entwickelt, bei der eine Kamera über einer Straße installiert wird, um in einer vorbestimmten Position der Straße ein Bild aufzunehmen, und ein Fluß von Fahrzeugen auf der Straße auf der Basis von zeitlichen Änderungen der aufgenommenen Bilder gemessen wird.
- Bei dieser herkömmlichen Vorrichtung wird ein Bild, das kein Objekt auf der Straße darstellt, im voraus als Hintergrundbild gespeichert, ein Unterschied zwischen dem Bild von der Kamera und dem gespeicherten Hintergrundbild wird als Bild bezüglich Fahrzeugen gewonnen und die Ergebnisse der Gewinnung werden nacheinander verarbeitet, um den Fluß von Fahrzeugen auf der Straße zu messen (Japanese Electric Society Technical Report, Band 512, S. 80-81).
- Es wurde auch ein Meßverfahren vorgeschlagen, bei dem anstatt der Speicherung eines solchen Hintergrundbildes im voraus ein vorher aufgenommenes Bild gespeichert wird, um das gespeicherte vorherige Bild von dem als letzten aufgenommenen Bild zu subtrahieren, um nur die Änderung der Position des Fahrzeugs zu gewinnen.
- Kürzlich wurde ein Verfahren (DTT-Verfahren) zum Messen von Verkehrsflußdaten vorgeschlagen, indem Raum-Zeit-Bilder gemacht werden, die von Bildern gesammelt werden, die von einer Kamera für jede Zeit aufgenommen werden (Japanese Electronic Information Communication Society Journal, Band J77-D-11 Nr. 10, S. 2019-2026, 1994). Gemäß diesem Verfahren werden charakteristische Größendaten wie z. B. der Umriß eines Fahrzeugs zu jedem vorbestimmten Zeitpunkt aus den Bildern gewonnen, und die gewonnenen charakteristischen Größendaten werden auf eine Richtungsachse parallel zu einer Bewegungsrichtung eines Fahrzeugs projiziert, um eindimensionale Daten bereitzustellen. Diese eindimensionalen Daten werden ferner in einer Zeitserie angeordnet, um ein zweidimensionales Bild (DDT-Bild) bereitzustellen, das aus einer Richtungsachse und einer Zeitachse besteht, und das DDT-Bild gewinnt ein Objekt, das sich in einer vorbestimmten Richtung bewegt.
- Um zu unterscheiden, ob jede Parkfläche eines Parkplatzes frei ist oder nicht, wird das vorstehend erwähnte erste oder zweite Verfahren verwendet. Mit anderen Worten, die Abfrage, ob ein Fahrzeug in einer Parkfläche geparkt ist oder nicht, wird auf der Basis des Unterschieds zwischen dem Eingangsbild und dem Hintergrundbild, die durch Aufnehmen eines Bildes in einer Beobachtungsposition erhalten werden, oder des Unterschiedes zwischen dem Eingangsbild und demjenigen direkt vor dem aufgenommenen Bild durchgeführt.
- Wenn der Unterschied zwischen dem Eingangs- und dem Hintergrundbild verwendet wird, um einen Verkehrsfluß zu messen, ist es erforderlich, Hintergrundbilder entsprechend verschiedenen Umständen, wie z. B. Tag und Nacht, schönem Wetter und Regen oder dergleichen zu speichern. In diesem Fall ist die Annahme von erforderlichen Umständen oder die Überarbeitung von Hintergrundbildern gemäß der Änderung der Umstände begrenzt, und die Gewinnung von Fahrzeugen mit hoher Genauigkeit ist unmöglich. Das vorstehend erwähnte erste, zweite und dritte Verfahren hat den Nachteil, daß sie fälschlicherweise eine andere Bewegung als Fahrzeuge als Fahrzeug erkennen, wie z. B. den Schatten eines Fahrzeugs, den Schatten eines durch den Wind schwankenden Baums, einen anderen Schatten, der sich auf der Straße bewegt, die Reflexion von einem Licht in der Nacht, das auf der nassen Straßenoberfläche reflektierte Fahrzeug oder dergleichen.
- Wenn ein Fahrzeug mit großer Größe auf einer Straße vorhanden ist oder es zu einem Verkehrsstau kommt, haben die herkömmlichen Verfahren die Nachteile, daß nicht jedes Fahrzeug genau unterschieden werden kann und eine Vielzahl von Fahrzeugen fälschlich als einziges Fahrzeug erkannt wird. Wenn ein Bild des Schattens eines Fährzeugs mit großer Größe seine Nachbarspur erreicht, so daß er ein Fahrzeug mit kleiner Größe hinter dem Fahrzeug mit großer Größe überlappt, wird das Fahrzeug mit kleiner Größe fälschlich als Fahrzeug mit großer Größe erkannt. Somit können die Anzahl und die Arten der Fahrzeuge auf der Straße nicht genau unterschieden werden. Diese Probleme treffen auf eine herkömmliche Beobachtungsvorrichtung auf einem Parkplatz zu, wie z. B. Abnahme einer Unterscheidungsgenauigkeit durch Änderung der Beleuchtungsstärke an einem Beobachtungspunkt, und fälschliche Erkennung des Schattens eines Fahrzeugs in der Nachbarfläche.
- Die herkömmlichen Verfahren benötigen einen Speicher zum Speichern von verschiedenen Hintergrundbildern und eines Bildes für jeden Zeitraum, und eine Hardware für Operationen wie z. B. Subtraktion und kumulative Addition von jedem Bild, so daß eine gesamte Konstruktion der herkömmlichen Vorrichtung einen großen Umfang aufweist und ihre Herstellungskosten hoch sind.
- In den Veröffentlichungen der Fahrzeugnavigations- und Informationssystem-Konferenz, Dearborn, Band 1, von IEEE, Seiten 203 bis 212, offenbarten Chandrashekhar et al. im Dokument "Temporal analysis of stereo image sequences of traffic scenes" ein Verfahren, das bereits zwei Kameras verwendet, um eine dreidimensionale Verkehrsinformation zu erhalten.
- In Systems and Computers in Japan, Band 26, Nr. 7 offenbarten Tanagushi et al. in dem Dokument "A method of motion analysis using spatiotemporal image-directional temporal plane transform" ein Verfahren, durch das die drei Dimensionen eines Autos durch Abtasten von Punkten einer vertikalen Ebene senkrecht zur Verkehrsspur in aufeinanderfolgenden Momenten unter Verwendung einer einzigen Kamera erhalten werden. Die erhaltenen dreidimensionalen Koordinaten werden dann auf eine vertikale Ebene entlang der Verkehrsspur projiziert. Die vorstehend erwähnten Probleme gemäß Parkplätzen werden durch die Offenbarung von Tanagushi nicht angegangen.
- Es ist eine weitere Aufgabe dieser Erfindung, ein verbessertes System zum Projizieren der dreidimensionalen Koordinaten von charakteristischen Teilen in dem von den jeweiligen Kameras aufgenommenen Bild auf eine senkrechte Ebene, die vertikal auf einer Ebene steht, die ein Objekt berührt, bereitzustellen, um eine Form des Objekts zum genauen Unterscheiden der Existenz, der Anzahl und der Arten der zu messenden Objekte zu gewinnen.
- Es ist noch eine weitere Aufgabe dieser Erfindung, ein verbessertes System zum Beobachten einer Straße und eines Parkplatzes durch Verwenden des vorstehend erwähnten Systems zum Messen eines Verkehrsflusses oder zum Unterscheiden von Fahrzeugen auf der Basis der beobachteten Ergebnisse bereitzustellen.
- Gemäß einem ersten Aspekt dieser Erfindung wird ein Objektbeobachtungsverfahren nach Anspruch 1 zum Beobachten eines Objekts bereitgestellt.
- Gemäß einem Aspekt dieser Erfindung wird eine Objektbeobachtungsvorrichtung nach Anspruch 6 zum Beobachten eines Objekts mit zwei oder mehr Kameras, die in eine vorbestimmte Beobachtungsposition gerichtet sind, bereitgestellt.
- Gemäß einem weiteren Aspekt dieser Erfindung wird eine Parkplatz-Beobachtungsvorrichtung nach Anspruch 9 zum Beobachten von Fahrzeugen, die innerhalb einer vorbestimmten Form einer Fläche parken, mit zwei oder mehr Kameras, die über der Fläche angeordnet sind und auf die Fläche gerichtet sind, bereitgestellt.
- Bevorzugte Ausführungsbeispiele der vorstehend erwähnten Aspekte der Erfindung sind durch die abhängigen Ansprüche definiert.
- Weitere Aufgaben und Vorteile dieser Erfindung sind aus der folgenden ausführlichen Beschreibung leichter ersichtlich, welche in Verbindung mit den folgenden Figuren bereitgestellt wird, in denen gilt:
- Fig. 1 ist eine perspektivische Ansicht einer Verkehrfluß- Meßvorrichtung als erstes Ausführungsbeispiel dieser Erfindung;
- Fig. 2 ist eine perspektivische Ansicht einer Installation eines Paars von Kameras, die in der Vorrichtung von Fig. 1 verwendet werden;
- Fig. 3 ist eine perspektivische Ansicht einer weiteren Installation des Paars von Kameras;
- Fig. 4 ist eine perspektivische Ansicht von vereinigten Kameras;
- Fig. 5 ist ein elektronisches Blockdiagramm der Verkehrsfluß-Meßvorrichtung;
- Fig. 6 zeigt ein Beispiel von Bildern, die von den jeweiligen Kameras aufgenommen werden;
- Fig. 7 zeigt ein Laplace-Filter, das in der Meßvorrichtung verwendet wird;
- Fig. 8 zeigt ein Beispiel der Gewinnung von Kantenbildern;
- Fig. 9 zeigt ein Beispiel eines Übereinstimmungsprozeßverfahrens;
- Fig. 10 zeigt ein Ergebnis einer Differenzgradoperation für den Übereinstimmungsprozeß;
- Fig. 11 zeigt ein Prinzip einer trigonometrischen Messung;
- Fig. 12 stellt ein Projektionsverfahren von dreidimensionalen Koordinaten dar;
- Fig. 13 zeigt ein Ergebnis einer Projektion auf eine virtuelle senkrechte Ebene;
- Fig. 14 zeigt Seitenformmodelle;
- Fig. 15 zeigt andere Formmodelle;
- Fig. 16 zeigt ein Ergebnis eines Vergleichsunterscheidungsprozesses;
- Fig. 17 zeigt eine Datenkonstruktion in einem Prozeßergebnisspeicher;
- Fig. 18 zeigt Kurvenbilder, die die Übereinstimmung von erfaßten Werten von Fahrzeugpositionen zu den jeweiligen Verarbeitungszeitpunkten darstellen;
- Fig. 19 zeigt ein elektronisches Blockdiagramm einer Verkehrsfluß-Meßvorrichtung als zweites Ausführungsbeispiel dieser Erfindung;
- Fig. 20 zeigt ein Ergebnis einer Charakteristikauswahl;
- Fig. 21 zeigt ein Ergebnis der Gewinnung von repräsentativen Punkten;
- Fig. 22 zeigt ein Ergebnis der Berechnung von dreidimensionalen Koordinaten von den repräsentativen Punkten;
- Fig. 23 zeigt ein Ergebnis eines Gruppierungsprozesses von den jeweiligen dreidimensionalen Koordinaten von Fig. 22;
- Fig. 24 zeigt ein Ergebnis der Projektion von den dreidimensionalen Koordinaten für jede Gruppe;
- Fig. 25 zeigt ein Verfahren zum Festlegen eines Bereichs zur Gewichtung;
- Fig. 26 zeigt einen Bereich zum Abtasten von Modellen;
- Fig. 27 zeigt ein Prinzip des Verfahrens der gewichteten Vergleichsverarbeitung;
- Fig. 28 zeigt eine Konzeption von Auswertungswerten der jeweiligen Projektionspunkte;
- Fig. 29 zeigt ein Ergebnis eines Vergleichsunterscheidungsprozesses;
- Fig. 30 zeigt ein elektronisches Blockdiagramm einer Verkehrsfluß-Meßvorrichtung als drittes Ausführungsbeispiel dieser Erfindung;
- Fig. 31 zeigt beispielhaft Eingangsbilder von den jeweiligen Kameras;
- Fig. 32 zeigt beispielhaft Eingangsbilder von den jeweiligen Kameras;
- Fig. 33 zeigt ein Ergebnis eines binären Prozesses an den jeweiligen Eingangsbildern von Fig. 31;
- Fig. 34 zeigt ein Ergebnis eines binären Prozesses an den jeweiligen Eingangsbildern von Fig. 31;
- Fig. 35 zeigt ein Ergebnis der Berechnung für dreidimensionale Koordinaten der charakteristischen Punkte;
- Fig. 36 zeigt ein Ergebnis der Berechnung für dreidimensionale Koordinaten der charakteristischen Punkte;
- Fig. 37 zeigt eine Installation einer Parkplatz- Beobachtungsvorrichtung als viertes Ausführungsbeispiel dieser Erfindung;
- Fig. 38 zeigt ein schematisches Blockdiagramm der Parkplatz-Beobachtungsvorrichtung;
- Fig. 39 zeigt ein Beispiel von Eingangsbildern von den jeweiligen Kameras;
- Fig. 40 zeigt ein Beispiel von Kantenbildern;
- Fig. 41 zeigt eine Beziehung zwischen dem Berechnungsergebnis von dreidimensionalen Koordinaten und dem Projektionsprozeß;
- Fig. 42 zeigt ein Ergebnis der Projektion;
- Fig. 43 zeigt Formen von Modellen;
- Fig. 44 zeigt ein schematisches Blockdiagramm einer Parkplatz-Beobachtungsvorrichtung als fünftes Ausführungsbeispiel dieser Erfindung; und
- Fig. 45 zeigt ein Ergebnis der Gruppierung von dreidimensionalen Koordinaten.
- Nachstehend werden fünf Ausführungsbeispiele dieser Erfindung offenbart, wobei ein Paar von Kameras 3a und 3b angeordnet sind, um auf eine Straße oder einen Parkplatz für das gleichzeitige Aufnehmen von Bildern gerichtet zu werden, charakteristische Teile wie z. B. Kantenkonstruktionspunkte aus Eingangsbildern durch die Kameras gewonnen werden und die charakteristischen Teile Bildern entsprechen, um dreidimensionale Koordinaten der charakteristischen Teile zu berechnen. Die berechneten dreidimensionalen Koordinaten werden auf eine virtuelle senkrechte Ebene projiziert oder Koordinatenpunkte mit den vorbestimmten Höhendaten werden gewonnen, und unter Verwendung der Ergebnisse dieses Prozesses wird ein Beobachtungsprozeß eines Objekts (in diesen Ausführungsbeispielen eines Fahrzeugs) ausgeführt.
- Mit Bezug auf Fig. 1 ist eine perspektivische Ansicht einer Verkehrsfluß-Meßvorrichtung als erstes Ausführungsbeispiel dieser Erfindung gezeigt. Die Verkehrsfluß-Meßvorrichtung umfaßt das Paar von Kameras 3a und 3b und eine Steuereinheit 4, die an einer F-förmigen Stütze 2 montiert sind, die auf einer Seite einer Straße 1 steht. Bilder, die durch die Kameras 3a und 3b erhalten werden, die ein Bild der Straße von oben aufnehmen, werden durch die Steuereinheit 4 verarbeitet, um die Anzahl und die Art von vorbeifahrenden Fahrzeugen zu unterscheiden, die Geschwindigkeit eines speziellen Fahrzeugs zu messen und ein unerlaubt parkendes Fahrzeug für jede Spur der Straße 1 zu erkennen.
- Die Stütze 2 umfaßt ein Paar von Querstangen oberhalb der Straße 1 und die Kameras 3a und 3b sind an einer vertikalen Stange 6 montiert, die über den Querstangen befestigt ist. Die Steuereinheit 4 ist für die Bequemlichkeit der Wartung und Inspektion nahe einem Basisteil der Stütze 2 montiert.
- Fig. 2 zeigt ein Beispiel der Installation der Kameras 3a und 3b. Die Kameras 3a bzw. 3b weisen Linsen mit der gleichen Brennweite auf, und sind an ihren Seitenwänden durch eine lange Stützplatte 7 abgestützt, die um einen vorbestimmten Winkel geneigt ist und an der vertikalen Stange 6 durch eine kurze Verstärkungsplatte 8 befestigt ist. Die Montagepositionen der Kameras 3a und 3b werden so eingestellt, daß ihre optischen Achsen in einer Richtung parallel sind, die eine Längsrichtung der Platte 7, nämlich eine Richtung zur Straße hin senkrecht schneidet, und ihre Bildaufnahmefenster in derselben Ebene liegen. Die kurze Verstärkungsplatte 8 ist an ihrem einen Ende mit der Platte 7 an einem Mittelpunkt zwischen den Stützpunkten für die Kameras 3a und 3b verbunden und ist an ihrem anderen Ende an der vertikalen Stange 6 befestigt, um die Neigung der Platte 7 zu halten.
- In Fig. 3 ist eine weitere Installation der Kameras 3a und 3b gezeigt. Die Kameras 3a und 3b sind an ihren beiden Seitenwänden durch zwei Paare von Stützplatten 7a und 7b abgestützt, die an und in rechten Winkeln zu der vertikalen Stange 6 montiert sind, und die Platten 7a und 7b werden zum Stabilisieren der Positionen der Kameras 3a und 3b in einer horizontalen Richtung gehalten. Die Positionen der Kameras 3a und 3b werden so eingestellt, daß ihre optischen Achsen in einer Richtung zur Straße parallel zueinander liegen. Bei dieser Konstruktion ist die Bildaufnahmeebene der oberen Kamera 3a hinter der Bildaufnabmeebene der unteren Kamera 3b angeordnet, das von der Kamera 3a aufgenommene Bild soll gemäß dem Rückwärtsabstand vor dem Eintritt in eine später beschriebene Bildverarbeitung vergrößert werden.
- Die Kameras 3a und 3b können innerhalb einer Kasteneinheit 25 vereinigt werden, die durch die Stützplatte 7 und die Verstärkungsplatte 8 abgestützt wird, wie in Fig. 4 gezeigt.
- Die Straße wird in diesem Ausführungsbeispiel von zwei Kameras aufgenommen, aber kann, falls erwünscht, durch drei oder mehr Kameras aufgenommen werden. Die für die Kameras montierte Stütze ist nicht auf die F-förmige Stütze 2 begrenzt, sondern kann durch Modifikation, falls erforderlich, einen existierenden Telefonmast oder Lichtmast verwenden.
- In Fig. 5 ist ein elektronisches Blockdiagramm der Verkehrsfluß-Meßvorrichtung gezeigt. Die Steuereinheit 4 umfaßt A/D-Wandler 10a und 10b, Bildspeicher 11a und 11b, Kantenspeicher 12a und 12b, eine Kantengewinnungseinheit 13, eine Übereinstimmungseinheit 14, eine Einheit 15 zum Berechnen von dreidimensionalen Koordinaten, einen Kameraparameterspeicher 16, eine Projektionsprozeßeinheit 17, einen Verkehrsspur-Datenspeicher 18, einen Modelldatenspeicher 19, eine Vergleichsunterscheidungseinheit 20, einen Prozeßergebnisspeicher 21 und eine Verfolgungsprozeßeinheit 22.
- Die A/D-Wandler 10a und 10b wandeln analoge Videosignale, die von den Kameras 3a und 3b erzeugt werden, in Abschattungsbildsignale um, die in den Bildspeichern 11a und 11b gespeichert werden sollen.
- Ein Bild der Kamera 3a, das im Bildspeicher 11a gespeichert wird, wird nachstehend "erstes Bild" genannt, und ein Bild der Kamera 3b, das im Bildspeicher 11b gespeichert wird, wird "zweites Bild" genannt.
- Fig. 6 zeigt bei (1) und (2) ein Beispiel des ersten und des zweiten Bildes, in dem Bilddaten, einschließlich Verkehrsspuren, Fahrzeugen und der Schatten von Fahrzeugen auf der Straße, erzeugt werden.
- Die Kantengewinnungseinheit 13 gewinnt das erste und das zweite Bild aus den Bildspeichern 11a und 11b, um Kantenbilder zu erzeugen. In der Einheit 13 wird jedes Bild durch ein in Fig. 7 gezeigtes Laplace-Filter abgetastet, um Nulldurchgangspunkte zu gewinnen, und die Koordinaten der Nulldurchgangspunkte werden berechnet, um ein binäres Kantenbild zu erzeugen, in dem die Pixel der berechneten Koordinaten schwarze Pixel sind und andere Pixel weiße Pixel sind. Der Kantengewinnungsprozeß ist nicht auf die Verwendung des Laplace-Filters begrenzt, sondern kann ein anderes Kantengewinnungsfilter wie z. B. ein Sobel-Filter verwenden.
- Ein vom ersten Bild erzeugtes Kantenbild (nachstehend als "erstes Kantenbild" bezeichnet) wird im ersten Kantenbildspeicher 12a gespeichert, und ein vom zweiten Bild erzeugtes Kantenbild (nachstehend als "zweites Kantenbild" bezeichnet) wird im zweiten Kantenbildspeicher 12b gespeichert.
- Fig. 8 zeigt bei (1) und (2) Ergebnisse des vorstehend erwähnten Kantengewinnungsprozesses vom ersten und vom zweiten Bild, die in Fig. 6 (1) und (2) dargestellt sind, wobei Kantenkomponenten entsprechend Umrißlinien der jeweiligen Fahrzeuge und ihrer Schatten gewonnen werden.
- Nach der Erzeugung der Kantenbilder und der Speicherung in den Kantenbildspeichern 12a und 12b wird eine Übereinstimmungsoperation für übereinstimmende Kantenkonstruktionspunkte innerhalb der jeweiligen Kantenbilder durch die Übereinstimmungseinheit 14 ausgeführt und die dreidimensionalen Koordinaten von den jeweiligen übereinstimmenden Kantenkonstruktionspunkten werden durch die Einheit 15 zum Berechnen von dreidimensionalen Koordinaten berechnet.
- Fig. 9 zeigt bei (1) bis (4) ein konkretes Beispiel des Übereinstimmungsprozesses in der Übereinstimmungseinheit 14. Zuerst gewinnt die Einheit 14 einen vorbestimmten Kantenkonstruktionspunkt p aus dem ersten Kantenbild E1 im Kantenbildspeicher 12a, wie bei (1) von Fig. 9 gezeigt. Als nächstes zielt die Einheit 14 auf das zweite Kantenbild E2 im Kantenbildspeicher 12b, wie bei (2) von Fig. 9 gezeigt, um die Kantenkonstruktionspunkte q&sub1;, q&sub2;, q&sub3;, q&sub4; und q&sub5;, die auf einer äquipolaren Linie L des Kantenkonstruktionspunkts p liegen, als Übereinstimmungskandidatenpunkte des Kantenkonstruktionspunkts p im Kantenbild L2 zu gewinnen. Die Kameras 3a und 3b sind in Reihe angeordnet, und die äquipolare Linie L ist zu einer y-Achse senkrecht, wodurch die Übereinstimmungskandidatenpunkte leicht gewonnen werden.
- Die Übereinstimmungseinheit 14 legt eine vorbestimmte Größe eines Fensters Wu fest, das auf einem Punkt P zentriert ist, der an denselben Koordinaten (x, yu) positioniert ist wie jener des Kantenkonstruktionspunkts p im ersten Bild G1 im ersten Bildspeicher 11a, wie bei (3) von Fig. 9 gezeigt. Die Einheit 14 gewinnt auch die Punkte Q&sub1;-Q&sub5;, die sich an denselben Koordinaten (x, y&sub1;), (x, y&sub2;), (x, y&sub3;), (x, y&sub4;) und (x, y&sub5;) befinden wie jene der Übereinstimmungskandidatenpunkte q&sub1;-q&sub5; im zweiten Bild G2 im zweiten Bildspeicher 11b, wie bei (4) von Fig. 9 gezeigt, und legt im zweiten Bild G2 dieselbe Größe von Fenstern W&sub1;-W&sub5;, die jeweils auf den Punkten Q&sub1;-Q&sub5; zentriert sind, wie die Größe des Fensters Wu fest.
- Nach dem Festlegen der jeweiligen Fenster führt die Übereinstimmungseinheit 14 jeweils die folgende Gleichung (1) an den Fenstern W&sub1;-W&sub5; im zweiten Bild aus, um Differenzgrade C zwischen den jeweiligen Fenstern und dem Fenster Wu im ersten Bild zu berechnen:
- C = {gU(x + i, yU + j) - gL(x + i, yL + j)}² (1)
- wobei gU (x, y) einen Luminanzwert eines vorbestimmten Pixels innerhalb des Fensters WU darstellt, gL (x, y) einen Luminanzwert eines vorbestimmten Pixels innerhalb des Fensters WL (L = 1-5) darstellt und i und j Variablen darstellen, die gemäß der Größe der jeweiligen Fenster variieren.
- Die Übereinstimmungseinheit 14 vergleicht die Differenzgrade C zwischen den jeweiligen Fenstern W&sub1;-W&sub5; und dem Fenster WU und das Fenster mit dem kleinsten Differenzgrad wird als das dem Fenster WU entsprechende Fenster unterschieden. Ein Punkt qL an denselben Koordinaten (x, yL) im zweiten Kantenbild wie jenen des zentralen Punkts QL des entsprechenden Fensters wird als Übereinstimmungspunkt des Kantenkonstruktionspunkts p des ersten Kantenbildes unterschieden.
- Fig. 10 zeigt ein Ergebnis der Berechnung von Differenzgraden der jeweiligen Fenster W&sub1;-W&sub2; mit dem Fenster WU. In diesem Kurvenbild ist der Differenzgrad des zweiten Fensters W&sub2; der kleinste, so daß q&sub2; als Übereinstimmungspunkt im zweiten Kantenbild entsprechend dem Kantenkonstruktionspunkt p betrachtet wird. Anstelle der vorstehend erwähnten Differenzgrade kann eine normierte Kreuzkorrelationsoperation mit dem Fenster WU so für jedes der jeweiligen Fenster W&sub1;-W&sub5; ausgeführt werden, daß das Fenster, das den größten Korrelationswert vorsieht, als Fenster entsprechend dem Fenster WU betrachtet werden kann.
- Nach der Beendung des vorstehend erwähnten Übereinstimmungsprozesses an allen Kantenkonstruktionspunkten innerhalb beider Kantenbilder empfängt die Einheit 15 zum Berechnen von dreidimensionalen Koordinaten die Koordinaten (x, yU) und (x, yL) der Kantenkonstruktionspunkte p und q entsprechend den jeweiligen Kantenbildern E1 und E2 und die Parameter der Kameras 3a und 3b, die im Kameraparameterspeicher 16 gespeichert sind, um dreidimensionale Koordinaten entsprechend den jeweiligen Kantenkonstruktionspunkten auf der Basis des Prinzips der trigonometrischen Messung zu berechnen.
- Fig. 11 zeigt das Prinzip der trigonometrischen Messung. Ein Punkt P zeigt einen vorbestimmten charakteristischen Punkt an einem Objekt 23 (in diesem Ausführungsbeispiel einem Fahrzeug) auf einer Straße. Objektpunktbilder PU und PL des charakteristischen Punkts P erscheinen im ersten Bild G1 und im zweiten Bild G2, wobei U den Brennpunkt der Kamera 3a darstellt und L den Brennpunkt der Kamera 3b darstellt.
- Die dreidimensionalen Koordinaten (X, Y, Z) entsprechend den Objektpunktbildern PU und PL entsprechen der räumlichen Position des charakteristischen Punkts P. Die Ausführung des vorstehend erwähnten Verfahrens an allen charakteristischen Punkten des Objekts 23 stellt eine Messung einer dreidimensionalen Form des Objekts 23 bereit.
- Auf der Basis dieses Prinzips führt die Einheit 15 zum Berechnen von dreidimensionalen Koordinaten die folgenden Gleichungen (2)-(4) aus, um die dreidimensionalen Koordinaten entsprechend den jeweiligen Kantenkonstruktionspunkten zu berechnen:
- X = x/F(Hsinθ + Zcosθ) (2)
- wobei B eine Basislinienlänge jeder Kamera darstellt, F eine Brennweite jeder Kamera darstellt, H Höhendaten der zweiten Kamera 3b darstellt und θ einen Senkungswinkel jeder Kamera darstellt.
- Nach der Berechnung der dreidimensionalen Koordinaten entsprechend allen Kantenkonstruktionspunkten legt die Projektionsprozeßeinheit 17 eine virtuelle senkrechte Ebene entlang einer Längsrichtung der Straße fest, um die von der Einheit 15 zum Berechnen von dreidimensionalen Koordinaten berechneten dreidimensionalen Koordinaten auf die virtuelle senkrechte Ebene zu projizieren.
- Fig. 12 zeigt ein Beispiel eines Projektionsverfahrens, bei dem X, Y und 2 räumliche Koordinatenachsen sind. Die virtuelle senkrechte Ebene (durch eine Bezugsmarkierung "R" gezeigt) ist in einer Position entlang der Straße durch eine horizontale Achse H parallel zu einer Z-Achse und eine vertikale Achse V parallel zur Y-Achse definiert. Wenn die virtuelle senkrechte Ebene R von vorn betrachtet wird, werden die jeweiligen Kantenkomponenten, die von der Seite der Straße betrachtet werden, gewonnen.
- Der Verkehrsspur-Datenspeicher 18 speichert Daten, die eine Positionsbeziehung mit jeder Verkehrsspur auf der Straße, von der Beobachtungsposition betrachtet (nämlich x- Koordinate und z-Koordinate), darstellen, und die dreidimensionalen Koordinaten können für jede Spur durch Projizieren durch Bezugnahme auf die gespeicherten Daten projiziert werden. Anstelle des Verkehrsspur-Datenspeichers 18 kann eine später beschriebene Klassifizierungsverarbeitungseinheit 32 zwischen der Einheit 15 zum Berechnen von dreidimensionalen Koordinaten und der Projektionsprozeßeinheit 17 verwendet werden, um die jeweiligen dreidimensionalen Koordinaten auf der Basis der Positionsbeziehung in einer Breitenrichtung der Straße in Gruppen zu unterteilen und für jede Gruppe zu projizieren.
- Der Modelldatenspeicher 19 speichert zweidimensionale Daten MD1, MD2, MD3, ... die jeweils Modelle von Seitenansichten von mehreren Arten von Fahrzeugen wie z. B. einer Limousine, eines Lastkraftwagens, eines Busses und so weiter darstellen, wie in Fig. 14 (1), (2) und (3) gezeigt. Die Vergleichsunterscheidungseinheit 20 tastet diese Seitenansichtmodelle (nachstehend einfach als "Modell" bezeichnet) nacheinander über die virtuelle senkrechte Ebene R ab, um einen Gegenstand zu unterscheiden, der durch die Projektionspunkte dargestellt wird, die in der virtuellen senkrechten Ebene R erscheinen.
- Die Modelle der jeweiligen Fahrzeuge müssen nicht auf die gesamten Seitenansichten begrenzt sein, sondern können zweidimensionale Daten sein, die jeweils Teilseitenansichten (durch durchgezogene Linien dargestellte Teile) der Modelle darstellen, wie in Fig. 15 (1) bis (3) dargestellt.
- Fig. 16 zeigt ein Beispiel eines Ergebnisses einer Vergleichsverarbeitung mit Bezug auf das Modell MD1 von Fig. 14 (1) an dem in Fig. 13 gezeigten Projektionsergebnis.
- Die Vergleichsunterscheidungseinheit 20 betrachtet einen Ursprungspunkt O der virtuellen senkrechten Ebene R als Anfangsposition, tastet nacheinander das Modell MD1 in der H-Achsenrichtung ab und zählt die Anzahl n von Projektionspunkten, die im Modell MD1 in den jeweiligen Abtastpositionen enthalten sind. Wenn die Anzahl n der Projektionspunkte gleich oder größer als ein vorbestimmter Schwellenwert TH ist, führt die Einheit 20 die folgende Gleichung (5) aus, um einen Auswertungswert Eh eines projizierten Teils zu berechnen, der mit dem Modell MD1 überlappt ist:
- wobei hk und Vk Koordinaten eines Punkts in der virtuellen senkrechten Ebene R darstellen, hi eine H-Koordinate eines linken Endpunkts des Modells darstellt, LN eine Länge des Modells in H-Achsenrichtung darstellt und V(h) eine Funktion darstellt, die eine Höhe des Modells in den Koordinaten h (0 < h < LN) ausdrückt. Si wird durch die folgende Gleichung (6) dargestellt:
- Si = {hi 0 < hj - hi < LN} (6)
- Wenn die Anzahl n der Projektionspunkte, die mit dem Modell überlappt sind, geringer als der Schwellenwert TH ist, setzt die Vergleichsunterscheidungseinheit 20 den maximalen Wert MAX im Auswertungswert in der Abtastposition. Die Einheit 20 tastet die virtuelle senkrechte Ebene R mit allen Modellen ab, um Auswertungswerte in den jeweiligen Abtastpositionen zu berechnen, unterscheidet die Fahrzeugart des Modells, das den minimalen Auswertungswert unter den berechneten Auswertungswerten liefert, als Art des Fahrzeugs des projizierten Teils, und ermittelt die Koordinaten h0 (in Fig. 16 gezeigt) zu dem Zeitpunkt, zu dem der minimale Auswertungswert erhalten wird, als Anfangsposition des Fahrzeugs.
- Die Ergebnisse dieser Unterscheidung werden im Prozeßergebnisspeicher 21 gespeichert. Anschließend wird die ähnliche Operation in jedem vorbestimmten Zeitraum ausgeführt, und die Prozeßergebnisse werden nacheinander in der Prozeßergebniseinheit 21 gesammelt. Die Einheit 21 ist mit einer Tabelle TB (nachstehend als "Prozeßergebnis- Speichertabelle TB" bezeichnet) zum Speichern der Anfangspositionen (der Koordinaten h0 von Fig. 16) der für die jeweiligen Verkehrsspuren gewonnenen Fahrzeuge versehen, und die Werte, die die Anfangspositionen der gewonnenen Fahrzeuge darstellen, werden zu jeder Verarbeitungszeit t&sub1;, t&sub2;, t&sub3; ... nacheinander in der Einheit 21 gespeichert, wie in Fig. 17 gezeigt.
- Die Verfolgungsprozeßeinheit 22 liest die Positionen des erfaßten Fahrzeugs zu jeder Verarbeitungszeit von der Prozeßergebnis-Speichertabelle TB aus und unterscheidet eine zeitliche Änderung der Positionen des Fahrzeugs durch jeweils Vergleichen der ausgelesenen Pos itionen mit den erfaßten Werten in dem genau einen Schritt vor der Verarbeitungszeit.
- Unter der Annahme, daß die Anzahl J von Fahrzeugen in einer Verarbeitungszeit ti erfaßt wird und die Anfangsposition des "j"-ten (1 ≤ j ≤ J) erfaßten Fahrzeugs hj(ti) ist, gewinnt die Verfolgungsprozeßeinheit 22 das Erfassungsergebnis, das den minimalen Abstand darstellt, wobei hj(ti) in den Positionen Unterschiede von der Position hj(ti), die geringer sind als ein vorbestimmter Schwellenwert, in den Erfassungsergebnissen zur nachfolgenden Verarbeitungszeit tj+1 aufweist, und die gewonnene Position wird als Anfangsposition hj(ti+1) des "j"-ten Fahrzeugs zur Verarbeitungszeit ti+1 unterschieden.
- Dieser Übereinstimmungsprozeß endet, wenn die Daten, die die vorstehend beschriebenen Bedingungen erfüllen, eine vorbestimmte Erfassungslinie Det. überschreiten (in Fig. 18 (1) und (2) gezeigt). Wenn keine Daten vorliegen, die die Bedingungen zur Verarbeitungszeit ti+1 erfüllen, stoppt die Verfolgungsprozeßeinheit 22 den Übereinstimmungsprozeß. Fig. 18 zeigt bei (1) und (2) Änderungen von Positionen der jeweiligen Fahrzeuge, die durch den Übereinstimmungsprozeß unterschieden werden. Die Markierungen "x" stellen Diagramme von Erfassungsergebnissen zu jeder Verarbeitungszeit dar, die in gestrichelten Linien gezeigten Ortskurven stellen die entsprechenden Erfassungsergebnisse, nämlich die Positionsänderungen der jeweiligen Fahrzeuge dar.
- Die Erfassungslinie Det. entspricht einer vorbestimmten horizontalen Linie auf der Straße und die Verfolgungsprozeßeinheit 21 führt einen Zählprozeß von vorbeifahrenden Fahrzeugen zu den Zeitpunkten (t&sub1;, t&sub2; und t&sub3; in Fig. 18 (1)) aus, wenn die jeweiligen Ortskurven die Erfassungslinie Det. kreuzen, und tastet die Erfassungswerte direkt nach dem Vorbeifahren und direkt vor Erfassungsergebnissen von mehreren Zeiten ab, um die Vorbeifahrgeschwindigkeit des Fahrzeugs auf der Basis der Erfassungsergebnisse zu berechnen.
- Unter der Annahme, daß N Stücke von Erfassungswerten von der u-ten Ortskurve (u = 1, 2, 3 ...) abgetastet werden und die Koordinaten des n-ten (1 ≤ n ≤ N) abgetasteten Erfassungswerts (tun, hun) sind, wird die Vorbeifahrgeschwindigkeit Vu des Fahrzeugs, das durch die Ortskurve dargestellt wird, durch die folgende Gleichung ausgedrückt:
- Wenn sich die jeweiligen Fahrzeuge gleichmäßig bewegen, werden die bei (1) von Fig. 18 gezeigte Ortskurven erhalten. Wenn es zum Warten an einem Signal oder zu einem Verkehrsstau kommt, ändern sich die Erfassungswerte zu den jeweiligen Verarbeitungszeiten wenig, wie bei (2) von Fig. 18 gezeigt. Gemäß diesem Verfahren werden flache Daten wie Schatten von Fahrzeugen nicht fälschlich als Fahrzeug erkannt und Fahrzeuge werden genau unterschieden, um eine sehr genaue Messung bereitzustellen. Zusätzlich zur Erfassung der Geschwindigkeit von fahrenden Fahrzeugen, kann das Fahrzeug oder die Substanz, die auf der Straße stoppt, erfaßt werden, wobei ein Verkehrsstau, unerlaubtes Parken und Hindernisse präzise erfaßt werden können.
- Wenn man sich Fig. 19 zuwendet, ist ein elektronisches Blockdiagramm einer Verkehrsfluß-Meßvorrichtung als zweites Ausführungsbeispiel dieser Erfindung gezeigt. Diese Vorrichtung unterscheidet auch Fahrzeuge, die auf den jeweiligen Verkehrsspuren vorbeifahren, aus den Bildern, die von zwei Kameras 3a und 3b aufgenommen werden, und mißt einen Verkehrsfluß auf der Basis von zeitlichen Änderungen der Unterscheidungsergebnisse. Zusätzlich zur Konstruktion von Fig. 5 ist jedoch die Steuereinheit 4 so ausgelegt, daß sie eine Charakterauswahleinheit 30, eine Einheit 31 zum Gewinnen von repräsentativen Punkten, eine Klassifizierungsverarbeitungseinheit 32, eine Koordinatenauswahleinheit 33 und eine Gewichtungsbereich- Festlegungseinheit 34 umfaßt, wodurch die Verarbeitungszeit verkürzt wird und ein sehr genauer Meßvorgang durchgeführt wird.
- Die Charakterauswahleinheit 30 ist angeordnet, um einen charakteristischen Teil für einen Verarbeitungskandidaten aus den jeweiligen Kantenbildern, die in den Kantenbildspeichern 12a und 12b gespeichert werden, auszuwählen, wobei ein Teil, an dem eine vorbestimmte Anzahl oder mehr Kantenkonstruktionspunkte verbunden sind, als charakteristischer Teil für jedes Kantenbild gewonnen wird.
- In den gewählten charakteristischen Teilen gewinnt die Einheit 31 zum Gewinnen von repräsentativen Punkten einen Kantenkonstruktionspunkt entsprechend einem zentralen Punkt jedes charakteristischen Teils als einen Punkt, der den charakteristischen Teil darstellt.
- Fig. 20 zeigt bei (1) und (2) ein Ergebnis einer Charakteristikauswahloperation an den Kantenbildern, die bei (1) und (2) von Fig. 8 gezeigt sind. Fig. 21 zeigt ein Ergebnis der Gewinnung von repräsentativen Punkten (durch Markierungen "x" gezeigt) im Bild innerhalb eines von einer gestrichelten Linie umgebenen Bereichs bei (2) von Fig. 20. Nur diese repräsentativen Punkte werden im anschließenden Prozeß verarbeitet, wodurch die Verarbeitungsgeschwindigkeit ziemlich verbessert wird.
- Die Übereinstimmungseinheit 14 führt eine Übereinstimmungsoperation zwischen den jeweiligen Kantenbildern an den gewonnenen jeweiligen repräsentativen Punkten aus und die Einheit 15 zum Berechnen von dreidimensionalen Koordinaten berechnet dreidimensionale Koordinaten von den jeweiligen repräsentativen Punkten unter Verwendung der Übereinstimmungsergebnisse. Die Klassifizierungsverarbeitungseinheit 32 führt eine Anhäufungsoperation aus, die die jeweiligen x-Koordinaten von den berechneten dreidimensionalen Koordinaten verwendet, und die jeweiligen repräsentativen Punkte werden auf der Basis der Ergebnisse der Anhäufung in Gruppen unterteilt.
- Fig. 22 zeigt ein Beispiel eines Ergebnisses der Berechnung von dreidimensionalen Koordinaten von den jeweiligen repräsentativen Punkte, wobei eine Vielzahl von repräsentativen Punkten jeweils in einem Raum nahe einer Grenze der Verkehrsspuren L1 und L2 und in einer X-Z-Ebene, die die erste Spur L1 berührt, gewonnen werden.
- Fig. 23 zeigt ein Ergebnis eines Gruppierungsprozesses an den jeweiligen repräsentativen Punkten von Fig. 22, wobei die jeweiligen repräsentativen Punkte, die sich nahe der Grenze der Verkehrsspuren L1 und L2 befinden, in eine erste Gruppe G1 klassifiziert werden und die jeweiligen repräsentativen Punkte, die in der X-Z-Ebene liegen, in eine zweite Gruppe G2 klassifiziert werden.
- Nach der Beendung dieses Gruppierungsprozesses führt die Projektionsprozeßeinheit 17 eine Projektionsoperation an den dreidimensionalen Koordinaten der repräsentativen Punkte, die in jeder Gruppe enthalten sind, für jede Gruppe aus.
- Die Koordinatenauswahleinheit 33 wählt einen repräsentativen Punkt als verarbeitetes Endobjekt aus den Projektionsprozeßergebnissen in jeder Gruppe aus. In diesem Ausführungsbeispiel wird eine y-Koordinate entsprechend einer Position einer Stoßstange eines Fahrzeugs als Schwellenwert festgelegt, und die Einheit: 33 wählt den Punkt mit Höhendaten, die höher sind als dieser Schwellenwert, unter den repräsentativen Punkten, die auf die virtuelle senkrechte Ebene R projiziert werden, als Konstruktionspunkt des Fahrzeugs aus.
- Fig. 24 zeigt bei (1) und (2) ein Ergebnis der Projektion nach dem vorstehend beschriebenen Koordinatenauswahlprozeß an den jeweiligen Gruppen G1 und G2 und die jeweiligen Projektionspunkte in der Gruppe G2 werden als Rauschen entfernt.
- Gemäß diesem Prozeß werden die Projektionspunkte hinsichtlich des Objekts auf der Straßenebene wie z. B. des Schattens eines Fahrzeugs entfernt, aber die Gewichtungsbereich-Festlegungseinheit 34 legt einen Gewichtungsbereich an den restlichen Projektionspunkten fest, wie später beschrieben. Anschließend vergleicht die Vergleichsunterscheidungseinheit 20 die jeweiligen Punkte, die in dem festgelegten Gewichtungsbereich enthalten sind, mit den jeweiligen im Modelldatenspeicher 19 gespeicherten Modellen.
- Die Festlegungsoperation des Gewichtungsbereichs und die Vergleichsoperation werden nachstehend in Verbindung mit Fig. 25 bis 29 genau beschrieben.
- An jedem Projektionspunkt legt die Gewichtungsbereich- Festlegungseinheit 34 ein Liniensegment WL, in dem der Projektionspunkt um eine vorbestimmte Länge in einer Richtung auf der Basis von zentralen Kameraparametern verlängert wird, als Bereich entsprechend einer Breite von Fehlern, die beim Messen der vorstehend erwähnten dreidimensionalen Koordinaten entwickelt werden, fest.
- Unter der Annahme, daß der "i"-te Projektionspunkt Wi die Koordinaten (hi, vi) in der H-V-Ebene aufweist und y- Koordinaten eines Punkts entsprechend dem Projektionspunkt Wi in den jeweiligen Eingangsbildern, die von den Kameras 3a und 3b erhalten werden, (yUi, YLi) sind, werden die Koordinaten (hi+, vi+) und (hi-, vi-) der jeweiligen Endpunkte Wi&spplus; und Wi&supmin; des verlängerten Liniensegments WL, das am Projektionspunkt Wi zentriert ist, durch die folgenden Gleichungen (8) bis (11) ausgedrückt:
- wobei B, F, H und θ Kameraparameter ähnlich den in den obigen Gleichungen (2) bis (4) verwendeten darstellen und "e" eine tatsächliche Länge darstellt, die durch ein Pixel in den Eingangsbildern ausgedrückt wird.
- Die Vergleichsunterscheidungseinheit 20 liest nacheinander die jeweiligen Modelle M, die im Modelldatenspeicher 19 gespeichert sind, und legt einen Bereich SR mit zwei oder mehr Projektionspunkten innerhalb einer Breite r des Modells M als Abtastbereich des Modells fest, wie in Fig. 26 gezeigt.
- Wie in Fig. 27 gezeigt, sucht die Einheit. 20 als nächstes die Koordinaten des Schnittpunkts Zi des vorstehend erwähnten verlängerten Liniensegments WL und des Modells M für jede Abtastposition hi des Modells M innerhalb des Abtastbereichs R und berechnet einen Abstand Di zwischen dem Schnittpunkt Zi und dem Projektionspunkt Wi, einen Abstand Ei zwischen dem Projektionspunkt Wi und einem Endpunkt Wi&spplus; (oder Wi&supmin;), der auf der Seite des Schnittpunkts Zi liegt. Die Einheit 20 wendet ein Verhältnis von Di und Ei, das vom Projektionspunkt Wi berechnet wird, auf die folgende Gleichung (12) an, berechnet eine Wahrscheinlichkeit spi über die tatsächliche Existenz des Modells M am Schnittpunkt Zi als Auswertungswert des Projektionspunkts Wi und berechnet die Summation SPi dieser Auswertungswerte spi (in Fig. 28 gezeigt) als Übereinstimmungsgüte mit dem Modell der Projektionsdaten in der Abtastposition hi:
- wobei eine Basis einer natürlichen Konstante darstellt und σ 2 oder 3 darstellt.
- Gemäß dem vorstehend erwähnten Verfahren wird der Vergleich, der gemäß dem Abstand zwischen jedem Schnittpunkt Zi und Projektionspunkt Wi gewichtet wird, zwischen dem Modell M und dem jeweiligen verlängerten Liniensegment WL ausgeführt und Fehler bei der Berechnung von dreidimensionalen Koordinaten werden entfernt. Die Konstruktion für diesen gewichteten Vergleich kann auf die Vorrichtung des ersten Ausführungsbeispiels angewendet werden.
- Fig. 29 zeigt ein Ergebnis eines Vergleichsprozesses im Abtastbereich SR. Die Vergleichsunterscheidungseinheit 20 unterscheidet, daß der Anfangsteil des Fahrzeugtyps entsprechend dem Modell M in einer Abtastposition h&sub0; liegt, wo der Auswertungswert SPi zum maximalen Wert wird.
- Das Ergebnis der Unterscheidung wird im Prozeßergebnisspeicher 21 gespeichert. Die Operation von zeitlichen Positionsänderungen und einer Geschwindigkeitsmessung der jeweiligen Fahrzeuge wird durch die Verfolgungsprozeßeinheit 22 in derselben Weise wie jener des ersten Ausführungsbeispiels ausgeführt.
- In den vorangehenden zwei Ausführungsbeispielen werden Kantenkonstruktionspunkte aus den Eingangsbildern von den Kameras 3a und 3b gewonnen und die charakteristischen Teile in den Bildern werden auf eine virtuelle senkrechte Ebene entlang der Straße projiziert, um Fahrzeuge zu unterscheiden. Im Fall, daß ein spezielles Bild des Dachs oder der Frontscheibe als Charakteristiken eines Fahrzeugs bei Nacht schwierig zu gewinnen ist, werden die jeweiligen Eingangsbilder in binäre umgewandelt, um das Bild von Lichtern von Fahrzeugen als charakteristischen Teil zu gewinnen, und ein Verfahren zum Messen eines Verkehrsflusses durch Verwenden des Gewinnungsergebnisses ist wirksam.
- Fig. 30 zeigt ein elektronisches Blockdiagramm einer Verkehrsfluß-Meßvorrichtung, die einen Verkehrsfluß bei Nacht messen kann, als drittes Ausführungsbeispiel dieser Erfindung. Die Steuereinheit 4 dieses Ausführungsbeispiels umfaßt einen Binärwandler 35 und Binärbildspeicher 36a und 36b anstelle der Kantengewinnungseinheit 13 und der Kantenbildspeicher 12a und 12b im ersten Ausführungsbeispiel.
- Fig. 31 (1) und (2) und Fig. 32 (1) und (2) zeigen Beispiele von Eingangsbildern von den jeweiligen Kameras 3a und 3b. Die Bilder bei (1) von Fig. 31 und 32 zeigen die ersten Eingangsbilder, die im ersten Bildspeicher 11a gespeichert werden, und das Bild bei (2) von Fig. 31 und 32 zeigt die zweiten Eingangsbilder, die im zweiten Bildspeicher 11b gespeichert werden.
- Der Binärwandler 35 ist dazu ausgelegt, die Pixel mit den Luminanzwerten, die einen vorbestimmten Schwellenwert übersteigen, in schwarze Pixel in den Eingangsbildern umzuwandeln, die in den Speichern 11a und 11b gespeichert werden, und die umgewandelten Binärbilder werden in den Binärbildspeichern 36a und 36b gespeichert.
- Fig. 33 (1) und (2) zeigen die von den Eingangsbildern von Fig. 31 (1) und (2) umgewandelten Binärbilder, und Fig. 34 (1) und (2) zeigen die von den Eingangsbildern von Fig. 32 (1) und (2) umgewandelten Binärbilder, wobei die Teile von Licht als schwarze Pixel gewonnen werden.
- Die Übereinstimmungseinheit 14 führt einen Übereinstimmungsprozeß zwischen Bildern von den schwarzen Pixeln in den jeweiligen Binärbildern aus, wie vorstehend erwähnt. Die Einheit 15 zum Berechnen von dreidimensionalen Koordinaten berechnet dreidimensionale Koordinaten von den jeweils übereinstimmenden Pixeln. Folglich werden die Positionen von Lichtteilen, die in den jeweiligen Eingangsbildern enthalten sind, gewonnen, um auf die Vergleichsunterscheidungseinheit 20 angewendet zu werden.
- Der Modelldatenspeicher 19 speichert Daten, die die Zahlen und Positionen von Lichtern darstellen, für jedes Fahrzeug wie z. B. einen Kompaktwagen, ein Motorrad und ein Auto mit großer Größe, und die Vergleichsunterscheidungseinheit 20 vergleicht die Speicherdaten mit den Berechnungsergebnissen durch die Einheit 15 zum Berechnen von dreidimensionalen Koordinaten, um zu unterscheiden, welche Art Fahrzeug sich in welcher Position befindet.
- Fig. 35 zeigt ein Ergebnis der Berechnung für dreidimensionale Koordinaten, die die Binärbilder bei (1) und (2) von Fig. 33 verwendet, und Fig. 36 zeigt ein Ergebnis der Berechnung für dreidimensionale Koordinaten, die die Binärbilder bei (1) und (2) von Fig. 34 verwendet. Die Markierung " " stellt einen Punkt entsprechend einem zentralen Punkt jedes charakteristischen Teils (nachstehend als "charakteristischer Punkt" bezeichnet) dar. Die Vergleichsunterscheidungseinheit 20 weist einen Erkennungsbereich von einer y-Koordinate entsprechend einer Höhenposition einer Standardstoßstange bis zu einer vorbestimmten Höhenposition auf und gewinnt charakteristische Punkte mit einer y-Koordinate innerhalb des Erkennungsbereichs als Kandidaten für den charakteristischen Punkt. Die Einheit 20 vergleicht Positionsbeziehungen der gewonnenen charakteristischen Punkte mit den Speicherdaten im Modelldatenspeicher 19, um die Arten und Positionen der Fahrzeuge auf der Straße zu unterscheiden. Die gestrichelten Linien in Fig. 35 und 36 stellen Grenzlinien von Verkehrsspuren auf der Basis einer im Verkehrsspur-Datenspeicher 18 gespeicherten Positionsinformation dar und auf der Basis dieser Positionsinformation wird die durch das unterschiedene Fahrzeug geortete Verkehrsspur identifiziert.
- Wenn ein Paar von charakteristischen Punkt en (beispielsweise Paare von charakteristischen Punkten O1-O2 und O3-O4 von Fig. 35) existiert, die sich in einer Position entsprechend einer Position direkt oberhalb einer Stoßstange und parallel in einem Abstand entsprechend einer Breite von Scheinwerfern eines gewöhnlichen Kraftfahrzeugs in einer Breitenrichtung der Straße befinden, erkennt die Einheit 20 die Positionen dieser charakteristischen Punkte als Anfangspositionen von gewöhnlichen Kraftfahrzeugen.
- Wenn ein einzelner charakteristischer Punkt (beispielsweise ein charakteristischer Punkt O5) mit Höhendaten entsprechend einer Position direkt oberhalb einer Stoßstange existiert, unterscheidet die Einheit 20, daß sich ein Motorrad in der Position des charakteristischen Punkts befindet. Wenn der Abstand des Paars von charakteristischen Punkten entsprechend Scheinwerfern größer ist als der Abstand der Scheinwerfer eines gewöhnlichen Kraftfahrzeugs und eine Vielzahl von charakteristischen Punkten (die jeweiligen charakteristischen Punkte von Fig. 36) um das Paar von charakteristischen Punkten existieren, unterscheidet die Einheit 20, daß diese charakteristischen Punkte ein Fahrzeug mit großer Größe darstellen, und unterscheidet ferner die Art (Lastkraftwagen, Van und Bus) des Fahrzeugs angesichts der Positionsbeziehungen der jeweiligen charakteristischen Punkte.
- Wenn die Schatten von Scheinwerfern, die auf einer nassen Straße im Regen reflektiert werden, und von Nachtlichtern oder Verkehrszeichen entlang einer Straße als charakteristische Punkte gewonnen werden, sind die y- Koordinaten dieser charakteristischen Punkte außerhalb des Erkennungsbereichs und werden als nicht die charakteristischen Punkte betrachtet, die irgendein Fahrzeug ausdrücken. Somit kann jegliches Risiko einer fälschlichen Erkennung von anderen Materialien als Fahrzeugen als Fahrzeug verhindert werden, und sogar nachts können Fahrzeuge genau unterschieden werden.
- Die Ergebnisse der Vergleichsunterscheidungseinheit 20 werden nacheinander im Prozeßergebnisspeicher 21 gespeichert. Anschließend werden dieselben Operationen wie die des ersten und des zweiten Ausführungsbeispiels ausgeführt.
- Die vorangehenden Ausführungsbeispiele betreffen Verkehrsfluß-Meßvorrichtungen. Das vorstehend erwähnte Fahrzeugmeßverfahren ist nicht auf die fahrenden Fahrzeuge begrenzt, sondern kann auf parkende Fahrzeuge angewendet werden.
- Fig. 37 zeigt eine Parkplatz-Beobachtungsvorrichtung als viertes Ausführungsbeispiel dieser Erfindung. Die Parkplatz-Beobachtungsvorrichtung ist nahe einem Parkplatz mit einer Vielzahl von Parkabschnitten (zwei Abschnitten in diesem Ausführungsbeispiel) angeordnet, um das Parken von Fahrzeugen zu unterscheiden. Der Parkplatz ist mit den zwei Parkabschnitten 40 in einem vorbestimmten Abstand versehen. Jeder Parkabschnitt ist in vier Abschnitte in einer Längsrichtung (in einer mit einer Pfeilmarkierung A in Fig. 37 markierten Richtung) und in zwei Abschnitte in einer Breitenrichtung unterteilt, wobei acht Parkflächen AR vorgesehen sind.
- In diesem Ausführungsbeispiel werden die jeweiligen Parkflächen AR für jeden Parkabschnitt 40 beobachtet und Beobachtungsvorrichtungen, die jeweils aus Kameras 3a und 3b und einer Steuereinheit 4' bestehen, sind auf verlängerten Linien in der Längsrichtung A des Parkabschnitts 40 angeordnet. Die Kameras 3a und 3b sind an Beleuchtungsstützen 41 in derselben Positionsbeziehung wie eine der obigen montiert. Die Ergebnisse der Messung durch die Steuereinheiten 4' werden zu einem Computer in einem Verwaltungszentrum (in den Zeichnungen nicht dargestellt) übertragen, um die gesamte Verwendung des Parkplatzes zu verwalten.
- Fig. 38 zeigt ein schematisches Blockdiagramm der Parkplatz-Beobachtungsvorrichtung. Die Steuereinheit 4' umfaßt A/D-Wandler 10a und 10b, Bildspeicher 11a und 11b, Kantenspeicher 12a und 12b, eine Kantengewinnungseinheit 13, eine Übereinstimmungseinheit 14, eine Einheit 15 zum Berechnen von dreidimensionalen Koordinaten, einen Kameraparameterspeicher 16, eine Projektionsprozeßeinheit 17, einen Modelldatenspeicher 19 und eine Vergleichsunterscheidungseinheit 20, die dieselben Komponenten wie die von Fig. 5 sind. Die Steuereinheit 4' umfaßt ferner einen Flächendatenspeicher 42 zum Speichern einer Positionsinformation der jeweiligen Parkflächen AR (beispielsweise Koordinaten der jeweiligen Scheitelpunkte).
- Wenn die Eingangsbilder, wie in Fig. 39 (1) und (2) gezeigt, in den Speichern 11a und 11b gespeichert werden, gewinnt die Kantengewinnungseinheit 13 Kantenkonstruktionspunkte in einer horizontalen Richtung von den Eingangsbildern in demselben Verfahren wie jenen des vorstehend erwähnten ersten und zweiten Ausführungsbeispiels. Folglich werden Kantenbilder, wie in Fig. 40 (1) und (2) gezeigt, erzeugt und in den Kantenbildspeichern 12a und 12b gespeichert.
- Die Übereinstimmungseinheit 14 und die Einheit 15 zum Berechnen von dreidimensionalen Koordinaten führen eine Übereinstimmungsoperation zwischen Bildern über jeden Kantenkonstruktionspunkt aus und berechnen dreidimensionale Koordinaten jedes übereinstimmenden Punkts.
- Die Projektionsprozeßeinheit 17 legt eine virtuelle senkrechte Ebene R' entlang der Längsrichtung A des Parkabschnitts, nämlich einer Breitenrichtung jeder Parkfläche AR fest und projiziert die berechneten dreidimensionalen Koordinaten auf die senkrechte Ebene R'. Dieser Projektionsvorgang wird auf der Basis der Speicherdaten im Flächendatenspeicher 42 für jede Linie des Parkabschnitts 40 ausgeführt.
- Fig. 41 zeigt ein Beispiel der obigen Projektionsoperation und Fig. 42 zeigt eine Vorderansicht der virtuellen senkrechten Ebene R', die durch die Projektionsoperation angewendet wird. Die Projektionsdaten, die eine vordere Form oder eine hintere Form eines Fahrzeugs innerhalb jeder Parkfläche darstellen, werden separat gewonnen.
- Wie in Fig. 43 (1) und (2) gezeigt, speichert der Modelldatenspeicher 19 ein Modell einer vorderen Form oder einer hinteren Form für jede Art Fahrzeug und die Vergleichsunterscheidungseinheit 20 tastet nacheinander die jeweiligen Modelle in der virtuellen senkrechten Ebene R' ab, um die Fahrzeuge in derselben Weise wie eines des vorstehend erwähnten ersten Ausführungsbeispiels zu unterscheiden.
- Wenn die Einheit 20 die Position des Fahrzeugs entsprechend einem der Modelle unterscheidet, ordnet sie die Speicherdaten im Flächendatenspeicher 42, erkennt, welche Parkfläche der unterschiedenen Position entspricht und überträgt schließlich die Daten, die darstellen, welche Art Fahrzeug in welcher Parkfläche parkt, zu einem Verwaltungszentrum.
- Obwohl in diesem Ausführungsbeispiel die virtuelle senkrechte Ebene R' in der Breitenrichtung der Parkfläche festgelegt ist und eine vordere Form jedes Fahrzeugs projiziert wird, kann die virtuelle senkrechte Ebene in einer Längsrichtung der Parkfläche festgelegt werden, um eine Seitenform jedes Fahrzeugs zu projizieren. Obwohl in diesem Ausführungsbeispiel die Projektionsoperation gleichzeitig über Parkflächen in derselben Linie ausgeführt wird, kann sie überdies für jede Parkfläche einzeln ausgeführt werden.
- Wenn zusätzlich zu diesem Parkplatz-Beobachtungsprozeß die Fahrzeuge, die auf Umfangswegen um jeden Parkabschnitt 40 fahren, durch Verwendung des vorstehend erwähnten ersten und zweiten Ausführungsbeispiels unterschieden werden, kann ein Fahrzeug, das parken wird, und ein Fahrzeug, das den Parkplatz verlassen wird, unterschieden werden und die gesamte Verwaltung des Parkplatzes ist möglich.
- Die Parkplatz-Beobachtungsvorrichtung dieses Ausführungsbeispiels unterscheidet Fahrzeuge auf der Basis der Projektionsoperation von dreidimensionalen Koordinaten, kann jedoch so konstruiert werden, daß sie Fahrzeuge auf der Basis von Höhendaten, die durch die jeweiligen berechneten Koordinaten dargestellt werden, anstatt der Projektionsoperation unterscheidet.
- Fig. 44 zeigt eine so konstruierte Parkplatz- Beobachtungsvorrichtung als fünftes Ausführungsbeispiel dieser Erfindung. Die Steuereinheit 4' ist mit einer Einheit 45 zum Unterscheiden der Existenz eines parkenden Autos zum Unterscheiden, ob irgendein Fahrzeug in jeder Parkfläche parkt oder nicht, auf der Basis der berechneten dreidimensionalen Koordinaten und der Positionsinformation jeder Parkfläche versehen. Andere Komponenten mit denselben Konstruktionen wie jene der vorangehenden Ausführungsbeispiele sind durch dieselben Bezugsziffern dargestellt und auf ihre ausführliche Erläuterung wird der Vereinfachung halber verzichtet.
- Die Einheit 45 zum Unterscheiden der Existenz eines parkenden Fahrzeugs unterteilt die jeweiligen berechneten dreidimensionalen Koordinaten in Gruppen für jede Parkfläche auf der Basis der Positionsinformation der jeweiligen Parkflächen AR, die im Flächendatenspeicher 42 gespeichert sind. Wenn beispielsweise das Berechnungsergebnis von dreidimensionalen Koordinaten, das in Fig. 41 gezeigt ist, in Gruppen unterteilt wird, ist es in Fig. 45 (1) und (2) dargestellt. Überdies berechnet die Einheit 45 von der "m"-ten klassifizierten Gruppe gm die Anzahl PTm von dreidimensionalen Koordinatenpunkten, die in der Gruppe enthalten sind, und einen Mittelwert ADm von Höhendaten dieser Koordinatenpunkte, vergleicht die berechneten Daten PTm und ADm mit einem vorbestimmten Schwellenwert, um zu unterscheiden, ob irgendein Fahrzeug innerhalb der Parkfläche AR existiert oder nicht, entsprechend der Gruppe gm.
- Die Anzahl PTm der dreidimensionalen Koordinatenpunkte wird mit einem Schwellenwert TH&sub1; verglichen, der entsprechend einer mittleren Anzahl der Kantenkonstruktionspunkte eines Fahrzeugs festgelegt wird. Der Höhenmittelwert ADm wird mit den zwei Arten von Schwellenwerten TH&sub2; und. TH&sub3; verglichen, wobei der Schwellenwert TH&sub2; durch einen Wert entsprechend einer mittleren Höhe von gewöhnlichen Kraftfahrzeugen festgelegt wird, und der Schwellenwert TH&sub3; durch einen Wert entsprechend einer mittleren Höhe von Fahrzeugen mit großer Größe festgelegt wird.
- Wenn in der Gruppe gm der vorstehend erwähnte PTm den Schwellenwert TH&sub1; überschreitet und ADm zwischen den Schwellenwerten TH&sub2; und TH&sub3; liegt, unterscheidet die Einheit 45, daß ein gewöhnliches Auto in der Parkfläche AR entsprechend der Gruppe gm vorhanden ist. Wenn PTm den Schwellenwert TH&sub1; überschreitet und ADm gleich oder größer als der Schwellenwert TH&sub2; ist, unterscheidet die Einheit 45, daß ein Fahrzeug mit großer Größe in der Parkfläche AR entsprechend der Gruppe gm vorhanden ist.
- Wenn PTm gleich oder kleiner als der Schwellenwert TH&sub1; ist oder ADm gleich oder kleiner als der Schwellenwert TH&sub2; ist, unterscheidet die Einheit 45, daß kein Fahrzeug in der entsprechenden Parkfläche vorhanden ist.
- Die Vorrichtung in den vorangehenden Ausführungsbeispielen unterscheidet Fahrzeuge auf einer Straße oder innerhalb einer Parkfläche, kann jedoch modifiziert werden, um verschiedene Arten von anderen Objekten als Fahrzeugen zu unterscheiden und dieselben Verfahren zu verwenden, um zeitliche Positionsänderungen der Objekte zu messen.
- Obwohl die Erfindung bezüglich bestimmten Ausführungsbeispielen beschrieben und dargestellt wurde, die zufriedenstellende Ergebnisse ergeben, ist es für Fachleute nach dem Verstehen des Zwecks der Erfindung selbstverständlich, daß verschiedene andere Änderungen und Modifikationen vorgenommen werden können, ohne vom Schutzbereich der Erfindung abzuweichen, und es ist daher in den beigefügten Ansprüchen vorgesehen, alle derartigen Änderungen und Modifikationen zu erfassen.
Claims (9)
1. Verfahren zum Beobachten eines Objekts mit den
Schritten
(a) gleichzeitiges Aufnehmen eines Bildes durch zwei
oder mehrere Kameras (3a, 3b), die in eine vorbestimmte
Beobachtungsposition gerichtet sind,
(b) Auswählen (30) eines gemeinsamen
charakteristischen Teils in jedem der jeweiligen
aufgenommenen Bilder durch Korrelieren (14) von
ausgewählten charakteristischen Teilen in jedem der Bilder,
(c) Berechnen (15) der dreidimensionalen Koordinaten
des ausgewählten gemeinsamen charakteristischen Teils unter
Verwendung der Positionsdaten des ausgewählten
charakteristischen Teils in jedem der Bilder,
(d) Wiederholen von jedem der Schritte (b) und (c) für
ändere gemeinsame charakteristische Teile,
(e) Projizieren (17) der dreidimensionalen Koordinaten
von jedem ausgewählten gemeinsamen charakteristischen Teil
auf eine virtuelle Ebene, die vertikal positioniert ist und
zu einer das Objekt berührenden, realen Ebene senkrecht
ist, und
(f) Vergleichen (20) der projizierten Daten mit
vorbestimmten zweidimensionalen Modelldaten (19), um das
Objekt zu unterscheiden.
2. Objektbeobachtungsverfahren nach Anspruch 1, wobei der
Schritt (d) des Projizierens (17) ein Schritt des
Unterteilens der dreidimensionalen Koordinaten der
jeweiligen charakteristischen Teile in Gruppen auf der
Basis einer Positionsbeziehung in einer von dem Objekt
berührten Ebene und des Projizierens der in den Gruppen
enthaltenen dreidimensionalen Koordinaten auf die
senkrechte Ebene für jede der Gruppen ist.
3. Objektbeobachtungsverfahren nach Anspruch 1 oder 2,
wobei der Schritt (e) des Vergleichens (20) ein Schritt des
Festlegens eines vorbestimmten Bereichs mit den jeweiligen
Projektionspunkten, die in der senkrechten Ebene durch die
Projektionsverarbeitung des Schritts (d) gebildet wurden,
und des Gewichtens der jeweiligen Punkte auf der Basis der
Positionsbeziehung der jeweiligen Punkte in dem
festgelegten Bereich mit den mit den zweidimensionalen
Modelldaten (19) zu vergleichenden Projektionspunkten ist.
4. Objektbeobachtungsverfahren nach Anspruch 1, wobei der
Schritt (d) des Projizierens (17) ein Schritt des
Unterteilens der dreidimensionalen Koordinaten der
jeweiligen repräsentativen Punkte in Gruppen auf der Basis
einer Positionsbeziehung in einer von dem Objekt berührten
Ebene und des Projizierens der in den Gruppen enthaltenen
dreidimensionalen Koordinaten auf die senkrechte Ebene für
jede der Gruppen ist.
5. Objektbeobachtungsverfahren nach Anspruch 4, wobei der
Schritt (e) des Vergleichens (20) ein Schritt des
Festlegens eines vorbestimmten Bereichs mit den jeweiligen
Projektionspunkten, die in der senkrechten Ebene durch die
Projektionsverarbeitung des Schritts (d) gebildet wurden,
und des Gewichtens der jeweiligen Punkte auf der Basis der
Positionsbeziehung der jeweiligen Punkte in dem
festgelegten Bereich mit den mit den zweidimensionalen
Modelldaten (19) zu vergleichenden Projektionspunkten ist.
6. Vorrichtung zum Durchführen des Verfahrens nach
Anspruch 1, umfassend
zwei oder mehrere Kameras (3a, 3b), die in eine
vorbestimmte Beobachtungsposition gerichtet sind,
ein Charakteristik-Auswahlmittel (13, 30) zum
Auswählen eines gemeinsamen charakteristischen Teils in
jedem der von den Kameras gleichzeitig aufgenommenen
jeweiligen Bilder, unter Verwendung eines
Korrelationsmittels (14) zum Korrelieren der ausgewählten
charakteristischen Teile der jeweiligen Bilder, die von dem
Charakteristik-Auswahlmittel ausgewählt wurden, mit den
Bildern,
ein Koordinatenberechnungsmittel (15) zum Berechnen
(15) der dreidimensionalen Koordinaten des ausgewählten
gemeinsamen charakteristischen Teils unter Verwendung der
Positionsdaten des ausgewählten charakteristischen Teils in
jedem der Bilder,
ein Mittel zum Wiederholen der Auswahl, Korrelation
und Berechnung für andere gemeinsame charakteristische
Teile,
ein Speichermittel (19) zum Speichern von
zweidimensionalen Modelldatensätzen von Vergleichsobjekten,
ein Projektionsmittel (17) zum Festlagen einer
virtuellen, vertikalen Ebene, die zu einer von dem Objekt
berührten, realen Ebene senkrecht ist, und zum Projizieren
der dreidimensionalen Koordinaten von jedem ausgewählten
gemeinsamen charakteristischen Teil, die von dem
Koordinatenberechnungsmittel berechnet wurden, auf die
senkrechte Ebene, und
ein Vergleichsmittel (20) zum Vergleichen der
Ergebnisse der Projektion mit jedem zweidimensionalen
Modelldatensatz, der in dem Speichermittel (19) gespeichert
ist.
7. Objektbeobachtungsvorrichtung nach Anspruch 6, wobei
das Projektionsmittel (17) die dreidimensionalen
Koordinaten der jeweiligen charakteristischen Teile, die
von dem Koordinatenauswahlmittel (14) ausgewählt wurden,
auf der Basis einer Positionsbeziehung in einer von dem
Objekt berührten Ebene in Gruppen unterteilt und die in den
Gruppen enthaltenen dreidimensionalen Koordinaten auf die
senkrechte Ebene für jede der Gruppen projiziert.
8. Objektbeobachtungsvorrichtung nach Anspruch 6 oder 7,
dadurch gekennzeichnet, daß das Vergleichsmittel (20) einen
vorbestimmten Bereich mit den jeweiligen
Projektionspunkten, die in der senkrechten Ebene durch die
Projektionsverarbeitung des Projektionsmittels (17)
gebildet wurden, festlegt und die jeweiligen Punkte auf der
Basis der Positionsbeziehung der jeweiligen Punkte in dem
festgelegten Bereich mit den mit den zweidimensionalen
Modelldaten (19) zu vergleichenden Projektionspunkten
gewichtet.
9. Parkplatz-Beobachtungsvorrichtung zum Beobachten von
Fahrzeugen, die innerhalb einer vorbestimmten Form einer
Fläche parken, umfassend
zwei oder mehrere Kameras (3a, 3b), die über der
Fläche angeordnet sind und auf die Fläche gerichtet sind,
ein Charakteristik-Auswahlmittel (13, 30) zum
Auswählen eines gemeinsamen charakteristischen Teils in
jedem der von den Kameras für einen vorbestimmten Zeitraum
gleichzeitig aufgenommenen jeweiligen Bilder unter
Verwendung eines Korrelationsmittels (14) zum Korrelieren
der ausgewählten charakteristischen Teile der jeweiligen
Bilder, die von dem Charakteristik-Auswahlmittel ausgewählt
wurden, mit den Bildern,
ein Koordinatenberechnungsmittel (15) zum Berechnen
(15) der dreidimensionalen Koordinaten des ausgewählten
gemeinsamen charakteristischen Teils unter Verwendung der
Positionsdaten des ausgewählten charakteristischen Teils in
jedem der Bilder, und zur Ausdehnungsabmessung der
charakteristischen Teile,
ein Mittel zum Wiederholen der Auswahl, Korrelation
und Berechnung für andere gemeinsame charakteristische
Teile,
ein Projektionsmittel (17) zum Festlegen einer
virtuellen, vertikalen Ebene, die zu der Fahrzeugparkebene
der Fläche senkrecht ist, und zum Projizieren der
dreidimensionalen Koordinaten von jedem ausgewählten
gemeinsamen charakteristischen Teil, die von dem
Koordinatenberechnungsmittel berechnet wurden, auf die
senkrechte Ebene,
ein Speichermittel (19) zum Speichern eines
Formmodells einer Seitenansicht von jedem einer Vielzahl
von Fahrzeugtypen, und
ein Fahrzeugsunterscheidungsmittel (20) zum
Vergleichen der Projektionsergebnisse mit jedem Formmodell,
das in dem Speichermittel (19) gespeichert ist, um die auf
der Fläche geparkten Fahrzeuge zu unterscheiden.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14554695 | 1995-05-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69624980D1 DE69624980D1 (de) | 2003-01-09 |
DE69624980T2 true DE69624980T2 (de) | 2003-07-17 |
Family
ID=15387687
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69624980T Expired - Fee Related DE69624980T2 (de) | 1995-05-18 | 1996-05-17 | Objektüberwachungsverfahren und -gerät mit zwei oder mehreren Kameras |
Country Status (5)
Country | Link |
---|---|
US (1) | US5910817A (de) |
EP (1) | EP0747870B1 (de) |
KR (1) | KR100201739B1 (de) |
CN (1) | CN1080911C (de) |
DE (1) | DE69624980T2 (de) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016223094A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
DE102016223118A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
US11157746B2 (en) | 2016-11-23 | 2021-10-26 | Robert Bosch Gmbh | Method and system for detecting an elevated object situated within a parking facility |
Families Citing this family (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2292605B (en) * | 1994-08-24 | 1998-04-08 | Guy Richard John Fowler | Scanning arrangement and method |
EP0877341B1 (de) * | 1997-05-09 | 2007-02-07 | Honda Giken Kogyo Kabushiki Kaisha | System zum Vermieten von Fahrzeugen |
JP3420504B2 (ja) * | 1998-06-30 | 2003-06-23 | キヤノン株式会社 | 情報処理方法 |
US7366595B1 (en) * | 1999-06-25 | 2008-04-29 | Seiko Epson Corporation | Vehicle drive assist system |
JP3243234B2 (ja) * | 1999-07-23 | 2002-01-07 | 松下電器産業株式会社 | 混雑度計測方法、計測装置、およびそれを用いたシステム |
EP1089214A3 (de) * | 1999-09-30 | 2005-01-26 | Matsushita Electric Industrial Co., Ltd. | Gerät und Verfahren zur Bilderkennung |
US7123166B1 (en) * | 2000-11-17 | 2006-10-17 | Haynes Michael N | Method for managing a parking lot |
US7375728B2 (en) * | 2001-10-01 | 2008-05-20 | University Of Minnesota | Virtual mirror |
US6977630B1 (en) * | 2000-07-18 | 2005-12-20 | University Of Minnesota | Mobility assist device |
US7106885B2 (en) * | 2000-09-08 | 2006-09-12 | Carecord Technologies, Inc. | Method and apparatus for subject physical position and security determination |
GB2377332A (en) * | 2001-07-04 | 2003-01-08 | Hewlett Packard Co | Simulating a moving image from static cameras along a route |
US7552008B2 (en) * | 2001-07-18 | 2009-06-23 | Regents Of The University Of Minnesota | Populating geospatial database for onboard intelligent vehicle applications |
US20030076417A1 (en) * | 2001-08-07 | 2003-04-24 | Patrick Thomas | Autonomous monitoring and tracking of vehicles in a parking lot to enforce payment rights |
WO2003029046A1 (en) * | 2001-10-03 | 2003-04-10 | Maryann Winter | Apparatus and method for sensing the occupancy status of parking spaces in a parking lot |
JP3788400B2 (ja) * | 2002-07-19 | 2006-06-21 | 住友電気工業株式会社 | 画像処理装置、画像処理方法及び車両監視システム |
JP4556873B2 (ja) * | 2003-10-21 | 2010-10-06 | 日本電気株式会社 | 画像照合システム及び画像照合方法 |
KR20060134944A (ko) * | 2003-11-11 | 2006-12-28 | 테크니커스 아게 | 차량의 주행 상황과 교통 상황의 기록 장치 및 기록평가방법 |
DE102004023322A1 (de) * | 2004-05-07 | 2005-11-24 | Daimlerchrysler Ag | Lage- und Positionsvermessung von Objekten mittels Bildverarbeitungsverfahren |
JP2006221603A (ja) * | 2004-08-09 | 2006-08-24 | Toshiba Corp | 3次元情報復元装置、3次元情報復元方法および3次元情報復元プログラム |
KR20060023714A (ko) * | 2004-09-10 | 2006-03-15 | 학교법인 포항공과대학교 | 영상 정합 시스템 및 영상 정합 방법 |
WO2006064172A1 (en) * | 2004-12-14 | 2006-06-22 | Roger Hal Kennedy | Integrated traffic management system |
US7639841B2 (en) * | 2004-12-20 | 2009-12-29 | Siemens Corporation | System and method for on-road detection of a vehicle using knowledge fusion |
ITTO20060214A1 (it) * | 2006-03-22 | 2007-09-23 | Kria S R L | Sistema di rilevamento di veicoli |
US7570179B2 (en) * | 2007-01-05 | 2009-08-04 | International Business Machines Corporation | System and method of locating vehicles with keylock signals |
US7912320B1 (en) | 2007-01-16 | 2011-03-22 | Paul Minor | Method and apparatus for photographic measurement |
US8509480B2 (en) * | 2007-03-22 | 2013-08-13 | Nec Corporation | Mobile detector, mobile detecting program, and mobile detecting method |
CN101414411B (zh) * | 2007-10-17 | 2010-08-25 | 财团法人工业技术研究院 | 影像式的空位侦测系统与方法 |
US20090228172A1 (en) * | 2008-03-05 | 2009-09-10 | Gm Global Technology Operations, Inc. | Vehicle-to-vehicle position awareness system and related operating method |
US8611585B2 (en) * | 2008-04-24 | 2013-12-17 | GM Global Technology Operations LLC | Clear path detection using patch approach |
EP2313863A1 (de) * | 2008-07-14 | 2011-04-27 | National ICT Australia Limited | Erkennung von fahrzeugen auf bildern eines nachtszenariums |
CN102301201B (zh) * | 2009-02-18 | 2013-02-27 | 旭硝子株式会社 | 矩形板状物的外形形状测量方法以及摄像单元的相对位置的校正方法 |
US20110153266A1 (en) * | 2009-12-23 | 2011-06-23 | Regents Of The University Of Minnesota | Augmented vehicle location system |
TWI410880B (zh) * | 2010-03-29 | 2013-10-01 | Anmo Electronics Corp | 與數位影像分析相關的電腦程式產品 |
CN102213591B (zh) * | 2010-04-01 | 2013-10-23 | 安鹏科技股份有限公司 | 数字影像分析装置 |
TW201136313A (en) * | 2010-04-08 | 2011-10-16 | Hon Hai Prec Ind Co Ltd | 3D image monitor system and method |
WO2012125687A2 (en) * | 2011-03-14 | 2012-09-20 | The Regents Of The University Of California | Method and system for vehicle classification |
EP2543960A1 (de) * | 2011-07-05 | 2013-01-09 | Hexagon Technology Center GmbH | Verfahren zum Bereitstellen von Zielpunktkandidaten zur Auswahl eines Zielpunkts |
JP5942771B2 (ja) * | 2012-10-18 | 2016-06-29 | 富士通株式会社 | 画像処理装置及び画像処理方法 |
MA36097B1 (fr) * | 2013-07-08 | 2016-01-29 | Mascir Morrocan Foundation For Advanced Science Innovation & Res | Système mono-caméra d'estimation de vitesse de véhicule par traitement vidéo avec calibration multi-caméra par effet stéréoscopique |
DE102013213748A1 (de) * | 2013-07-15 | 2015-01-15 | Ford Global Technologies, Llc | Verfahren und Vorrichtung zur Überwachung einer Parkberechtigung eines Kraftfahrzeugs |
CN103700265B (zh) * | 2013-12-16 | 2016-01-06 | 青岛海信网络科技股份有限公司 | 基于出行起点与终点获取路网流量信息的方法 |
JP6455921B2 (ja) * | 2014-11-13 | 2019-01-23 | エムケー精工株式会社 | 駐車検出装置 |
US10074214B2 (en) * | 2015-12-31 | 2018-09-11 | Autodesk, Inc. | Systems and methods for generating 3D scenes with time element for display |
US10008115B2 (en) * | 2016-02-29 | 2018-06-26 | Analog Devices Global | Visual vehicle parking occupancy sensor |
CN107767687B (zh) * | 2017-09-26 | 2020-09-01 | 中国科学院长春光学精密机械与物理研究所 | 基于双目立体视觉的空闲停车位检测方法及系统 |
CN108961785B (zh) * | 2018-07-10 | 2020-10-02 | 杭州利艾智能科技有限公司 | 一种调整交通控制信号的系统及方法 |
CN110826357B (zh) * | 2018-08-07 | 2022-07-26 | 北京市商汤科技开发有限公司 | 对象三维检测及智能驾驶控制的方法、装置、介质及设备 |
US11967229B1 (en) * | 2019-04-19 | 2024-04-23 | Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville | Systems and methods for monitoring vehicular traffic |
CN110196638B (zh) * | 2019-05-17 | 2023-10-13 | 中电海康集团有限公司 | 基于目标检测和空间投影的移动端增强现实方法和系统 |
KR102240638B1 (ko) * | 2019-11-01 | 2021-04-15 | 주식회사 누리콘 | 영상내 차량 이미지 추정 경계 픽셀 데이터와 차량 모델 뷰포인트 분석을 이용한 주차 안내 방법 및 시스템 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05265547A (ja) * | 1992-03-23 | 1993-10-15 | Fuji Heavy Ind Ltd | 車輌用車外監視装置 |
JP3391405B2 (ja) * | 1992-05-29 | 2003-03-31 | 株式会社エフ・エフ・シー | カメラ映像内の物体同定方法 |
EP0669034B1 (de) * | 1992-11-10 | 1997-01-15 | Siemens Aktiengesellschaft | Verfahren zur detektion und abspaltung des schattens sich bewegender objekte in einer digitalen bildsequenz |
DE4300651A1 (de) * | 1993-01-08 | 1994-07-14 | Refit Ev | Verfahren zur Ermittlung von Verkehrsdaten |
US5495576A (en) * | 1993-01-11 | 1996-02-27 | Ritchey; Kurtis J. | Panoramic image based virtual reality/telepresence audio-visual system and method |
JP3384033B2 (ja) * | 1993-05-06 | 2003-03-10 | 住友電気工業株式会社 | 駐車場空きスペ−ス監視方法 |
US5687249A (en) * | 1993-09-06 | 1997-11-11 | Nippon Telephone And Telegraph | Method and apparatus for extracting features of moving objects |
US5687307A (en) * | 1993-09-21 | 1997-11-11 | Canon Kabushiki Kaisha | Computer graphic animation in which texture animation is independently performed on a plurality of objects in three-dimensional space |
JP3064759B2 (ja) * | 1993-09-28 | 2000-07-12 | 株式会社日立製作所 | 車両の周囲を監視する装置、車両の運転支援システムおよび運転支援装置 |
JP2989744B2 (ja) * | 1994-06-13 | 1999-12-13 | 株式会社東芝 | 測定面抽出装置及びその方法 |
JP3603285B2 (ja) * | 1994-07-21 | 2004-12-22 | 株式会社セガ | 画像処理装置 |
-
1996
- 1996-05-17 DE DE69624980T patent/DE69624980T2/de not_active Expired - Fee Related
- 1996-05-17 KR KR1019960017635A patent/KR100201739B1/ko not_active IP Right Cessation
- 1996-05-17 US US08/651,339 patent/US5910817A/en not_active Expired - Fee Related
- 1996-05-17 EP EP96107880A patent/EP0747870B1/de not_active Expired - Lifetime
- 1996-05-18 CN CN96108480A patent/CN1080911C/zh not_active Expired - Fee Related
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016223094A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
DE102016223118A1 (de) * | 2016-11-23 | 2018-05-24 | Robert Bosch Gmbh | Verfahren und System zum Detektieren eines sich innerhalb eines Parkplatzes befindenden erhabenen Objekts |
US11157746B2 (en) | 2016-11-23 | 2021-10-26 | Robert Bosch Gmbh | Method and system for detecting an elevated object situated within a parking facility |
Also Published As
Publication number | Publication date |
---|---|
DE69624980D1 (de) | 2003-01-09 |
EP0747870B1 (de) | 2002-11-27 |
KR960042482A (ko) | 1996-12-21 |
KR100201739B1 (ko) | 1999-06-15 |
EP0747870A1 (de) | 1996-12-11 |
CN1080911C (zh) | 2002-03-13 |
CN1144328A (zh) | 1997-03-05 |
US5910817A (en) | 1999-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69624980T2 (de) | Objektüberwachungsverfahren und -gerät mit zwei oder mehreren Kameras | |
EP1589484B1 (de) | Verfahren zur Erkennung und/oder Verfolgung von Objekten | |
DE69624614T2 (de) | Verfahren zur Stereoübereinstimmungs- und Ungleichheitsmessung | |
DE19636028C1 (de) | Verfahren zur Stereobild-Objektdetektion | |
DE102006057552B4 (de) | System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs | |
DE102006012914B4 (de) | System und Verfahren zur Bestimmung des Abstands zu einem vorausfahrenden Fahrzeug | |
DE69523698T2 (de) | Verfahren und Gerät zum richtungsselektiven Zählen von sich bewegenden Objekten | |
DE102006005512B4 (de) | System und Verfahren zur Messung der Entfernung eines vorausfahrenden Fahrzeugs | |
DE19926559A1 (de) | Verfahren und Vorrichtung zur Detektion von Objekten im Umfeld eines Straßenfahrzeugs bis in große Entfernung | |
DE102014012285A1 (de) | Verfahren und Achsenzähl-Vorrichtung zur berührungslosen Achsenzählung eines Fahrzeugs sowie Achsenzählsystem für den Straßenverkehr | |
EP2396746A2 (de) | Verfahren zur objektdetektion | |
EP3520024B1 (de) | Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien | |
DE102011111440A1 (de) | Verfahren zur Umgebungsrepräsentation | |
EP3520023B1 (de) | Detektion und validierung von objekten aus sequentiellen bildern einer kamera | |
DE102012000459A1 (de) | Verfahren zur Objektdetektion | |
EP1460454A2 (de) | Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern | |
EP3520025B1 (de) | Detektion und validierung von objekten aus sequentiellen bildern einer kamera mittels homographien | |
DE102011082477A1 (de) | Verfahren und System zur Erstellung einer digitalen Abbildung eines Fahrzeugumfeldes | |
DE10328814B3 (de) | Verfahren und Vorrichtung zur Verbesserung der Erkennung und/oder Wiedererkennung von Objekten in der Bildverarbeitung | |
DE102018121158A1 (de) | Verfahren zum Erfassen von Bodenabtastpunkten und Fahrerunterstützungssystem, das dafür konfiguriert ist, ein derartiges Verfahren auszuführen | |
DE19517031A1 (de) | Verfahren zur Bestimmung der Länge eines Fahrzeuges mit Hilfe einer das Fahrzeug aufnehmenden Videokamera und Vorrichtung zur Durchführung des Verfahrens | |
DE10136649B4 (de) | Verfahren und Vorrichtung zur Objekterkennung von sich bewegenden Kraftfahrzeugen | |
DE102019107650A1 (de) | Objektformerfassung basierend auf zwei Typen von Umgebungssensoren | |
DE102004034157B4 (de) | Verfahren und Vorrichtung zur Bestimmung der Geschwindigkeit von Verkehrsteilnehmern bei bildgebenden Verfahren | |
DE102010013815A1 (de) | Verfahren und Vorrichtung zur Erkennung und Verfolgung von Objekten im Umfeld eines Kraftfahrzeugs |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |