[go: up one dir, main page]

DE102009051826A1 - Verfahren zum Vergleichen der Ähnlichkeit von 3D-bildlichen Objekten - Google Patents

Verfahren zum Vergleichen der Ähnlichkeit von 3D-bildlichen Objekten Download PDF

Info

Publication number
DE102009051826A1
DE102009051826A1 DE102009051826A DE102009051826A DE102009051826A1 DE 102009051826 A1 DE102009051826 A1 DE 102009051826A1 DE 102009051826 A DE102009051826 A DE 102009051826A DE 102009051826 A DE102009051826 A DE 102009051826A DE 102009051826 A1 DE102009051826 A1 DE 102009051826A1
Authority
DE
Germany
Prior art keywords
target object
shape
depth
reference object
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102009051826A
Other languages
English (en)
Inventor
Chih-Hsiang Hemei Tsai
Hui-Wen Chen
Chao-Ming Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huper Laboratories Co Ltd
HUPER LAB CO Ltd
HUPER LABORATORIES Co Ltd
Original Assignee
Huper Laboratories Co Ltd
HUPER LAB CO Ltd
HUPER LABORATORIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huper Laboratories Co Ltd, HUPER LAB CO Ltd, HUPER LABORATORIES Co Ltd filed Critical Huper Laboratories Co Ltd
Publication of DE102009051826A1 publication Critical patent/DE102009051826A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

Mittels der Verwendung einer Stereokamera wird ein Vergleich von Parametern, die Breite, Länge, Tiefe, Farbe und Form umfassen, eines Zielobjekts mit einem Bezugsobjekt durchgeführt. Wenn sich die Parameter des Zielobjekts innerhalb von Schwellenwerten der Parameter des Bezugsobjekts befinden, wird eine Übereinstimmung angezeigt. Wenn nicht, wird ein neues Bezugsobjekt für den Vergleich mit dem Zielobjekt ausgesucht.

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des Anspruchs 1.
  • Auf dem Gebiet der Erfassung von Objektähnlichkeit wird typischerweise ein Zielobjekt mit einem Bezugsobjekt verglichen, um das Zielobjekt auf der Basis der Ähnlichkeit des Zielobjekts mit dem Bezugsobjekt zu identifizieren. Um die Ähnlichkeit des Zielobjekts mit dem Bezugsobjekt zu bestimmen, können die Ähnlichkeit von Farbe und Form verwendet werden. 2D-Abbildungen des Zielobjekts und des Bezugsobjekts, die beide 3D-Objekte sein können, werden analysiert, um das Zielobjekt dem Bezugsobjekt zuzuordnen.
  • Wenn für die Ähnlichkeitsermittlung nur die Farbähnlichkeit verwendet wird, ist aus den oben erwähnten Gründen eine ungenaue Ermittlung der Farbe wahrscheinlich. Ebenso ist die Formermittlung aufgrund der oben genannten Gründe anfällig für eine ungenaue Bestimmung der Form. Und selbst eine Kombination der obigen beiden Ähnlichkeitsermittlungsverfahren kann Objekte verschiedener Größen nicht effektiv erkennen. Außerdem kann durch die Ermittlung von 3D-Informationen allein nicht zwischen Objekten unterschieden werden.
  • Vor diesem Hintergrund ist es Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, das Farb-, Form- und Größenermittlung verwendet, um zwischen Objekten zu unterscheiden.
  • Die Lösung dieser Aufgabe erfolgt durch die Merkmale des Anspruchs 1. Die Unteransprüche offenbaren bevorzugte Weiterbildungen der Erfindung.
  • Wie aus der folgenden detaillierten Beschreibung deutlicher zu ersehen sein wird, umfasst das beanspruchte Verfahren das Anzeigen einer Übereinstimmung zwischen einem Zielobjekt und einem Bezugsobjekt, wenn die Länge des Zielobjekts innerhalb, d. h. nicht oberhalb eines Längenschwellenwertes der Länge des Bezugsobjekts ist, die Breite des Zielobjekts innerhalb, d. h. nicht oberhalb eines Breitenschwellenwertes der Breite des Bezugsobjekts ist, die Tiefe des Zielobjekts innerhalb, d. h. nicht oberhalb eines Tiefenschwellenwertes der Tiefe des Bezugsobjekts ist, die Farbabweichung zwischen Farbeigenschaften des Zielobjekts und Farbeigenschaften des Bezugsobjekts innerhalb, d. h. nicht oberhalb eines Farbabweichungsschwellenwertes ist, und die Formabweichung zwischen den Formeigenschaften des Zielobjekts und den Formeigenschaften des Bezugsobjekts innerhalb, d. h. nicht oberhalb eines Formabweichungsschwellenwertes ist.
  • Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus nachfolgender Beschreibung eines Ausführungsbeispiels anhand der Zeichnungen.
  • Dabei zeigt:
  • 1 eine Darstellung, die die Verwendung eines Formkontextes zur Bestimmung der Formähnlichkeit eines Zielobjekts und eines Bezugsobjekts veranschaulicht;
  • 2 eine Darstellung, die die Verwendung einer Stereokamera veranschaulicht, um die Objektdisparität zu erlangen;
  • 3 eine Darstellung, die ein Verfahren zum Suchen korrespondierender Punkte in einem Bezugsbild und einem Zielbild veranschaulicht;
  • 4 eine Darstellung eines Messsystems zum Bestimmen die Tiefe eines Zielobjekts gemäß einem Ausführungsbeispiel der vorliegenden Erfindung; und
  • 5 ein Ablaufdiagramm eines Verfahrens zur Ausführung von Objekterkennung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
  • Die Farbähnlichkeit kann durch Verwendung von RGB-Histogrammen ermittelt werden. Zum Beispiel können RGB-Histogramme eines Bildes des Zielobjektes und eines Bildes des Bezugsobjektes verglichen werden, um die Bilder zuzuordnen. Wenn beleuchtungsunabhängige Farb-Deskriptoren zum Vergleichen der Histogramme verwendet werden, wird das Zuordnen noch effektiver. Jedoch stehen diesem Objekterkennungsverfahren vielfältige Herausforderungen gegenüber, was den Wechsel des Betrachtungspunktes, die Ausrichtung des Zielobjekts relativ zu dem Bezugsobjekt, Veränderungen in der Intensität der Beleuchtung, Veränderungen der Farbe der Beleuchtung, Rauschstörungen bzw. Verzerrungen und die Verdeckung des Zielobjekts einschließt, um einige zu nennen. Ein Verfahren vergleicht YCbCr-Histogramme der Bilder des Zielobjekts und des Bezugsobjekts unter Verwendung des Bhattacharyya-Abstands. Während die Farb-Histogramme ein Verfahren zur Verfügung stellen, um unterschiedliche Objekte auf der Basis ihrer jeweiligen Farbzusammenstellungen zu erkennen, kann die Farbähnlichkeit allein nicht das Problem ähnlicher Farbzusammenstellungen, die zu Objekten unterschiedlicher Form gehören, lösen.
  • Die Formähnlichkeit kann auf eine Anzahl von Weisen bestimmt werden, einschließlich der Verwendung des Formkontextes. Es ist Bezug zu nehmen auf 1, welche eine Darstellung ist, die die Verwendung des Formkontextes zur Bestimmung der Formähnlichkeit eines Zielobjekts 100 und eines Bezugsobjektes 101 veranschaulicht. Unter Verwendung von log-polaren Histogramm-Behältern (Histogramm-Bins) 150 können die mit den Koordinaten 110, 111, 112 jeweils korrespondierenden Formkontexte 120, 121, 122 berechnet werden. Die Formkontexte 120, 121, 122 sind log-polare Histogramme, die jeweils die Koordinaten 110, 111, 112 als einen Ursprung verwenden. Wie in 1 zu sehen ist, sind die mit den Koordinaten 110, 112 korrespondierenden Formkontexte 120, 122 einander sehr ähnlich, während der mit den Koordinaten 111 korrespondierende Formkontext 121 den Formkontexten 120, 122 unähnlich ist. Wie gezeigt, sind die log-polaren Histogramm-Behälter 150 in fünf konzentrischen Kreisen angeordnet, von denen jeder in 12 Segmente unterteilt ist. Somit kann jeder Formkontext 120, 121, 122 eine 12×5 Matrix sein, wobei jede deren Zellen Informationen über die Anzahl von Pixeln in dem korrespondierenden Segment enthält. Informationen über nahe gelegene Pixel können gegenüber Pixeln hervorgehoben werden, die sich von dem Ursprung weiter entfernt befinden, indem ein log-polarer2 Raum für die log-polaren Histogramm-Behälter 150 verwendet wird. Durch die Wahl des Abstands von dem Ursprung zu dem äußersten Kreis, nämlich des Radiuses des äußersten Kreises, kann eine Diagonale eines kleinsten Rechtecks, das das Objekt (Bezugs- oder Zielobjekt) umschließen kann, gefunden werden. Dadurch wird sichergestellt, dass jedes Pixel des Objekts innerhalb des log-polaren Histogramm-Behälter 150 zu liegen kommt, unabhängig davon, welches Pixel als der Ursprung ausgewählt ist. Wenn Formkontexte gebildet werden, kann ein Formkontext für jedes Pixel gebildet werden, indem das Pixel als der Ursprung eingestellt wird, und berechnet wird, wie viele der übrigen Pixel in jedem Behälter (Bin) der log-polaren Histogramm-Behälter 150 fallen. Um die Ähnlichkeit zu bestimmen, wird unter der Annahme, dass Si(h) einen iten Formkontext des Bezugsobjekts darstellt, Rj(h) einen jten Formkontext des Zielobjekts darstellt und jeder Formkontext M Reihen umfasst, die Ähnlichkeit der Formkontexte wie folgt ausgedrückt:
    Figure 00040001
  • Da für den Formvergleich Auswahlpixel verwendet werden, kann eine unterschiedliche Größe und Rotation des Zielobjekts relativ zum Bezugsobjekt toleriert werden. Jedoch kann es durch diese Abweichung unmöglich sein, zwischen Objekten mit ähnlicher Form aber unterschiedlicher Größe zu unterscheiden. Ferner kann die Formähnlichkeit allein nicht das Problem ähnlich geformter Objekte verschiedener Farben lösen.
  • Es ist Bezug zu nehmen auf 2, die eine Darstellung ist, die die Verwendung einer Stereokamera veranschaulicht, um die Objektdisparität zu erlangen. Durch die Verwendung einer Stereokamera, zum Beispiel einer linken Kamera und einer rechten Kamera, können 3D-Informationen des Zielobjekts gemessen werden, wobei eine Tiefendimension zusätzlich zu den ursprünglich für eine einzige Kamera verfügbaren 2D-Informationen hinzugefügt wird. 2 zeigt ein Stereokamera-System. Ein Punkt P ist ein Punkt im Raum mit den Koordinaten (X, Y, Z). Die Punkte pl und pr mit den jeweiligen Koordinaten (xl, yl) und (xr, yr) stellen Schnittpunkte von zwei Bildebenen mit zwei imaginären von dem Punkt P jeweils zu den optischen Mittelpunkten Ol und Or der linken und rechten Kameras gezogenen Linien dar. Tiefeninformationen über den Punkt P können durch Verwendung der folgenden Formel erlangt werden: Z = D = f B / dx, (2) wobei D die Tiefe, f die Brennweite, dx = xr – xl die Disparität ist, und
    B = Or – Ol der Basislinien-Abstand ist. Auf ähnliche Weise können die Koordinaten X und Y des Punktes P auch gefunden werden als:
    Figure 00050001
  • Auf diese Weise können die 3D-Informationen des Zielobjektes durch die zwei Bildebenen der Stereokamera erlangt werden.
  • Aus dem Obigen ist zu erkennen, dass es notwendig ist, zuerst Positionen auf den zwei Bildebenen zu finden, die mit einem selben Punkt auf dem Zielobjekt korrespondieren, um die 3D-Informationen eines Punktes durch die zwei Bildebenen der Stereokamera zu erlangen. 3 ist eine Darstellung, die ein Verfahren für das Suchen nach korrespondierenden Punkten in einem Bezugsbild und einem Zielbild darstellt. Ein Bezugsbild 301 und einem Zielbild 302 sind von der Stereokamera aufgenommene linke und rechte Bilder, wobei jedes eine Höhe H und eine Breite W aufweist. Um die Position eines Punktes PT[i] in dem Zielbild 302 zu finden, der mit einem Punkt PR in dem Bezugsbild 301 korrespondiert, werden die Koordinaten (x, y) des Punktes PR als Ursprung für die Suche verwendet. Von den Koordinaten (x, y) beginnend, wird die Suche in dem Zielbild 302 entlang einer epipolaren Linie (gestrichelte Linie in 3) ausgeführt, um den Punkt PT[i] in dem Zielbild 302 zu finden. Der Punkt PT[i] ist ein Punkt auf der epipolaren Linie, der aus einer Reihe von Kandidaten-Punkten PT[0] – PT[N] zwischen den Koordinaten (x, y) und (x + dmax, y) in dem Zielbild 302 ausgewählt ist. Der Punkt PT[i] hat die höchste Ähnlichkeit mit dem Punkt PR von allen Kandidaten-Punkten PT[0] – PT[N], wobei N mit einem maximalen Suchbereich ”dmax” korrespondiert. Wenn der Punkt PT[i] gefunden worden ist, können die obigen Gleichungen (2), (3) und (4) verwendet werden, um die 3D-Informationen der Punkte PR, PT[i] zu bestimmen. Wie in 3 gezeigt, kann der Punkt PT[i] der Punkt PT[0] sein. Obwohl das zur Bestimmung der 3D-Informationen beschriebene Verfahren die Größe des Objektes ermitteln kann, ist das Verfahren nicht in der Lage, Unterschiede bei Objekten zu erfassen.
  • Es ist Bezug zu nehmen auf 4, die eine Darstellung eines Messsystems 40 zur Bestimmung der Tiefe eines Zielobjekts 420 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist. Das Messsystem 40 umfasst eines Stereokamera 410 und eine Messoberfläche 430. Die Stereokamera 410 kann eine linke Kamera 411 und eine rechte Kamera 412 umfassen. Die linke Kamera 411 und die rechte Kamera 412 können ähnliche oder identische Spezifikationen aufweisen und können kollinear in der Stereokamera 410 angebracht sein. Die linke Kamera 411 und die rechte Kamera 412 können auch kalibriert werden. Die linke Kamera 411 kann ein erstes Sichtfeld FOV1 aufweisen, und die rechte Kamera 412 kann ein zweites Sichtfeld FOV2 aufweisen. Ein gemeinsames Sichtfeld (FOV) kann eine Schnittfläche des ersten Sichtfeldes FOV1 und des zweiten Sichtfeldes FOV2 sein. Wenn das Zielobjekt 420 auf der Messoberfläche 430 in dem gemeinsamen FOV der Stereokamera 410 positioniert ist, kann die Stereokamera 410 die Größe des Zielobjekts 420 gemäß der Disparität der linken Kamera 411 und der rechten Kamera 412 bestimmen, um so die Genauigkeit zu verbessern, wenn die Ähnlichkeit des Zielobjekts 420 mit einem Bezugsobjekt bestimmt wird. Um die Tiefe des Zielobjekts 420 zu messen, kann das Zielobjekt 420 auf der Messoberfläche 430, zwischen der Messoberfläche 430 und der Stereokamera 410 innerhalb des gemeinsamen FOV positioniert sein, z. B. entlang einer zu einer Linie zwischen der linken Kamera 411 und der rechten Kamera 412 senkrechten Normalen. Auf diese Weise kann die Tiefe des Zielobjekts 420 erlangt werden, indem eine Differenz des Abstands zwischen der Stereokamera 410 und der Messoberfläche 430 und des Abstands zwischen der Stereokamera 410 und dem Zielobjekt 420 ermittelt wird.
  • Um die oben aufgeführten Probleme zu lösen, werden ein Verfahren und ein System zur Durchführung von Objekterkennung durch 3D-Informationen-, Farb- und Formähnlichkeit vorgesehen. Es ist Bezug zu nehmen auf 5, die ein Ablaufdiagramm eines Verfahrens zur Durchführung von Objekterkennung gemäß einem Ausführungsbeispiel der vorliegenden Erfindung ist. Das Verfahren umfasst Vorteile jedes der oben erwähnten Verfahren, und bietet eine bessere Genauigkeit für die Objekterkennung. Das Verfahren kann mindestens die folgenden Schritte umfassen:
  • Schritt 500: Stelle eine Kamera bereit und kalibriere diese;
  • Schritt 502: Erzeuge über durch die Stereokamera erlangte 3D-Informationen eine Disparitätenabbildung;
  • Schritte 504: Erlange von einem durch die Stereokamera aufgenommenen Bild über die Hintergrunddifferenz ein Zielobjekt;
  • Schritt 506: Verwende die Disparitätenabbildung, um Breite, Länge und Tiefe des Zielobjekts zu berechnen;
  • Schritt 508: Bestimme Farb- und Formeigenschaften des Zielobjekts;
  • Schritt 510: Wenn die Länge des Zielobjekts innerhalb eines Längenschwellenwertes der Länge eines Bezugsobjektes ist, die Breite des Zielobjekts innerhalb eines Breitenschwellenwertes der Breite des Bezugsobjektes ist, und die Tiefe des Zielobjekts innerhalb eines Tiefenschwellenwertes der Tiefe des Bezugsobjektes ist, gehe zu Schritt 512, andernfalls gehe zu Schritt 516;
  • Schritt 512: Vergleiche die Farbeigenschaften des Zielobjekts mit den Farbeigenschaften des Bezugsobjektes, um eine Farbabweichung zu ermitteln; wenn die Farbabweichung innerhalb eines Farbabweichungsschwellenwertes ist, gehe zu Schritt 514, andernfalls gehe zu Schritt 516;
  • Schritt 514: Vergleiche die Formeigenschaften des Zielobjekts mit dem Formeigenschaften des Bezugsobjektes, um eine Formabweichung zu ermitteln; wenn die Formabweichung innerhalb eines Formabweichungsschwellenwertes ist, gehe zu Schritt 518, andernfalls gehe zu Schritt 520;
  • Schritt 516: Das Zielobjekt stimmt nicht mit dem Bezugsobjekt überein, gehe zu Schritt 520;
  • Schritt 518: Das Zielobjekt stimmt mit dem Bezugsobjekt überein; und
  • Schritt 520: Ende.
  • Wenn die Stereokamera kalibriert wird (Schritt 500), kann die Basislinie B der Stereokamera gemäß dem Maß der Entfernung des zu erfassenden Zielobjekts ermittelt werden. Linke und rechte Kameras mit ähnlichen Eigenschaften können dann parallel zu der Basislinie B so positioniert werden, dass die Abbildungsebenen der linken und rechten Kameras zueinander innerhalb eines akzeptablen Abweichungsschwellenwertes angeordnet sind, z. B. innerhalb von 10 Pixeln in der y-Richtung. Dann kann die flexible Kalibrierung verwendet werden, um interne und externe Parameter der linken und rechten Kameras zu berechnen. Ein Schachbrettmuster kann durch die Stereokamera bei einer Vielfalt von Ausrichtungen beobachtet werden, indem entweder die Stereokamera oder das Schachbrettmuster bewegt wird. Schnittpunkte von Linien auf dem Schachbrettmuster in Bildkoordinaten und in 3D-Raumkoordinaten können verwendet werden, um die internen und externen Parameter zu berechnen, um die relativen Koordinaten der linken oder rechten Kameras wie auch Bildverzerrung-Kalibrierungsparameter der linken und rechten Kameras zu erlangen.
  • Eine Disparitätenabbildung kann durch 3D-Informationen erzeugt werden, die durch die Stereokamera erlangt werden (Schritt 502). Gemäß einem durch die Stereokamera nach der Kalibrierung aufgenommenen Bild, kann eine Überprüfung der linken/rechten Kamera durchgeführt werden, um die relativen Positionen jedes Pixels in einem linken Bild und einem rechten Bild, das jeweils durch die linke Kamera und die rechte Kamera aufgenommen worden ist, zu vergleichen. Dann können die relativen Koordinaten verwendet werden, um die Disparitätenabbildung zu erzeugen. Nachdem die Disparitätenabbildung erzeugt worden ist, kann der Abstand zu der Messoberfläche, auf der sich das Zielobjekt befindet, aus der Disparitätenabbildung berechnet werden.
  • Das Zielobjekt kann dann durch die Hintergrunddifferenz aus einem von der Stereokamera aufgenommenen Bild erlangt werden (Schritt 504). Zuerst wird ein passiver Hintergrund erstellt, z. B. kann ein Hintergrundbild aufgenommen werden, ohne dass ein Zielobjekt vorhanden ist. Dann kann das Zielobjekt über die Hintergrunddifferenz aus dem Bild extrahiert werden. Das Zielobjekt kann aus dem rechten Bild oder dem linken Bild über die Hintergrunddifferenz ermittelt werden, indem das rechte Bild oder das linke Bild mit einem Bild der Messoberfläche allein verglichen wird, um einen von der Messoberfläche sich unterscheidenden Bereich des rechten Bildes oder des linken Bildes zu bestimmen, der mit dem Zielobjekt korrespondiert. Eine Analyse der Hauptkomponenten kann dann an dem Zielobjekt durchgeführt werden, um eine Hauptachse des Zielobjekts zu bestimmen. Das Zielobjekt kann dann auf die Hauptachse bezogen normalisiert werden.
  • Die Disparitätenabbildung kann dann verwendet werden, um Breite, Länge und Tiefe des Zielobjekts zu berechnen (Schritt 506). Der Abstand des Zielobjekts von der Stereokamera und die Tiefe des Zielobjekts können aus der Disparitätenabbildung berechnet werden. Dann kann unter Verwendung von Dreiecksbeziehungen die Tiefe verwendet werden, um die Länge und die Breite des Zielobjekts zu berechnen. Die Tiefe kann als Differenz zwischen dem Abstand zu der Messoberfläche und dem Abstand zu dem Zielobjekt berechnet werden.
  • Form- und Farbeigenschaften des Zielobjekts können über die Verwendung von Farbhistogrammen und Formkontexten ermittelt werden (Schritt 508). Die Farbeigenschaften (TC1, TC2, ...., TCN) können durch die Farbhistogramme erlangt werden. Die Formeigenschaften (TS1, TS2, ...., TSN) können durch die Formkontexte erlangt werden.
  • Angenommen, das Bezugsobjekt weist eine Länge OL, eine Breite OW und eine Tiefe OD auf, und das Zielobjekt weist eine Länge TL, eine Breite TW und eine Tiefe TD auf, kann, wenn: E(OL, TL) ≤ THL und E(OW, TW) ≤ THW und E(OD, TD) ≤ THD ist, das Zielobjekt mit dem Bezugsobjekt übereinstimmen, wobei E(OL, TL), E(OW, TW) und E(OD, TD) Dimensionsabweichungsfunktionen sind, und THL, THW und THD jeweils Längen-, Breiten-, und Tiefenabweichungsschwellenwerte sind. Die Längen-, Breiten-, und Tiefenabweichungsschwellenwerte können in Einheiten von Zentimetern (cm) ausgedrückt sein, und können entsprechend Versuchsergebnissen und/oder Auslegungsanforderungen eingestellt sein. Wenn die Längenabweichung, die Breitenabweichung oder die Tiefenabweichung den Längenabweichungsschwellenwert THL, den Breitenabweichungsschwellenwert THW oder den Tiefenabweichungsschwellenwert THD jeweils überschreitet, dann stimmt das Zielobjekt nicht mit dem Bezugsobjekt überein, und der Prozess kann beendet werden.
  • Angenommen, dass die Farbeigenschaften des Bezugsobjektes durch (OC1, OC2, ..., OCN) dargestellt werden, und die Farbeigenschaften des Zielobjekts durch (TC1, TC2, ...., TCN) dargestellt werden, kann, wenn minE((OC1, OC2, ..., OCN), (TC1, TC2, ...., TCN)) ≤ THC ist, dann das Zielobjekt mit dem Bezugsobjekt übereinstimmen, wobei THC ein Farbabweichungsschwellenwert ist, der entsprechend Versuchsergebnissen und/oder Auslegungsanforderungen eingestellt werden kann, und E((OC1, OC2, ..., OCN), (TC1, TC2, ...., TCN)) eine Farbabweichungsfunktion ist. Wenn die minimale Farbabweichung gemäß E((OC1, OC2, ..., OCN), (TC1, TC2, ...., TCN)) größer als der Farbabweichungsschwellenwert THC ist, dann stimmt das Zielobjekt nicht mit dem Bezugsobjekt überein, und der Prozess kann beendet werden.
  • Angenommen, dass die Formeigenschaften des Bezugsobjektes durch (OS1, OS2, ..., OSN) dargestellt werden, und die Formeigenschaften des Zielobjekts durch (TS1, TS2, ...., TSN) dargestellt werden, kann, wenn minE((OS1, OS2, ..., OSN), (TS1, TS2, ...., TSN)) ≤ THS ist, dann das Zielobjekt mit dem Bezugsobjekt übereinstimmen, wobei THS ein Formabweichungsschwellenwert ist, der entsprechend Versuchsergebnissen und/oder Auslegungsanforderungen eingestellt werden kann, und E((OS1, OS2, ..., OSN), (TS1, TS2, ...., TSN)) eine Formabweichungsfunktion ist. Wenn die minimale Formabweichung gemäß E((OS1, OS2, ..., OSN), (TS1, TS2, ...., TSN)) größer als der Formabweichungsschwellenwert THS ist, dann stimmt das Zielobjekt nicht mit dem Bezugsobjekt überein, und der Prozess kann beendet werden.
  • In der Praxis kann die Stereokamera in einem Abstand von der Messoberfläche positioniert sein, und das Zielobjekt kann auf der Messoberfläche angeordnet sein. Die rechte Kamera kann ein rechtes Bild des Zielobjekts auf der Messoberfläche aufnehmen, und die linke Kamera kann ein linkes Bild des Zielobjekts auf der Messoberfläche aufnehmen. Die Breite, Tiefe und Länge des Zielobjekts kann dann aus dem rechten Bild und dem linken Bild berechnet werden. Wenn die Länge des Zielobjekts oberhalb des Längenschwellenwertes der Länge des Bezugsobjekt ist, die Breite des Zielobjekts oberhalb des Breitenschwellenwertes der Breite des Bezugsobjektes ist, oder die Tiefe des Zielobjekts oberhalb des Tiefenschwellenwertes der Tiefe des Bezugsobjektes ist, kann ein neues 3D-Bezugsobjekt zum Vergleich mit dem Zielobjekt ausgewählt werden. Nachdem das Zielobjekt mit allen 3D-Bezugsobjekten verglichen worden ist, kann ein 3D-Bezugsobjekt mit Längen-, Breiten- und Tiefeneigenschaften, die dem Zielobjekt am ähnlichsten sind, bestimmt werden. Ähnlich kann, wenn die Farbabweichung zwischen den Farbeigenschaften des Zielobjekts und den Farbeigenschaften des Bezugsobjektes oberhalb des Farbabweichungsschwellenwertes ist oder die Formabweichung zwischen den Formeigenschaften des Zielobjekts und den Formeigenschaften des Bezugsobjektes oberhalb des Formabweichungsschwellenwertes ist, das neue 3D-Bezugsobjekt zum Vergleich mit dem Zielobjekt ausgewählt werden. Nachdem das Zielobjekt mit allen 3D-Bezugsobjekten verglichen worden ist, kann ein 3D-Bezugsobjekt mit Farbeigenschaften, die dem Zielobjekt am ähnlichsten sind, bestimmt werden. Andernfalls kann eine Übereinstimmung zwischen dem Zielobjekt und dem Bezugsobjekt angezeigt werden. So können die Schritte 510516 wiederholt werden bis eine Übereinstimmung zwischen dem Zielobjekt und einem übereinstimmenden Bezugsobjekt gefunden worden ist.
  • Aus dem obigen ist zu ersehen, dass das beschriebene Verfahren die Probleme lösen kann, die auftreten, wenn nur Farbvergleich, Formvergleich, oder eine Kombination von Farb- und Formvergleich verwendet wird. Insbesondere ist das beschriebene Verfahren so robust, dass es mit Bedingungen umgehen kann, bei denen das Zielobjekt und das Bezugsobjekt verschiedene Form und/oder verschiedene Größe haben. Somit erhöht das beschriebene Verfahren, das Größe, Farbe und Form verwendet, um das Zielobjekt dem Bezugsobjekt zuzuordnen, die Genauigkeit, wenn es das Zielobjekt und das Bezugsobjekt vergleicht.
  • Zusammenfassend ist festzustellen, dass mittels der Verwendung einer Stereokamera ein Vergleich von Parametern, die Breite, Länge, Tiefe, Farbe und Form umfassen, eines Zielobjekts mit einem Bezugsobjekt durchgeführt wird. Wenn sich die Parameter des Zielobjekts innerhalb von Schwellenwerten der Parameter des Bezugsobjekts befinden, wird eine Übereinstimmung angezeigt. Wenn nicht, wird ein neues Bezugsobjekt für den Vergleich mit dem Zielobjekt ausgesucht.
  • Bezugszeichenliste
  • 40
    Messsystem
    100
    Zielobjekt
    101
    Bezugsobjekt
    110
    Koordinate
    111
    Koordinate
    112
    Koordinate
    120
    Formkontext
    121
    Formkontext
    122
    Formkontext
    150
    log-polarer Histogramm-Behälter
    301
    Bezugsbild
    302
    Zielbild
    410
    Stereokamera
    411
    linke Kamera
    412
    rechte Kamera
    420
    Zielobjekt
    430
    Messoberfläche

Claims (7)

  1. Verfahren zum Vergleichen der Ähnlichkeit eines 3D-Bezugsobjekts (101) und eines 3D-Zielobjekts (100, 420), wobei das Verfahren umfasst: Bereitstellen einer Stereokamera (410); Kalibrieren der Stereokamera (410); Aufnehmen eines rechten Bildes des Zielobjekts (100, 420) auf einer Messoberfläche (430) durch eine rechte Kamera (412) der Stereokamera (410); Aufnehmen eines linken Bildes des Zielobjekts (100, 420) auf einer Messoberfläche (430) durch eine linke Kamera (411) der Stereokamera (410); Erzeugen einer Disparitätenabbildung über durch die Stereokamera (410) erlangte 3D-Informationen; Erlangen des Zielobjekts (100, 420) aus dem rechten Bild oder dem linken Bild über eine Hintergrunddifferenz; Verwenden der Disparitätenabbildung, um Breite, Länge und Tiefe des Zielobjekts (100, 420) gemäß dem rechten Bild und dem linken Bild zu berechnen; Ermitteln von Farbeigenschaften des Zielobjekts (100, 420); Ermitteln von Formeigenschaften des Zielobjekts (100, 420); Auswählen des 3D-Bezugsobjektes (101) zum Vergleich mit dem Zielobjekt (100, 400); Auswählen eines neuen 3D-Bezugsobjekts (101) zum Vergleich mit dem Zielobjekt (100, 420), wenn die Länge des Zielobjekts (100, 420) oberhalb eines Längenschwellenwertes der Länge des Bezugsobjektes (101) liegt; Auswählen des neuen 3D-Bezugsobjektes (101) zum Vergleich mit dem Zielobjekt (100, 420), wenn die Breite des Zielobjekts (100, 420) oberhalb eines Breitenschwellenwertes der Breite des Bezugsobjektes (101) liegt; Auswählen des neuen 3D-Bezugsobjektes (101) zum Vergleich mit dem Zielobjekt (100, 420), wenn die Tiefe des Zielobjekts (100, 420) oberhalb eines Tiefenschwellenwertes der Tiefe des Bezugsobjektes (101) liegt; Auswählen des neuen 3D-Bezugsobjektes (101) zum Vergleich mit dem Zielobjekt (100, 420), wenn eine Farbabweichung zwischen den Farbeigenschaften des Zielobjekts (100, 420) und den Farbeigenschaften des Bezugsobjekts (101) oberhalb eines Farbabweichungsschwellenwertes liegt; Auswählen des neuen 3D-Bezugsobjektes (101) zum Vergleich mit dem Zielobjekt (100, 420), wenn eine Formabweichung zwischen den Formeigenschaften des Zielobjekts (101) und den Formeigenschaften des Bezugsobjektes (101) oberhalb eines Formabweichungsschwellenwertes liegt; und Anzeigen einer Übereinstimmung zwischen dem Zielobjekt (100, 420) und dem Bezugsobjekt (101), wenn die Länge des Zielobjekts (100, 420) innerhalb des Längenschwellenwertes der Länge des Bezugsobjektes (101) ist, die Breite des Zielobjekts (100, 420) innerhalb des Breitenschwellenwertes der Breite des Bezugsobjekts (101) ist, die Tiefe des Zielobjekts (100, 420) innerhalb des Tiefenschwellenwertes der Tiefe des Bezugsobjekts (101) ist, die Farbabweichung zwischen den Farbeigenschaften des Zielobjekts (100, 420) und den Farbeigenschaften des Bezugsobjekts (101) innerhalb des Farbabweichungsschwellenwertes ist, und die Formabweichung zwischen den Formeneigenschaften des Zielobjekts (100, 420) und den Formeigenschaften des Bezugsobjekts (101) innerhalb des Formabweichungsschwellenwertes ist.
  2. Verfahren gemäß Anspruch 1, wobei das Erlangen des Zielobjekts (100, 420) aus dem rechten Bild oder dem linken Bild über die Hintergrunddifferenz darin besteht, das rechte Bild oder das linke Bild mit einem Bild der Messoberfläche (430) allein zu vergleichen, um einen von der Messoberfläche (430) sich unterscheidenden Bereich des rechten Bildes oder des linken Bildes zu bestimmen, der mit dem Zielobjekt (100, 420) korrespondiert.
  3. Verfahren gemäß Anspruch 1 oder 2, wobei das Verwenden der Disparitätenabbildung zum Berechnen der Breite, der Länge und der Tiefe des Zielobjekts (100, 420) gemäß dem rechten Bild und dem linken Bild ausgeführt wird, bevor die Farbeigenschaften des Zielobjekts (100, 420) ermittelt werden.
  4. Verfahren gemäß einem der Ansprüche 1 bis 3, wobei das Ermitteln der Farbeigenschaften des Zielobjekts (100, 420) ausgeführt wird, bevor die Formeigenschaften des Zielobjekts (100, 420) ermittelt werden.
  5. Verfahren gemäß einem der Ansprüche 1 oder 2, wobei das Verwenden der Disparitätenabbildung zum Berechnen der Breite, der Länge und der Tiefe des Zielobjekts (100, 420) entsprechend dem rechten Bild und dem linken Bild ausgeführt wird, bevor die Formeigenschaften des Zielobjekts (100, 420) ermittelt werden.
  6. Verfahren gemäß Anspruch 5, wobei das Ermitteln der Formeigenschaften des Zielobjekts (100, 420) ausgeführt wird, bevor die Farbeigenschaften des Zielobjekts (100, 420) ermittelt werden.
  7. Verfahren gemäß einem der Ansprüche 1 bis 6, wobei das Verwenden der Disparitätenabbildung zum Berechnen der Tiefe des Zielobjekts (100, 420) gemäß dem rechten Bild und dem linken Bild darin besteht, die Disparitätenabbildung zu verwenden, um den Abstand zwischen der Stereokamera (410) und dem Zielobjekt (100, 420) zu bestimmen, und den Abstand von dem Abstand zwischen der Stereokamera (410) und der Messoberfläche (430) zu subtrahieren.
DE102009051826A 2009-09-24 2009-11-04 Verfahren zum Vergleichen der Ähnlichkeit von 3D-bildlichen Objekten Withdrawn DE102009051826A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/565,768 2009-09-24
US12/565,768 US8121400B2 (en) 2009-09-24 2009-09-24 Method of comparing similarity of 3D visual objects

Publications (1)

Publication Number Publication Date
DE102009051826A1 true DE102009051826A1 (de) 2011-03-31

Family

ID=43662657

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102009051826A Withdrawn DE102009051826A1 (de) 2009-09-24 2009-11-04 Verfahren zum Vergleichen der Ähnlichkeit von 3D-bildlichen Objekten

Country Status (3)

Country Link
US (1) US8121400B2 (de)
DE (1) DE102009051826A1 (de)
TW (1) TWI400481B (de)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102103457B (zh) * 2009-12-18 2013-11-20 深圳富泰宏精密工业有限公司 简报操作系统及方法
US8983121B2 (en) * 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof
US9270974B2 (en) 2011-07-08 2016-02-23 Microsoft Technology Licensing, Llc Calibration between depth and color sensors for depth cameras
GB2507558A (en) * 2012-11-05 2014-05-07 Toshiba Res Europ Ltd Image processing with similarity measure of two image patches
US20140210950A1 (en) * 2013-01-31 2014-07-31 Qualcomm Incorporated Systems and methods for multiview metrology
US20140267758A1 (en) * 2013-03-15 2014-09-18 Pelco, Inc. Stereo infrared detector
EP3042357A1 (de) * 2013-09-02 2016-07-13 Universität Heidelberg Bildverarbeitungsvorrichtung, -system und -verfahren sowie computerprogrammprodukt zur 3d-rekonstruktion
CN104952058B (zh) * 2014-03-28 2019-01-15 联想(北京)有限公司 一种信息处理的方法及电子设备
PL2998927T3 (pl) * 2014-09-22 2019-05-31 Alstom Transp Tech Sposób wykrywania złego umieszczenia i uszkodzeń powierzchni określonych elementów oraz powiązane urządzenie wykrywające
US20160110599A1 (en) * 2014-10-20 2016-04-21 Lexmark International Technology, SA Document Classification with Prominent Objects
US10157545B1 (en) * 2014-12-22 2018-12-18 Amazon Technologies, Inc. Flight navigation using lenticular array
WO2016157540A1 (ja) * 2015-04-03 2016-10-06 三菱電機株式会社 オブジェクト調整ツールおよびオブジェクト調整プログラム
CN105882516A (zh) * 2015-11-13 2016-08-24 乐卡汽车智能科技(北京)有限公司 车辆碰撞预警方法、装置和车辆
FI127555B (en) * 2017-04-05 2018-08-31 Oy Mapvision Ltd Computer vision systems that include coordinate correction
CN109583287B (zh) * 2017-09-29 2024-04-12 浙江莲荷科技有限公司 实物识别方法及验证方法
CN108268619B (zh) 2018-01-08 2020-06-30 阿里巴巴集团控股有限公司 内容推荐方法及装置
CN108446817B (zh) 2018-02-01 2020-10-02 阿里巴巴集团控股有限公司 确定业务对应的决策策略的方法、装置和电子设备
CN110569856B (zh) 2018-08-24 2020-07-21 阿里巴巴集团控股有限公司 样本标注方法及装置、损伤类别的识别方法及装置
CN110570316A (zh) 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 训练损伤识别模型的方法及装置
CN110569696A (zh) 2018-08-31 2019-12-13 阿里巴巴集团控股有限公司 用于车辆部件识别的神经网络系统、方法和装置
CN110569864A (zh) 2018-09-04 2019-12-13 阿里巴巴集团控股有限公司 基于gan网络的车损图像生成方法和装置
KR102287478B1 (ko) * 2019-08-05 2021-08-09 한국과학기술원 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법
WO2021025242A1 (ko) 2019-08-05 2021-02-11 한국과학기술원 전자 장치 및 그의 실내 환경에서 반사에 의한 객체 허상을 식별하기 위한 방법
EP3842911B1 (de) * 2019-12-26 2023-04-05 Dassault Systèmes 3d-schnittstelle mit verbesserter objektauswahl
CN111553965B (zh) * 2020-04-29 2023-05-02 张洋 一种二维图像处理方法及系统
CN119580392B (zh) * 2024-11-19 2025-07-18 中南林业科技大学 一种旅游景区用信息化寄存管理装置及方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1889171A4 (de) * 2005-04-07 2012-11-28 Visionsense Ltd Verfahren zum rekonstruieren einer dreidimensionalen oberfläche eines objekts
GB0520829D0 (en) * 2005-10-13 2005-11-23 Univ Cambridge Tech Image processing methods and apparatus
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming

Also Published As

Publication number Publication date
TWI400481B (zh) 2013-07-01
US8121400B2 (en) 2012-02-21
TW201111836A (en) 2011-04-01
US20110069892A1 (en) 2011-03-24

Similar Documents

Publication Publication Date Title
DE102009051826A1 (de) Verfahren zum Vergleichen der Ähnlichkeit von 3D-bildlichen Objekten
DE69624614T2 (de) Verfahren zur Stereoübereinstimmungs- und Ungleichheitsmessung
DE112019002547B4 (de) System und verfahren zum bestimmen eines standortes zur platzierung eines pakets
DE10157958B4 (de) Bildverarbeitungsverfahren und-vorrichtung
DE69027616T2 (de) Gerät und Verfahren zum Bestimmen von Konturen und Linien
DE112010004767B4 (de) Punktwolkedaten-Verarbeitungsvorrichtung, Punktwolkedaten-Verarbeitungsverfahren und Punktwolkedaten-Verarbeitungsprogramm
DE112013004103B4 (de) Verfahren und Vorrichtung zum Erzeugen einer Disparitätskarte
DE102011106052B4 (de) Schattenentfernung in einem durch eine fahrzeugbasierte Kamera erfassten Bild unter Verwendung eines nichtlinearen beleuchtungsinvarianten Kerns
DE102016013274A1 (de) Bildverarbeitungsvorrichtung und verfahren zur erkennung eines bilds eines zu erkennenden objekts aus eingabedaten
DE112014004190T5 (de) Positurschätzverfahren und Roboter
DE2063932A1 (de) Verfahren zum Korrelieren zweier Bilder
DE112014006439B4 (de) Kantenerkennungsvorrichtung, Kantenerkennungsverfahren und Programm
DE112011103452T5 (de) Verfahren zum Angleichen von Pixeln einer Entfernungsdarstellung
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE102012209316A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
DE202013002484U1 (de) Vorrichtung zur volumetrischen Vermessung eines Schlachttierkörperobjekts
DE102015207903A1 (de) Vorrichtung und Verfahren zum Erfassen eines Verkehrszeichens vom Balkentyp in einem Verkehrszeichen-Erkennungssystem
DE102015211874A1 (de) Objekterkennungsvorrichtung
EP1522878B1 (de) Verfahren zur Bestimmung der Lageänderung eines Gepäckstücks zur Untersuchung einer verdächtigen Region in diesem Gepäckstück
DE102008015535B4 (de) Verfahren zur Bildverarbeitung von Stereobildern
DE102016008406A1 (de) Bildmessvorrichtung, Steuerprogramm dieser Vorrichtung und nicht temporäres Aufzeichnungsmedium, auf welchem das Steuerprogramm aufgezeichnet ist
DE102016100134A1 (de) Verfahren und Vorrichtung zum Untersuchen eines Objekts unter Verwendung von maschinellem Sehen
DE112016004401T5 (de) Projizieren eines Bildes auf eine unregelmässig geformte Anzeigeoberfläche
DE202013002483U1 (de) Vorrichtung zur Vermessung einer Schlachttierkörperhälfte
DE102018102691A1 (de) Parallaxenberechnungsvorrichtung

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20140603