DE10117250A1

DE10117250A1 - Verfahren zum Test von Meßsystemen

Info

Publication number: DE10117250A1
Application number: DE10117250A
Authority: DE
Inventors: Friedemann Loeffler
Original assignee: Giesecke and Devrient GmbH
Current assignee: Giesecke and Devrient GmbH
Priority date: 2001-04-06
Filing date: 2001-04-06
Publication date: 2002-10-17

Abstract

Ein Verfahren zum Test von Meßsystemen, insbesondere von Sensoren, erfaßt eine bestimmte Eigenschaft von Objekten, insbesondere den Verschmutzungsgrad 10 von Banknoten 12 automatisch. Anhand eines ersten Meßergebnisses 16 werden die Banknoten 12 in zwei Klassen 14 sortiert. Daraufhin werden in einem zweiten Meß- und Sortiervorgang alle Banknoten 12 nochmals gemessen. Nun wird das erste Meßergebnis 16 mit dem zweiten Meßergebnis 16' verglichen und mittels einer statistischen Näherungsformel ausgewertet, um eine Aussage über die Güte des Meßsystems abzuleiten.

Description

Die Erfindung betrifft ein Verfahren (eine Verfahrensgruppe) zum Test von Meßsystemen, die mindestens eine Eigenschaft von einer Vielzahl von Objekten automatisch erfassen und die die Objekte aufgrund der erfaßten Eigenschaften in Klassen sortieren.

Bei Meßsystemen, die Eigenschaften von Objekten messen und gegebenenfalls die Objekte aufgrund der erfaßten Eigenschaften in Klassen sortieren, besteht grund sätzlich das Problem, daß diese Maschinen auf ihre einwandfreie Funktionsfähigkeit und Fehlerfreiheit hin überprüft werden müssen. Meistens erfassen diese Systeme die Eigenschaften automatisch, etwa mittels bestimmter Meßverfahren über Sensoren. Sensoren müssen abgeglichen werden, Sensoren können natürlich mit der Zeit verschmutzen oder sonstigen Umwelteinflüssen unterliegen, Sensoren können Alterungsprozessen unterliegen. In den aufgezählten Fäl len kann ein fehlerfreies Funktionieren nicht immer gewährleistet werden, so daß es zu Fehlmessungen und/oder -sortierungen kommt. Deshalb müssen solche Meßsysteme ständig getestet werden.

Ein Beispiel für ein System der eingangs genannten Art ist ein Meß- und Sortier system für Banknoten. Im Umlauf befindliche Banknoten sollen beispielsweise auf ihre Verschmutzung hin untersucht werden. Liegt die Verschmutzung unter einer vorbestimmten Schwelle, dann können sie weiterhin im Umlauf bleiben, ist die Ver schmutzung stärker, so müssen sie aussortiert werden. Der Verschmutzungsgrad wird hierbei über Sensoren gemessen. Die erfaßten Meßwerte dieser Sensoren unter liegen jedoch Meßungenauigkeiten, die es bei einer Überprüfung des Meß- und Sortiersystems zu berücksichtigen gilt.

Bisher erfolgte die Überprüfung eines Meß- und Sortiersystems dadurch, daß aus der Menge der Objekte eine geeignete Menge von Prüfobjekten ausgewählt werden mußte. Hierin lag die erste Fehlerquelle für ein Testverfahren nach dem Stand der Technik, denn durch geschickte Auswahl der Prüfobjekte konnte das Testergebnis manipuliert werden.

Nach der Selektion eines Sets von Prüfobjekten wird letzteres nun von einer Refe renzmaschine vermessen. Dieses Soll- bzw. Referenzprüfergebnis wird festgehalten. In einem weiteren Schritt wird das Prüfset wiederholt von der zu testenden Maschine gemessen. Diese Ergebnisse werden dann mit dem Referenzprüfergebnis verglichen. Hierbei wird untersucht, ob das Referenzprüfergebnis von der zu testenden Maschine reproduziert werden kann. Daraus wird eine Aussage über die Funktionsfähigkeit des Meßsystems abgeleitet.

Der Anteil der Objekte, deren Sortierergebnis bei den verschiedenen Sortier gängen nicht wechselte, wurde ins Verhältnis zu der Gesamtanzahl der Ob jekte gestellt und bewertet. Die Fehlerquelle für ein Testverfahren nach dem Stand der Technik lag in der Auswahl der Objekte. Werden z. B beim Test der Verschmutzungsmessung nur Objekte verwendet, deren Meßwerte weit ab von der Sortierschwelle lagen, war das Reproduzierbarkeitsergebnis bes ser, als wenn die Meßwerte der Objekte vornehmlich in der Umgebung der Sortierschwelle lagen.

Die Überprüfung des Meßsystem konnte auch dadurch durchgeführt, daß einzelne Meßobjekte viele Male von dem Sortiersystem vermessen wurden, um so eine statistische Verteilung der Meßwerte, die auf die Meßgenauigkeit des Systems schließen lassen, zu erhalten. Zum einen ist es wenig effizient mit Hochleistungssortiersystemen diesen Vorgang viele Male zu wiederho len, zum anderen können sich die Objekte mit jeder wiederholten Messung verändern (z. B. Banknoten verschmutzen). Deshalb sollten die Anzahl der Meßdurchläufe für die Meßgenauigkeitbestimmung so gering wie möglich sein. Negativ auf ein repräsentatives Ergebnis des Tests des Sortiersystems wirkt sich im o. g. Fall aus, daß nur ein oder wenige Objekte oder speziell hergestellte Meßobjekte verwendet werden, die die charakteristische Varian tenvielfalt aller zu messenden Objekte nicht widerspiegeln.

Bekannt ist weiterhin ein Sortierstufentest. Hier wird eine Menge von Objekten mit einem Referenzsystem vermessen und bei einer vorbestimmten Sortierschwelle in zwei Klassen FIT und UNFIT sortiert. Dabei wird die Anzahl der Objekte in den beiden Klassen gespeichert. Dieselbe Menge von Objekten wird dann von dem zu testenden System vermessen und bei gleicher Sortierschwelle in die Klassen FIT' und UNFIT' sortiert. Daraufhin wird die Verteilung der Objekte in den Klassen FIT'/UNFIT' mit der Verteilung im Referenzsystem FIT/UNFIT verglichen. Je nachdem, ob die Verteilungen korrespondieren, gilt das System als funktionsfähig. Dieser Test kann bei verschiedenen Sortierstufen wiederholt werden.

Treten beim Sortierstufentest Unterschiede zwischen Referenzsystem und dem zu untersuchenden System auf, so lassen sich die tatsächlichen Verschiebungen in der Skalierung nicht genau quantifizieren. Die Anpassung der Skalierung des Refe renzsystems und des zu untersuchenden Systems erfolgt dann empirisch.

Nachteilig bei diesen Vorgehensweisen ist, daß für einen Vergleich von Meßsy stemen möglichst die gesamte Skala des Meßsystems beachtet werden muß, wenn diese nicht linear ist, wie bei einem Meßsystem mit Sensoren, insbesondere zur Messung von Verschmutzungen von Objekten. Vergleicht man also nur einen bestimmten Abschnitt der Skala des Meßsystems, so kann es zu gravierenden Fehleinschätzungen kommen.

Zwei zu vergleichende Systeme (ein zu testendes System mit einem Referenzsystem) können folglich nur dann korrekt als gleichwertig angesehen werden, wenn die gemessenen Werte im gesamten Meßbereich übereinstimmen. Bisher konnten aufgrund der Beschaffenheit der Prüfvorlagen bzw. Prüfobjekte nicht der gesamte Meßbereich abgedeckt werden, sondern immer nur der Meßbereich, der für die jeweiligen Prüfvorlagen relevant war. Dies kann insbesondere dann zu einem Testfehler führen, wenn beispielsweise die Systeme nur für den Meßbereich übereinstimmen, der eine ausgewählte Sorte von Objekten (z. B. eine bestimmte Banknotensorte) betrifft. Für andere Meßwerte können die Systeme durchaus voneinander abweichen. Deshalb war die Auswahl geeigneter Prüfobjekte bei dem bisherigen Verfahren von grundlegender Bedeutung und daher auch eine Fehlerquelle.

Der Nachteil bei dem bisherigen Vorgehen liegt auch darin, daß das Verfahren nicht zu einwandfreien Ergebnissen führt, da eine statistische Streuung der Ergebnisse nicht berücksichtigt werden kann. Auch wenn einzelne Meßwerte der Eigenschaften fehlerhaft erfaßt worden sind und deshalb falsch sortiert wurde, ist es möglich, daß die Maschine trotz dessen zuverlässig arbeiten kann, da es sich um Ausreißer handelte. Diese Fälle sollten bei einer Prüfung berücksichtigt werden, so daß also gewisse Streubreiten von Meßwerten akzeptiert werden.

Aufgabe der vorliegenden Erfindung ist es deshalb, ein verbessertes Testverfahren für Meßsysteme zu schaffen, das eine größere Flexibilität bei der Prüfung, insbe sondere eine beliebige Auswahl von Prüfobjekten, d. h. die Auswahl von Prüfob jekten aus einer beliebigen randomisierten Menge von Objekten zuläßt, ohne an Aus sagekraft zu verlieren, das eine geringe Anzahl von Prüfdurchläufen benötigt und das auch eine Abgleichung mit Referenzmeßsystemen unterstützt.

Diese Aufgabe wird mit dem eingangs erwähnten Verfahren gelöst, das folgende Schritte umfaßt:

a) Erfassen mindestens einer Eigenschaft von einer Vielzahl von Objekten,
b) Sortieren der Objekte anhand der erfaßten Eigenschaften in Klassen zu einem Meßergebnis,
c) maximal zweifach wiederholte Anwendung der Verfahrensschritte a) und b) auf die Objekte in den Klassen des jeweils vorhergehenden, ersten oder zweiten Meßergebnisses zu einem zweiten oder dritten Meßergebnis, bzw. Herstellung von Referenz- bzw. Testobjekten
d) Test des Meßsystems durch Auswerten der Meßergebnisse bzw. nochmaliges Messen der Referenzobjekte mit anschließender Auswertung der Meßergebnisse hinsichtlich Skalierung und Meßgenauigkeit des zu testenden Meßsystems mittels einer statistischen Näherung über die Wahrscheinlichkeit von Wechslern.

Im folgenden soll die grundlegende Vorgehensweise der erfindungsgemäßen Über prüfung einer Meß- und Sortiermaschine vorgestellt werden:
Aus der Menge der Objekte werden Prüfobjekte ohne besondere Anforderungen ausgewählt. Vorteilhafterweise wird eine Selektion der Prüfobjekte nach dem Zufallsprinzip vorgenommen, um die Qualität des Testergebnisses zu erhöhen. Diese randomisierte Auswahl kann, falls erwünscht, für jede Sortierschwelle gesondert erfolgen. Da das erfindungsgemäße Testverfahren kein vorbestimmtes Set von Prüfobjekten (wie bei den bekannten Verfahren) voraussetzt, ist es jederzeit möglich, die Prüfobjekte zu erneuern. Abnutzungserscheinungen und daraus resultierende Fehler bei den Tests können somit vermieden werden.

Je nach Anwendungsfall wird dann eine Bedingung bestimmt, die ein binäres Ergeb nis erzeugt. Es wird also unterschieden in "Bedingung ist erfüllt" und "Bedingung ist nicht erfüllt". Die Bedingung kann aus weiteren Sub-Bedingungen zusammengesetzt sein. Sie bezieht sich auf bestimmte Eigenschaften der Objekte, die der Sortierung zugrunde gelegt werden sollen. Häufig sollen Objekte in Abhängigkeit von mehreren Eigenschaften klassifiziert werden. Beispielsweise bei einer Maschine zur automatischen Sortierung von Postsendungen, sollen die Postsendungen abhängig von der Eigenschaft "Postleitzahl" aber auch abhängig von der Eigenschaft "Empfänger lesbar?" und von der Eigenschaft "Mit ausreichend Porto versehen?" sortiert werden. Eine Bedingung für die Sortierung könnte von daher lauten:

- falls "Postleitzahl = beginnend mit xx" und falls
- "Empfänger lesbar" und falls
- "ausreichend Porto", dann
- Zuordnung zu Sortierklasse "xx", ansonsten
- Weiterleitung in Sortierklasse "nicht weiter leitbar".

Es kann natürlich auch nur eine Eigenschaft relevant sein, die in der Bedingung unterscheidend wirkt. Beispielsweise soll bei der Fertigung von einem Bauteil dessen Größe überwacht werden. Abhängig von der Größe des Bauteils (Eigenschaft) und von der Bestimmung eines angemessenen Toleranzbereiches wird dann anhand der Bedingung "Liegt die gemessene Größe des Bauteils innerhalb des Toleranzbe reiches?" in zwei Klassen klassifiziert.

Funktioniert nun das Erfassen der Eigenschaft(en) der Objekte nicht mehr zuver lässig, da beispielsweise der Sensor verschmutzt ist oder eine Signalleitung beschädigt ist, dann wird bei einer festgelegten Menge von Prüfobjekten bei mehrmalig durchgeführtem Meß- und Sortiervorgang nicht immer dasselbe Sortierergebnis erzielt werden. Jedoch auch bei einer korrekt arbeitenden Meß- und Sortiermaschine kann bei wiederholter Anwendung auf die gleiche Menge der Prüfobjekte unter gleichen Bedingungen und Randbedingungen nicht exakt dasselbe Ergebnis erzielt werden, da sich theoretisch das zu messende Objekt und die Maschine während eines Arbeitsvorganges verändert (z. B. durch Abnützung) und es zu Streuungen innerhalb des zulässigen Toleranzbereiches kommt.

Diesen Umstand gilt es bei dem Test von Meß- und Sortiersystemen zu berück sichtigen. Deshalb basiert das erfindungsgemäße Verfahren vorteilhafterweise auf statistischen Zusammenhängen über die gemessenen Werte.

Erfüllt ein Objekt die Anforderungen an bestimmte Eigenschaften, dann wird es der Klasse F (FIT, passend) zugeordnet. Erfüllt das Objekt die Anforderungen nicht, wird es der Sortierklasse U (UNFIT, nicht passend) zugeordnet.

Der Meß- und Sortiervorgang wird dann iterativ auf die Objekte in den einzelnen Klassen F und U angewendet.

Aufgrund von Meßungenauigkeiten ergibt sich, daß nicht grundsätzlich alle Objekte der Klasse F bei den wiederholten Durchläufen ebenfalls in die Klasse F kategorisiert werden, sondern auch in die Klasse U. Ebenso kann ein Objekt, das erstmals als zu U zugehörig sortiert worden ist, bei weiteren Durchläufen der Klasse F zugeordnet werden. Diese Objekte werden Wechsler genannt. Sie wechseln bei gleichen Meß- und Sortierbedingungen bei aufeinanderfolgenden Messungen die Klasse.

Nach dem ersten Durchlauf ergeben sich also die Klassen F und U.

Nach einer Iteration des Meß- und Sortiervorganges ergeben sich die vier Klassen:

1. FF (zweimal in Klasse F sortiert),
2. FU (erst in Klasse F, dann in Klasse U sortiert),
3. UF (erst in Klasse U, dann in Klasse F sortiert) und
4. UU (zweimal in Klasse U sortiert).

In einer der bevorzugten Ausführungsformen wird der Meß- und Sortiervorgang ein drittes Mal durchgeführt, so daß sich - entsprechend obiger Terminologie - die folgenden acht Klassen ergeben:

1. FFF (dreimal in Klasse F sortiert),
2. FFU (zweimal in Klasse F, einmal in Klasse U),
3. FUU (einmal in Klasse F, zweimal in Klasse U),
4. FUF (Sortierung in Klasse F, Klasse U, Klasse F),
5. UFU (Sortierung in Klasse U, Klasse F, Klasse U),
6. UFF (Sortierung in Klasse U, Klasse F, Klasse F),
7. UUF (Sortierung in Klasse U, Klasse U, Klasse F) und
8. UUU (dreimal Sortierung in Klasse U).

Erfindungsgemäß werden die Sortierergebnisse der jeweiligen Durchläufe (bestehend aus 2, 4 oder maximal 8 Klassen) statistisch ausgewertet. Legt man zugrunde, daß die Sortierung in Klassen voneinander unabhängige Ereignisse darstellen, so gilt bei einer korrekt arbeitenden Maschine (die ein im statistischen Sinne wiederholbares Ergebnis liefert) folgender Zusammenhang:

p(FFU) + p(UUF) = p(UF) = p(FU),

mit:
p(FFU): Wahrscheinlichkeit, daß das Objekt in Klasse FFU sortiert wird,
p(UUF): Wahrscheinlichkeit, daß das Objekt in Klasse UUF sortiert wird,
p(UF): Wahrscheinlichkeit, daß das Objekt in Klasse UF sortiert wird,
p(FU): Wahrscheinlichkeit, daß das Objekt in Klasse FU sortiert wird.

Weiterhin gilt:

M_FFU + M_UUF = M_UF = M_FU

mit:
M_FFU: statistische Anzahl der Objekte in der Sortierklasse FFU,
M_UUF: statistische Anzahl der Objekte in der Sortierklasse UUF,
M_UF: statistische Anzahl der Objekte in der Sortierklasse UF,
M_FU: statistische Anzahl der Objekte in der Sortierklasse FU.

Auch die statistische Dichteverteilung der Sortierklassen FU, UF und FFU + UUF ist gleich.

Legt man zugrunde, daß die Sortierung in Klassen voneinander unabhängige Ereignisse darstellen und daß die Eigenschaften der Meßobjekte annähernd normal verteilt sind (Gaußverteilung), so gilt bei einer korrekt arbeitenden Maschine (die ein im statistischen Sinne wiederholbares Ergebnis liefert) folgender Zusammenhang:

M_FFU + M_UUF = M_UF = M_FU = D(S₀).σ/√π

D(S₀): Dichteverteilungsfunktion der Objekte bei der Sortierschwelle S₀ über die zu erfassende Eigenschaft,
σ: Mittelwert aller Standardabweichungen der Objekte.

Die Dichteverteilungsfunktion der Meßwerte wird erhalten, indem man die Anzahl der Objekte, die in einem bestimmten Eigenschaftsintervall liegen, durch die Größe des Eigenschaftsintervalls teilt. Zum Beispiel ist die Dichte von Stangen, die eine Länge zwischen 10,000 m und 10,001 m besitzen 12 Stück/mm, wenn genau 12 Stangen eine Länge zwischen < 10,0000 m und ≧ 10,0010 m besitzen.

Vorteilhafterweise ist es möglich, daß für die anfängliche Sortierung der Objekte in die Klassen F und U ein erstes Meß- und Sortiersystem verwendet wird und für die späteren Sortierungen (z. B. in die Klassen FF, FU, UF und UU) ein anderes Meß- und Sortiersystem verwendet wird, das zwar die gleiche Meßgenauigkeit aber bei der Sortierschwelle (Bedingung) um den Faktor a zueinander verschobene Meßskalen hat.

Wenn man davon ausgeht, daß die erfaßten Meßwerte für die Eigenschaften bei wiederholtem Messen annähernd normal verteilt sind und daß die Dichteverteilung in der Umgebung von S₀ konstant ist, dann gilt folgende Formel als Näherung für die Bewertung der Skalenverschiebung:
falls M_UF < M_FU, dann: M_FU = D(S₀).σ/√π.EXP(-C1.(a/σ)^C2) und
falls M_UF < M_FU, dann: M_UF = D(S₀).σ/√π.EXP(-C1.(a/σ)^C2).

Daraus ergibt sich, daß für C1 = 1,04 und C2 = 1,1 der Fehler im Bereich von 0 ≦ |a/σ| ≦ 1 kleiner als 1% ist.

Für den Bereich von 0 ≦ |a/σ| ≦ 1,5 liegt er immer noch unter 6%.

Für C1 = 1 = C2 liegt der Fehler im Bereich von 0 ≦ |a/σ| ≦ 1 unter 4% und im Bereich von 0 ≦ |a/σ| ≦ 1,4 unter 15%.

Unter den oben genannten Bedingungen ist der Betrag aus der Differenz der Sortierklassen FU und UF gleich dem Betrag der Skalenverschiebung multipliziert mit der Objektdichte bei der Sortierschwelle.

Die Bewertung der Maschine (und damit das Ergebnis der Prüfung) kann erfindungsgemäß über eine statistische Auswertung der Sortierdurchläufe in den jeweiligen Klassen erreicht werden, indem die Anzahl der Objekte in den jeweiligen Klassen und deren Relation zueinander mit den Näherungsformeln verglichen wird. Damit wird vorteilhafterweise auch die notwendige Anzahl von Meß- und Sortierdurchläufen auf maximal 3 verringert, was insgesamt die Zeit für die gesamte Prüfung verkürzt.

Wenn eine Referenzobjektmenge hergestellt wurde, kann diese beliebig oft, solange sie keinem Verschleiß und damit der Veränderung der Referenzwerte unterliegen, für Prüfungen auf dem Referenzsystem oder in zu prüfenden Systemen eingesetzt werden. Als Referenzobjektmenge können die Klassen F, U, FU, UF, FF, UU, FFU, UUF, FFF, UUU, FUF, UFU, UFF, FUU und beliebige aus Ihnen gewonnene Kombinationen dienen. Vorteilhafterweise werden die Referenzobjektmengen der Klassen F und U (einzeln oder zusammen) oder die Klassen UF, FU, UUF + FFU einzeln oder in beliebigen Kombinationen verwendet.

Vorteilhafterweise impliziert das erfindungsgemäße Verfahren eine Fehlerdiagnose. Werden nämlich Differenzen in der Häufigkeit des Auftretens der Wechsler beobachtet, die außerhalb der statistischen Schwankungen liegen, so kann eindeutig auf Fehler während des Meßvorganges (z. B. eine Änderung des Sensors oder Änderung der Objekte) geschlossen werden.

Die bevorzugte Ausführungsform der Erfindung liegt in der Anwendung des Verfahrens zum Vergleich von Meßsensoren und Meßsystemen. Mittels der Differenzen von Wechslern lassen sich eine Verschiebung der Skalierung von Referenzsystem und dem zu testenden System genau bestimmen.

Auch durch den Vergleich der gemessen Mittelwerte von Wechslern auf dem Referenzsystem und dem zu testenden System lassen sich Verschiebungen der Skalierung genau bestimmen.

Weiterhin liegt die bevorzugte Anwendung des Verfahrens im Test von Meß- und Sortiersystemen für Banknoten, die letztere nach deren Veränderungsgrad, wie Verschmutzung, Flecken, Eselsohren usw., kategorisieren. Dazu wird eine Sortierschwelle als Bedingung bestimmt, die festlegt, ab welchem Verschmutzungsgrad eine Banknote noch als umlauffähig gilt und wann nicht mehr.

Doch ebenso liegt es im Rahmen der Erfindung, das Verfahren auf andere Bearbeitungsmaschinen anzuwenden, die Objekte anhand von automatisch erfaßten Eigenschaften bestimmten Klassen zuordnen, wie beispielsweise Geldzählmaschinen, Belegsortierer, Maschinen zur Prüfung von Ausschußteilen bei der Fertigung im Rahmen der Qualitätssicherung, sensorgesteuerte Transportmaschinen, Wahlzettelauswert- und -zählmaschinen, Sekundärrohstoff- und Müllsortieranlagen etc.

Weitere Vorteile und Merkmale der Erfindung zusammen mit einer Darstellung verschiedener Ausführungsformen ergeben sich aus der nachfolgenden, detaillierten Figurenbeschreibung, die im Zusammenhang mit der Zeichnung zu lesen ist, in der:

Fig. 1 eine schematische Darstellung des erfindungsgemäßen Verfahrens ist,

Fig. 2 eine schematische Darstellung von Klassen ist, die erfindungsgemäß bei sequentiellen Meß- und Sortiervorgängen erzeugt und ausgewertet werden und

Fig. 3 eine Graphik ist, die eine Verteilungsdichtefunktion von allen Objekten, eine Verteilungsdichtefunktion der Objekte in den jeweiligen Klassen nach einem ersten und zweiten Meß- und Sortiervorgang und eine Verteilungsdichte funktion von Wechslern zeigt.

Wie in Fig. 1 dargestellt, wird eine Menge von Prüfobjekten 12 (A, B, C, D . . .) erfindungsgemäß mit einem zu testendem Meßsystem vermessen und anhand einer vorbestimmten Sortierschwelle 20 in zwei Klassen 14 sortiert. Dies ist in der Zeichnung durch die Indizes (x, z) der jeweiligen Objekte 12 angedeutet. Die Objekte 12, die die Eigenschaft "x" haben, werden in die Klasse 14 _x sortiert, und jene, die die Eigenschaft "z" haben, in die Klasse 14 _z. Dieses erste Meßergebnis 16 wird gespeichert. Daraufhin werden alle Prüfobjekte 12 nochmals gemessen und sortiert. Dieses Ergebnis wird als zweites Meßergebnis 16' gespeichert. In einer ersten Ausführungsform der Erfindung werden nun die beiden Meßergebnisse 16, 16' ausgewertet und miteinander verglichen, insbesondere daraufhin, wie hoch die Anzahl derjenigen Objekte 12 ist, die zwischen dem ersten und zweiten Meßergebnis die Klasse 14 _x bzw. 14 _z wechseln.

Objekte 12, die nach dem ersten Meßergebnis 16 in einer Klasse eingeteilt sind und nach dem zweiten Meßergebnis 16' in der anderen werden in dieser Schrift als Wechsler 22 bezeichnet. Ebenso werden als Wechsler 22 diejenigen Objekte 12 bezeichnet, die die Klasse nach dem zweiten und dritten Meß- und Sortiervorgang wechseln. Sobald also Objekte 12 nicht nach jedem Meßvorgang in die gleiche Klasse 14 sortiert werden, werden sie als Wechsler 22 bezeichnet.

In dem in Fig. 1 dargestellten Beispiel wechselt für die x-Klasse 14 kein Objekt 12. Für die z-Klasse 14 gibt es einen Wechsler 22, nämlich das Objekt C, da im ersten Prüfungsergebnis der Klasse z zugeordnet und im zweiten Prüfungsergebnis der Klasse x zugeordnet wurde.

Die Meßergebnisse werden dann mit einer statistischen Näherungsformel verglichen. Daraus wird abgeleitet, ob und inwieweit das Meßsystem eine zufriedenstellende Funktionalität aufweist.

In einer zweiten Ausführungsform wird das zweite Meßergebnis 16' nochmals einem Meß- und Sortiervorgang unterzogen und zu einem dritten Meßergebnis 16" verarbeitet. Daraufhin werden alle drei Meßergebnisse 16, 16' und 16" einer Auswertung unterzogen und mit einer weiteren statistischen Näherungsformel nach gleichem Ansatz wie oben verglichen.

Vorteilhafterweise ist es durch den Einsatz der Näherungsformeln bei der Auswertung möglich, mit nur maximal drei Meß- und Sortierdurchläufen ein genaues Testergebnis zu erzielen. Dies verkürzt das Testverfahren gegenüber früheren Verfahren, da hier eine höhere Anzahl von Messungen und Vergleichen notwendig war.

Die bevorzugte Ausführungsform der Erfindung bezieht sich auf Banknoten als Prüfobjekte 12, die in dem Meßsystem hinsichtlich ihres Verschmutzungsgrades analysiert werden sollen. Die Eigenschaft 10, die hier automatisch erfaßt wird, ist also die Verschmutzung. Die Bedingung, anhand derer die Einteilung in zwei Klassen 14 vorgenommen wird, ist ein Vergleich mit einem vorbestimmten numerischen Wert, der Sortierschwelle 20.

Das Meßsystem erfaßt die zu messenden Eigenschaften 10 der Objekte 12 vorzugsweise automatisch. Es ist jedoch auch denkbar, daß es sich bei dem Meßsystem lediglich um ein automatisches Sortiersystem handelt, das die der Sortierung zugrunde liegenden Parameter aus anderen Software Programmen einliest.

Durch die erfindungsgemäße Auswertung der Meßergebnisse 16, 16' und 16" ist es möglich, noch detailliertere Aussagen über das zu testenden Meßsystem abzuleiten. So können nämlich unterschiedliche Testläufe für unterschiedliche Sortierschwellen 20 durchgeführt werden, die - je nach Art der Objekte 12 und nach Art der Bedingung bzw. der Sortierschwelle 20 - voneinander abweichen können. Weiterhin können unterschiedliche Testläufe für eine unterschiedliche Auswahl von Prüfobjekten 12 durchgeführt werden. Durch die Speicherung der jeweiligen Testergebnisse und die erfindungsgemäße Auswertung, kann eine Aussage über die Zulässigkeit oder die Güte der Prüfobjekte 12 abgeleitet werden.

Ein sich in der Praxis als wesentlich erweisender Vorteil liegt in der Speicherung der jeweiligen Meßergebnisse 16, 16' und 16". Damit kann erreicht werden, daß auch Testergebnisse von früheren Testreihen verglichen werden können. Es läßt sich also eine Aussage über die Funktionalität der Maschine über die Zeit ableiten. Dies ermöglicht weiterreichende Aussagen über die geschätzte Standzeit des Meßsystems.

Man kann davon ausgehen, daß die Meßwerte bei wiederholtem Meßvorgang für jedes Objekt 12 normalverteilt sind (Gaußverteilung). Wird nun erfindungsgemäß für den ersten Meßvorgang ein anderes Meßsystem verwendet als für den zweiten Meßvorgang, die eine voneinander abweichende Meßgenauigkeit aufweisen, so läßt sich die summierte, mittlere Meßgenauigkeit σ folgendermaßen bestimmen:

σ = √(σ₁ + σ₂)/2, wobei:

σ₁ die Meßgenauigkeit des ersten Meßsystems ist und
σ₂ die des zweiten Meßsystems ist.

In den in der Beschreibungseinleitung genannten Formeln kann σ durch √(σ₁ + σ₂)/2 ersetzt werden.

Nimmt man neben der Normalverteilung der Meßwerte weiterhin an, daß die Dichteverteilung in der Nähe der Sortierschwelle 20 konstant ist, so gilt, daß der Maximalwert der realen Dichteverteilung einer der folgenden Sortierklassen FU, UF, FFU + UUF ein Viertel der Dichteverteilung aller Objekte 12 bei der Sortierschwelle 20 ist. Werden dann die Objekte 12 in einer der Klassen 14 vermessen bzw. einer mathematischen Faltungsoperation unterzogen, so liegt der Maximalwert der Dichteverteilung exakt bei der Sortierschwelle 20 und beträgt:

2/3.1/4.D(S₀).

Bei den oben genannten Voraussetzungen (Gaußverteilung und konstante Dichteverteilung) kann die reale Verteilung der Objekte in den Klassen FU, UF, FFU + UUF durch folgende Näherungsformel abgeschätzt werden:

ρ_FU(x) = ρ_UF(x) = ρ_FFU(x) + ρ_FFU(x) = 0,25.EXP(-k1.(S₀ - x)²/σ²),

mit k1 = 0,619.

Die gefaltete Verteilung der Objekte 12 in den Sortierklassen FU, UF, FFU + UUF kann durch die folgende Näherungsformel abgeschätzt werden:

ρ'_FU(x) = ρ'_UF(x) = ρ'_FFU(x) + ρ_FFU(x) = 0,5/3.EXP(-k2.(S₀ - x)²/σ²),

mit k2 = 0,2755.

Gemäß dem Grundgedanken der Erfindung wird die Anzahl der Wechsler 22 zwischen den einzelnen Eigenschafts- bzw. Sortierklassen 14 für die Auswertung herangezogen, so daß bei der Bearbeitung der Klassen F und U folgende Näherung gilt:
(Σ|S₀ - x_UFi| + Σ|S₀ - x_FUj|)/(N_UF + N_FU)/σ = const₁, wobei die erste Summe von i = 1 bis i = N_UF und die zweite Summe von j = 1 bis j = N_FU läuft, mit const₁ = 0,886 und wobei:
S₀ die Sortierschwelle 20,
X_UFi der gemessene Wert der Eigenschaft 10 des i-ten Meßobjektes 12 der Klasse UF,
X_FUj der gemessene Wert der Eigenschaft 10 des i-ten Meßobjektes 12 der Klasse FU,
N_UF die Anzahl der Objekte 12, die der Sortierklasse UF zugeordnet sind,
N_FU die Anzahl der Objekte 12, die der Sortierklasse FU zugeordnet sind, und
σ die mittlere Meßgenauigkeit des Meßsystems bei der S₀-Sortierschwelle 20 ist.

Es kann auch folgende weitere Näherung herangezogen werden:
{(Σ(S₀ - x_UFi)² + Σ(S₀ - x_FUj)²}/(N_UF + N_FU)/σ² = const₂, wobei die erste Summe von i = 1 bis i = N_UF und die zweite Summe von j = 1 bis j = N_FU läuft, mit const₂ = 1,333.

Mit Hilfe der Näherungformeln läßt sich vorzugsweise die Meßgenauigkeit des Sensors bei der Sortierschwelle S₀ bestimmen.

Bei gleichen Voraussetzungen (siehe oben) gilt bei Anwendung eines oder mehrerer erneuter Meß- und Sortiervorgänge auf die Klassen FU, UF, UUF, FFU folgende Abschätzung:

{Σ|S₀ - x_UFi|}/N_UF/σ = {Σ|S₀ - x_UFj|}/N_FU/σ = (Σ|S₀ - x_UUFi| + Σ|S₀ - x_FFUj|)/(N_UUF + N_FFU)/σ = const₃,

wobei die erste Summe von i = 1 bis i = N_UF, die zweite Summe von j = 1 bis j = N_FU, die dritte Summe von l = 1 bis l = N_UUF und die vierte Summe von k = 1 bis k = N_FFU läuft, mit const₃ = 0,609 und wobei:
X_UUFi der gemessene Wert der Eigenschaft 10 des i-ten Objektes 12 der Sortierklasse UUF,
x_FFUj der gemessene Wert der Eigenschaft 10 des j-ten Objektes 12 der Sortierklasse FFU, und
N_UUF und N_FFU Anzahl der Objekte 12, die den Sortierklassen UUF bzw. FFU zugeordnet sind, ist.

Ebenso kann folgende weitere Abschätzung getroffen werden, mit const₄ = 1,034:

{Σ(S₀ - x_UFi)²}/N_UF/σ² = {Σ(S₀ - x_FUj)²}/N_FU/σ² = {Σ(S₀ - x_UUFi)² + Σ(S₀ - x_FFUj)²}/(N_UUF + N_FFU)/σ² = cosnt₄.

Vorzugsweise kann mit dieser Näherung ebenfalls die Meßgenauigkeit der Referenzsystems oder zu testender Systeme bestimmt werden.

Die für die Konstanten const₁ bis const₄ angegebenen Näherungswerte wurden bestimmt und experimentell mittels Banknoten überprüft.

Die der Sortierung zugrundeliegende Bedingung - hier die Sortierschwelle 20 - hat ein binäres Ergebnis, so daß die Klassifizierung von Objekten 12 anhand dieser Bedingung in zwei Klassen erfolgt. In anderen, komplexeren Anwendungsfällen kann die Bedingung aus weiteren Sub-Bedingungen aufgebaut sein.

Zieht man Fig. 3 heran, so wird der der statistischen Abschätzung zugrundeliegende Sachverhalt deutlich, nämlich, daß einige Objekte 12 nach einem wiederholten Meß- und Sortiervorgang die Klasse 14 (von FIT nach UNFIT oder vice versa) wechseln. Auf der Abszisse ist der Schmutzwert abgetragen mit der Sortierschwelle 20, die in diesem Beispiel bei 60 liegt. Auf der Ordinate ist die reale Dichteverteilungsfunktion aufgetragen, die zur Berechnung der Wechsleranzahl dient. Bei der Sortierschwelle σ = 60 werden in einem ersten Meß- und Sortiervorgang mit dem Meßsystem mit der Meßgenauigkeit von σ = 4 die Banknoten in die Klassen 14 FIT und UNFIT sortiert (in der Zeichnung dargestellt durch die Kurven, die von links unten nach rechts oben verlaufen). Daraufhin werden in einem zweiten Meß- und Sortiervorgang jeweils die Banknoten in den beiden Klassen wiederholt nach FIT und UNFIT sortiert (in der Zeichnung dargestellt durch die Kurven, die von links oben nach rechts unten verlaufen). Die Flächen zwischen den beiden Dichteverteilungskurven entspricht der Anzahl der Wechsler 22. Die Fläche zwischen den Kurven, die von links oben nach rechts unten verlaufen entspricht den Wechslern 22 von FIT nach UNFIT und die Fläche zwischen den Kurven, die von links unten nach rechts oben verlaufen, entspricht den Wechslern 22 von UNFIT nach FIT.

Durch Anwendung der Auswertung über die Anzahl der Wechsler 22 ist es möglich, nicht immer ein gleichbleibendes, bestimmtes Set von Prüfobjekten 12 für einen Test verwenden zu müssen. Damit werden vorteilhafterweise auch Fehlerquellen vermieden, die sich nach einem Verfahren nach dem Stand der Technik daraus ergeben, daß sich das prä-selektierte Set von Prüfobjekten 12 nach vielen Messungen durch Verschleiß verändert (z. B. durch Transportschäden etc.) und somit das Testergebnis verfälscht.

Außerdem kann das Meßsystem mit einer Menge von realen Banknoten vermessen werden, die auch beim tatsächlichen Gebrauch eingesetzt werden. Dies verbessert die Qualität des Tests, als wenn nur eine Menge von theoretischen Testbanknoten vermessen werden, die aufgrund ihrer Beschaffenheit einen anderen Verschmutzungsgradienten aufweisen.

Fig. 2 zeigt die einzelnen Sortierklassen 14, die nach einem Testvorgang entstehen. Die Menge von Prüfobjekten 12, die noch nicht vermessen worden sind, ist ganz links dargestellt. In der zweiten Spalte befindet sich das erste Prüfergebnis 16 nach dem ersten Meß- und Sortiervorgang mit den Klassen F und U. Die dritte: Spalte stellt die vier Sortierklassen 14 nach einem zweiten Testdurchlauf dar und die rechte Spalte umfaßt acht Sortierklassen 14, die entstehen, wenn man das Testverfahren ein drittes Mal anwendet, um ein drittes Meß- bzw. Prüfergebnis zu erhalten.

Claims

1. Verfahren zum Test von Meßsystemen mit folgenden Schritten:

a) Erfassen mindestens einer Eigenschaft (10) von einer Vielzahl von Objekten (12),
b) Sortieren der Objekte (12) anhand der erfaßten Eigenschaften (10) in Klassen (14) zu einem Meßergebnis (16),
c) n-fache Iteration der Verfahrensschritte a) und b) auf die Objekte (12) in den Klassen (14) des jeweils vorhergehenden, n-ten Meßergebnisses zu einem (n + 1)-ten Meßergebnis, mit n = 1 oder 2,
d) Test des Meßsystems durch Auswerten der Meßergebnisse (16) hinsichtlich Skalierung und Meßgenauigkeit des zu testenden Meßsystems mittels statistischen Näherung über die Wahrscheinlichkeit von Wechslern und/oder deren Eigenschaften (22).

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Objekte (12) Banknoten sind.

3. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Eigenschaft (10), insbesondere ein Veränderungsgrad des Objektes (12), über Sensoren gemessen wird.

4. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß das Meßsystem weiterhin ein Sortiersystem umfaßt, das die Objekte (12) hinsichtlich ihrer Eigenschaften (10) automatisch in Klassen (14) sortiert.

5. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die vermessenen Objekte (12) in zwei Massen (14) sortiert werden und daß das n-te Meßergebnis aus 2ⁿ⁺¹ Klassen (14) besteht.

6. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß das Verfahren zusätzlich zu Beginn folgenden Schritt enthält:
Bestimmen einer randomisierten Menge von Prüfobjekten aus der Menge der Objekte (12).

7. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß der erste Meß- und Sortiervorgang und Iterationen des Meß- und Sortiervorganges auf unterschiedlichen Meßsystemen erfolgen, wobei einers der Meßsystem ein Referenzmeßsystem sein kann, um die Meßsysteme mit dem Referenzmeßsystem abzugleichen.

8. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Iteration einmal erfolgt, so daß vier Sortierklassen (14) als Meßergebnis (16, 16') existieren und daß sich die statistische Näherung mit folgender Formel beschreiben läßt:
(Σ|S₀ - x_UFi|)/N_UF/σ = (Σ|S₀ - x_FUj|)/N_FU/σ = const₁;
{(Σ|S₀ - x_UFi|)² + Σ(S₀ - x_FUj)²}/(N_UF + N_FU)/σ² = const₂.

9. Verfahren nach einem der vorstehenden Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Iteration mindestens 2-fach erfolgt, so daß mindestens acht Sortierklassen (14) als Meßergebnis (16, 16', 16") existieren und daß sich die statistische Näherung mit folgender Formel beschreiben läßt:
(Σ|S₀ - x_UFi|)/N_UF/σ = (Σ|S₀ - x_FUj|)/N_FU/σ = const₃;
(Σ|S₀ - x_UUFi| + Σ|S₀ - x_FFUj|)/(N_UUF + N_FFU)/σ = const₃.

10. Verfahren nach einem der vorstehenden Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Iteration mindestens 2-fach erfolgt, so daß mindestens acht Sortierklassen (14) als Meßergebnis (16, 16', 16") existieren und daß sich die statistische Näherung mit folgender Formel beschreiben läßt:
{Σ(S₀ - x_UFi)²}/N_UF/σ² = {Σ(S₀ - x_FUj)²}/N_FU/σ² = const₄;
{Σ(S₀ - x_UUFi)² + Σ(S₀ - x_FFUj)²}/(N_UUF + N_FFU)/σ² = const₄.

11. Verfahren nach einem der vorstehenden Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Iteration mindestens 3-fach erfolgt, so daß mindestens sechzehn Sortierklassen (14) als Meßergebnis existieren und daß sich die statistische Näherung mit folgender Formel beschreiben läßt:
(Σ|S₀ - x_UFi|)/N_UF/σ = (Σ|S₀ - x_FUj|)/N_FU/σ = const₃;
(Σ|S₀ - x_UUFi| + Σ|S₀ - x_FFUj|)/(N_UUF + N_FFU)/σ = const₃.

12. Verfahren nach einem der vorstehenden Ansprüche 1 bis 7, dadurch gekennzeichnet, daß die Iteration mindestens 3-fach erfolgt, so daß mindestens sechzehn Sortierklassen (14) als Meßergebnis existieren und daß sich die statistische Näherung mit folgender Formel beschreiben läßt:
{Σ(S₀ - x_UFi)²}/N_UF/σ² = {Σ(S₀ - x_FUj)²}/N_FU/σ² = const₄;
{Σ(S₀ - x_UUFi)² + Σ(S₀ - x_FFUj)²}/(N_UUF + N_FFU)/σ² = const₄.

13. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß das Meßergebnis (16, 16', 16") gespeichert wird.

14. Verfahren nach einem der vorstehenden Ansprüche, dadurch gekennzeichnet, daß die Wechsler auf dem Referenz- und Meßsystem durch Meß- und Sortiervorgänge festgestellt und die Mittelwerte der Eigenschaften der Wechsler ermittelt werden, wobei eine Verschiebung der Skalierung von Referenz- und Meßsystem durch Vergleich der Mittelwerte bestimmbar ist.