DE2541204A1 - Verfahren zur fehlererkennung und einrichtung zur durchfuehrung der verfahren - Google Patents
Verfahren zur fehlererkennung und einrichtung zur durchfuehrung der verfahrenInfo
- Publication number
- DE2541204A1 DE2541204A1 DE19752541204 DE2541204A DE2541204A1 DE 2541204 A1 DE2541204 A1 DE 2541204A1 DE 19752541204 DE19752541204 DE 19752541204 DE 2541204 A DE2541204 A DE 2541204A DE 2541204 A1 DE2541204 A1 DE 2541204A1
- Authority
- DE
- Germany
- Prior art keywords
- words
- word
- memory
- input
- read
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/26—Techniques for post-processing, e.g. correcting the recognition result
- G06V30/262—Techniques for post-processing, e.g. correcting the recognition result using context analysis, e.g. lexical, syntactic or semantic context
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Character Discrimination (AREA)
- Document Processing Apparatus (AREA)
- Machine Translation (AREA)
Description
Aktenzeichen der Anmelder in:
WA 974 002
Verfahren zur Fehlererkennung und Einrichtung zur Durchführung der Verfahren
Die Erfindung betrifft Verfahren und eine Einrichtung zur Durchführung der Verfahren
zur Fehlerkorrektur in Datenströmen, die von optischen Zeichenerkennungsvorrichtungen,
akustischen Sprachanalysatoren oder manuell betätigten Tasteneingabegeräten
ausgehen.
Bei der optischen und akustischen Zeichenerkennung kommt es trotz aller technischen
Vollkommenheit der Zeichenleser bzw. -umsetzer zu Fehlleistungen bei
der Zeichenerkennung, insbesondere wenn die Qualität der angebotenen Vorlage nicht einwandfrei ist, was z. B. bei schlechter Druckqualität oder geringer
Güte eines elektroakustischen Übertragungsweges der Fall ist. Auch bei der manuellen Eingabe von Zeichen über Tastaturen können Fehler aurtreten,
die jedoch weniger technisch als menschlich bedingt sind. Das Verfahren zur Fehlerkorrektur gemäß der vorliegenden Erfindung ist auf gewisse
609816/0674
Typen von Fehlern anwendbar, die in Datenströmen von Zeichenlesern,
akustischen SprachanaIysatoren oder Tastaturen auftreten, unabhängig davon,
welcher Ursache ihre Existenz zuzuschreiben ist. Im folgenden wird daher unter dem Begriff "Zeichen" sowohl ein graphisch angebotenes alphabetisches
Zeichen, als auch ein akustisches Phonem, und auch ein in eine Tastatur eingetastetes alphabetisches Zeichen verstanden. Wo die folgende
Beschreibung sich auf optische Zeichenleser bezieht, ist es dem Fachmann ohne weiteres möglich, die entsprechenden Verhältnisse bei Sprachanalyse toren
oder Tastaturen zu substituieren.
Der Kürze halber wird in der Beschreibung gelegentlich statt fehlerhaft lesen,
der Begriff "Verlesen" und statt fehlerhaft erkennen der Begriff "Verkennen" gebraucht.
Geräte zur Fehlerkorrektur bei der optischen Zeichenerkennung sind bereits
bekannt. Bei diesen Geräten ist allerdings die Auswahl des korrekten Wortes für ein verstümmeltes Eingabewort, das von einem optischen Zeichenleser
verlesen worden ist, auf die Korrektur von Substitutionsfehlern beschränkt. Zur Verbesserung der Lesequalität ist die Benutzung von bedingten Wahr-
i scheinlichkeiten vorgeschlagen worden, um einfache Substitution eines
Zeichens für ein anderes oder für eine Zeichenzurückweisung zu korrigie-
WA 9-74-002 - 2 -
609818/0674
ren,· wobei die totale bedingte Wahrscheinlichkeit berechnet wrid, mit welcher
das Eingabewort verlesen wurde, unter der Voraussetzung, dass ein vorbestimmtes Diktionärwort tatsächlich durch den Zeichenleser abgetastet
worden war. Diese bekannten Geräte befassen sich jedoch nur mit der einfachen Substitution von verwechselten Paaren, die die gleiche Stellung im
abgetasteten Wort wie im Diktionärwort einnehmen, wobei zusätzlich die Länge des abgetasteten Wortes mit der des Diktionärwortes übereinstimmen
muss.
Ein bemerkenswerter Fortschritt gegenüber diesen Geräten ist die in der
Deutschen Offenlegungsschrift 2.460.757 offenbarte Lehre,die es ermöglicht,
Segmentationsfe hler und Substitutionsfehler in den vom Zeichenleser gelesenen Buchstaben zu korrigieren. Segmentationsfehler entstehen durch fehlerhafte
Bestimmung des Anfangs und Endes eines Zeichens. Sie kommen in den von Zeichenlesem ausgegebenen Datenströmen relativ häufig vor und stellen
ein wesentliches Hindernis für die Genauigkeit dieser Einrichtungen bei der Textverarbeitung dar. Gemäss der genannten DOS 2.460.757 enthält eine
Korrekturvorrichtung einen gespeicherten Diktionär mit Wörtern, von denen
angenommen wird, dass sie vom Zeichenleser gelesen werden. Für die Verarbeitung eines allgemeinen Textes in einer beliebigen Sprache wäre es erforderlich
einen vollständigen Diktionär dieser Sprache zu speichern, was
WA 9-74-002 - 3 -
609816/0674
eine ausserordentlich grosse Speicherkapazität erfordern würde sowie sehr
kurze Zugriffszeit, um jedes Wort im Diktionär mit dem verstümmelten Eingabewort
vom Zeichenleser zu vergleichen. Eine Verbesserung ist dadurch möglich, dass spezielle Speicher vorgesehen werden, deren Wortinhalt auf
die spezielle Art des Textes zugeschnitten ist.
Ein Vorschlag zur Verwendung eines Assoziativspeichers zum Auffinden der
korrekten Form eines verstümmelten Wortes ist von J. J. Giangardella vorgeschlagen
worden in "Spelling Correction by Vector Representation Using a Digital Computer", IEEE Transactions on Engineering Writing and Speech,
Vol. EWS-IO, Nr. 2, December 1967, Seite 57. Dieser Vorschlag betrifft
die Vektordarstellung von alphabetischen Wörtern durch Zuordnung der Ziffern 1 bis 26 zu den Buchstaben A bis Z und die Berechnung der Vektorgrösse und
des Winkels für den Zugriff zur korrekten Form des Eingabewortes im Speicher eines Universalrechners. Mit diesem Vorschlag sind grosse Probleme
verknüpft, die mit der Adressierung des Assoziativspeichers zusammenhängen und zu Klassen von Wörtern führen, die entweder zu viele Wörter umfassen
oder die das gesuchte Eingabewort nicht umfassen.
WA 9-74-002 - 4 -
8 0 9 816/0674
Die vorliegende Erfindung soll daher die Aufgabe lösen, die genannten Nachteile
bekannter Verfahren und Einrichtungen zu vermeiden.
Gelöst wird diese Aufgabe durch die in den Ansprüchen 1 und 6 genannten Merkmale.
Vorteilhafte Weiterbildungen und Ausgestaltungen des Erfindungsgegenstandes
sind den Unteransprüchen zu entnehmen.
Mit der vorliegenden Erfindung wird also der Vorteil erzielt, daß auf vorteilhafte
Weise Bezugswertgruppen für die Nachverarbeitung der Erkennungssignalströme von OCR verdichtet und abgerufen werden können.
Einzelheiten eines Ausführungsbeispiels der Erfindung werden nachfolgend
beschrieben, wobei auf die Zeichnungen Bezug genommen wird.
Es zeigen:
Fig.! ein Schema des Vektor-Entnahmevorgangs
Fign. 2, 3 Matrizen für die Zuordnung numerischer Werte zu den Zeichen
des Alphabets
Fig. 4 schematisch die Zuordnung von Wörtern zu verschiedenen Wortgruppen
im Festwertspeicher
WA 974 002 - 5 -
609816/0674
Fig. 5 ein Blockschaltbild eines Festwertspeichers mit Adressier
vorrichtung
Fig . 6 ein Blockschaltbild des Steuerwerks des Festwertspeichers
Fig. 7 ein Blockschaltbild einer Zeichenerkennungs-und Korrek
turvorrichtung
Fig. 8 die im Text erwähnte Tabelle 2
Das zur Fehlerkorrektur bei der optischen Zeichenerkennung angewandte Vorgehen
beruht auf dem Nachschlagen in einem Fehlerkorrektur-Diktionär und aus allen darin verzeichneten Wörtern dasjenige herauszufinden, das vom
optischen Zeichenleser gelesen, aber in die zur Zeit in Verarbeitung stehende
falsche Form verkannt wurde. Ein grundlegender Teil dieser Operation besteht klarerweise in der Fähigkeit, zunächst festzustellen, welcher Teil des
Fehlerkorrektur-Diktionärs heranzuziehen ist. Das ist schematisch in Fig. 1 dargestellt. Je genauer es möglich ist, den Teil des Diktionärs zu bestimmen,
der die korrekte Form des Eingabewortes enthält, umso grosser kann der Diktionär
sein, ohne den Wirkungsgrad und die Geschwindigkeit der Fehlerkorrektur-Operation
bei der optischen Zeichenerkennung zu beeinträchtigen.
WA 9-74-002 - $ -
818/0874.
Wenn in einem Zeichenerkennungs strom ein verstümmeltes alphabetisches
Wort festgestellt wird und für seine korrekte Form eine Gruppe von Kandidaten-Wörtern
ausgewählt werden soll, machen es die Eigenschaften des optischen Zeichenlesers, dem die Verkennung entstammt, unmöglich, einen
zuverlässigen Zugriff zum Diktionär zu formulieren,bei dem die normale Diktionär-Indexierung
nach Wortattributen gemäss den alphabetischen Eigenschaften
der Wörter und/oder der Wortlänge erfolgt. Die Verkennungsneigung des Zeichenlesers kann eines oder beide der Wortattribute in verschiedener
Weise beeinflussen. Trotzdem ist in den verkannten Daten noch genug potentielle Information für das Eingehen in einen Diktionär vorhanden. Um ein
verstümmeltes Wort als Schlüssel zum Diktionär zu benutzen, muss der Zeichenstrom
in einer neuen Weise analysiert werden. Für diese Analysen kommen die Speicher-Organisationskonzepte nach der Vektor-Entnahme und nach
den Wortgruppen in Frage.
"Die Diktionär-Zugriff methode gemäss der Vektor-Entnahme kann am besten
als eine spezialisierteAnwendungsform der statistischen Vertrauensintervall-Theorie
verstanden v/erden. Dabei umfasst ein Fehlerintervall im allgemeinen einen Bereich von Werten, innerhalb dessen der wahre Wert der geschätzten
Grosse mit einer vorgegebenen Fehlertoleranz liegen wird.
WA 9-74-002 -1 -
609818/0674
Bei der Fehlerintervall-Analyse kann die Vektor-Entnahmemethode als eine .
spezielle Anwendung betrachtet werden, bei welcher das verstümmelte Wort benutzt wird:
a) den Ort im Diktionär abzuschätzen, an welchem das durch den optischen Zeichenleser verkannte Wort steht,
b) der geschätzten Zugriffs stelle im Diktionär Bedeutung verleihen,
indem um sie herum ein Bereich von Stellen abgesteckt wird, innerhalb dessen die gesuchte Wortinformation mit einer vorgegebenen
Sicherheit liegt.
Die Beschreibung der Mechanismen, die bei der Verwirklichung der erwähnten
Vektor-Entnahmemethode eine Rolle spielen, ist logisch in zwei Teile gegliedert,
welche betreffen:
1. ein erstes Zugriffsmittel, das auf dem Zeicheninhalt basiert, und das
verlangt
a) die Abschätzung einer Diktionär-Zugriffstelle innerhalb des Speichers
b) die Bestimmung der Grenzen der Entnahmebreite
2. ein zweites Zugriffsmittel, das die Gruppierung der Diktionärwörter
innerhalb des Speichers gemäss ähnlichen Längencharakteristiken verlangt.
WA 9-74-002 -g5 -
609816/0674
Die Zugriffstelle im Diktionär stellt die erste Abschätzung der Stelle dar,
an welcher die korrekte Form des vom optischen Zeichenleser gelesenen Eingabewortes im Diktionär-Speicher steht. Die Massnahme für diesen anfänglichen
Abschätzungsprozess ist eine spezielle Such-Transformation, der
das verkannte alphabetische Eingabewort unterworfen wird. Diese Such-Transformation
beruht auf einem numerischen Zuordnungsschema, in dem jedem
Buchstaben des Alphabets ein numerischer Wert zugeordnet wird, der seine absolute und relative Zuverlässigkeit beschreibt, bei der optischen Zeichenlesung
richtig erkannt zu werden. Einzelheiten dieser Zuordnung werden weiter unten erläutert. Es genügt hier festzustellen, dass die zugeordnete
Zahl mit der Zuverlässigkeit des alphabetischen Zeichens verknüpft ist.
In seiner einfachsten Form besagt dies , dass je zuverlässiger die Erkennung eines alphabetischen Zeichens ist, umso mehr Gewicht wird ihr bei der
Such-Rechnung beigelegt.
Unter diesem alphanumerischen Zuordnungsschema ergibt sich die Zugriffsstelle als eine Summe ganzer Zahlen:
y = Νξ % W
worin L der dem Buchstaben der N-ten Position des verkannten Wortes zugeordnete
numerische Wert ist, und M die Anzahl der Buchstabenstellen in dem verkannten Wort.
WA 9-74-002 -M-
609816/0674
Der Schlüssel zu dieser Technik ist die Ableitung des geeigneten alphanumerischen
Zuordnungsschemas. Vielfache und scheinbar einander widersprechende
Einschränkungen müssen bei diesem Zuordnungs sehe ma berücksichtigt
werden. Im wesentlichen muss das alphanumerische Zuordnungsschema, das zur Berechnung der Zugriffs stelle benutzt wird,
a) den Effekt der sich aus den Fehlleistungen des Zeichenlesers ergebenden
Zeichensubstitutionen auf die Zugriffs stelle möglichst klein
halten,
b) im Diktionär vorkommende Wörter möglichst gleichmässig verteilt
im Speicher aufführen.
Die erste Einschränkung betrifft die Bedingung, dass die Gleichung (1) so
unempfindlich wie möglich gegen Zeichensubstitution und verkannte Segmentation, das ist die Aufteilung in einzelne Abschnitte, ist. Die zweite Einschränkung
sucht die Erarbeitung einer trivialen Lösung zu verhindern, die sich auf Grund der ersten Einschränkung ergeben könnte. Eine derartige triviale
Lösung würde im Zusammenschrumpfen des Diktionärs bestehen, so dass alle Eintragungen nur eine einzige Zugriffs stelle, oder ein sehr schmales
Band von Zugriffs stellen, innerhalb des Speichers einnehmen würden. Wäre das der Fall, würde nahezu der gesamte Diktionär bei jeder Entnahmeoperation
zur Ausgabe gelangen. Bei einer Realzeit-Verarbeitung wäre dies völlig unan-
WA 9-74-002 - %Q -
BÖ9816/0674
wendbar und würde die Vektor-Entnahmemethode völlig in Frage stellen.
Ein optimales alphanumerisches Zuordnungsschema für die Vektor-Entnahmemethode
kann mathematisch mit Hilfe der linearen Programmierung abgeleitet werden. Diese Entwicklung des Zuordnungs Schemas ergibt sich, indem man
die Neigung des optischen Zeichenlesers zu Zeichensubstitutionen als lineare Beziehungen ausdrückt. Dabei wird für jedes von 0 verschiedene Ereignis in
der Uebertragunsfunktion des Zeichenlesers eine Normdistanz festgesetzt, die die Form hat
oc
(2)
worin X„ , X« die numerischen Kennzeichen der alphabetischen Zeichen sind
die im allgemeinen Fall mit "ex. ' und "/3 " bezeichnet sind.
Eine typische Uebertragungsfunktion eines Zeichenlesers liefert einige hundert
separate Ausdrücke in der Form der Gleichung (2). Mit der üblichen linearen Optimisierung ist es jedoch nicht möglich, eine Normdistanz (d.h. ein absolutes
Grössenverhältnis) bei den gegebenen Einschränkungen als Basisvariable
direkt vorzusehen.
Um der Optimisierung der Programmierung des alphanumerischen Zuordnungsschemas zu ermöglichen, eine Analogie zu den vom Zeichenleser verkannten
WA 9-74-009 . -U-
609816/0674-
Eigenschaften zu enthalten, wurde lineare Programmierung mit gemischten
ganzen Zahlen vorgesehen. Jedes Verhältnis gemäss Gleichung (2) wird
ausgedrückt als ein Satz von Einschränkungen von der Form:
- X/2» + 2 Κ1οίΔ - Ζ<χ/3 £ K
(3)
worin I04 β einen Satz von ganzzahligen Variablen darstellen, die auf die
Werte 1 oder 0 eingeschränkt sind, Zp0, ^ ist die Variable, über welche die
Optimierung der objektiven Funktion der Form SP1^ β T^ocß = min durchgeführt
wird. R^/3 ist das relative Gewicht, das der betreffenden Einschränkung
zugeordnet ist. Bei der hier beschriebenen Analyse wurde Po17-, gleichgesetzt
mit der kumulativen Erscheinungsfrequenz der entsprechenden ex, A -Zeichen.
K ist die Entnahmeirrtum-Toleranz in Grössenordnungseinheiten.
Bis hierher haben die Optimierungsgleichungen lediglich Einschränkungen
gemäss dem oben mit "a" bezeichneten Ziel in Betracht gezogen.
Das oben mit "b" bezeichnete Ziel, nämlich die Vermeidung von regellosen
Häufungen von Eintragungen im Diktionär innerhalb eines Bereiches von Grössenwerten, wird dadurch erreicht, dass zu den Gleichungen, welche
die Fehlleistungen des Zeichenlesers beschreiben (Gleichung 3), eine Reihe
WA 9-74-002 - t^-
$09816/0674
von Einschränkungen hinzugefügt wird, die eine in etwa gleichförmige Verteilung
von Eintragungen über alle Abschnitte des Diktionärs aufrechterhalten. Diese letzteren Einschränkungen werden dadurch aufgestellt, dass
regelrechte Eintragungen in die Wörterliste des Diktionärs wahllos herausgegriffen
werden und festgelegt wird, dass zwischen ihnen in der endgültigen Vektorstruktur des Diktionärs eine vorbestimmte Normdistanz eingehalten
werden muss. Beispielsweise können die Eintragungen CORNWALL und SHERWOOD dazu benutzt werden, eine Infrastruktur-Einschränkung für den
Vektor-Diktionär zu erstellen, welche die Form hat: (xc+x0+xR+xN+xw+xA+xL+xL) - (xs+xh+xe+xr+Xvj+^o+xo+xd) 1di
XC+XN+XA+ 2XL-XS-XH-XE-XO-XD1D χ <4 >
Der Wert D1 repräsentiert die Normdistanz zwischen den Eintragungen
SHERWOOD und CORNWALL in einem Diktionär, bei dem ein anfängliches Zuordnung s s ehe ma benutzt worden ist, welches eine gute Verteilung innerhalb
der Wörterlisten des Diktionärs liefert, das jedoch nicht notwendigerweise allen Einschränkungen genügt, die durch Gleichung (3) vorgeschrieben
sind. Die bei der Programmierung zu beachtenden Einschränkungen werden vervollständigt durch Hinzunahme der zusätzlichen Infrastruktur-Einschrän kungen,die
mit dem einfachen linearen Format gemäss dem SHERWOOD/CORN-VALL-Beispiel
übereinstimmen, das. in der Gleichung (4) beschrieben ist.
WA 9-74-002 -B' -
609816/0674
Das ursprüngliche Zuordnungsschema, das zur Definition der Werte D der
Gleichung (4) benutzt wurde, wurde durch Behandlung der Gleichung (1) als Vektorgrössenberechnung erhalten, nämlich:
y= Zln 2
N=I N
2
wobei die Zahlen 1 bis 26 (L = 1 . . . 676) den Buchstaben des Alphabets zugeordnet ind.
wobei die Zahlen 1 bis 26 (L = 1 . . . 676) den Buchstaben des Alphabets zugeordnet ind.
Die Figuren 2 und 3 zeigen, wie die numerische Zuordnung in Uebereinstimmung
mit den Einschränkungen erfolgt, die durch die Gleichung (3) verlangt werden. Bei einer numerischen Spanne von 1 bis 26 nehmen die Quadrate
dieser Werte einen Bereich von 1 bis 676 ein. Fig. 2 zeigt eine Matrix für diese Werte,ohne die Buchstabenzuordnung anzugeben. In vertikaler Richtung
repräsentiert die Matrix die Eingabecharakteristiken, die vom abgetasteten Dokument gewonnen wurden. Die Horizontale der Matrix repräsentiert die
Entscheidung, die bei der optischen Zeichenlesung getroffen worden ist. Alle korrekten Erkennungen liegen auf der Diagonalen der Matrix. Alle Substitutionen
oder Zurückweisungen liegen abseits der Diagonalen. Wenn beispielsweise H und M den Werten 10 bzw. 9 entsprechen, und H als M verlesen
wird, ergibt sich eine Grössendifferenz von 100 minus 81 gleich 19.
Das stellt noch annehmbare Auswahl dar, da H- und M-Substitution häufig
ist.
WA 9-74-002 -14-
609816/0674.
Mit der durch Verlesen bedingten Störung von plus oder minus 250 Einheiten
(das ist der Normalwert des Faktors K auf der rechten Seite des Gleichungssystems, das sich aus der Gleichung (3) ergibt J ist es möglich, eine relativ
einfache doch sinnvolle anfängliche Zuordnung von alphabetischen Zeichen zu den auf den Achsen der Matrix angegebenen Werten durchzuführen,
so dass eine grosse Zahl von üblichen Erkennungsfehlern innerhalb eines Fehlerintervalls von plus 250 bis minus 250 Einheiten liegt. Diese Grenzen
sind in der Fig. 2 angegeben. Die anfängliche numerische Zuordnung ist in Fig. 3 gezeigt, wo die schraffierten Teile diejenigen Verlesungen enthalten,
die mit dem anfänglichen Schema nicht kompensiert werden können. Die innerhalb der Matrix angegebenen Zahlen entsprechen der relativen Häufigkeit
der entsprechenden Fehlleistungen. Versuche mit diesem Schema haben gezeigt, dass, obgleich nicht alle Einschränkungen der Gleichung (2) erfüllt
waren, dieses Schema doch genügt hat, eine Wörterliste in einen Diktionär mit geeigneter Verteilung zu transformieren, bei dem sich keine regellosen
Häufungen von Eintragungen ergaben. Aus diesem Grund wurde dieses Schema benutzt, die Norm-Distanz zwischen wahllos herausgegriffenen Eintragungen
zu bestimmen, um die durch die Gleichung (4) definierten Infrastruktur-Einschränkungen
zu formulieren.
Die Lösung der oben genannten Gleichungen und die Optimierung gemäss
.WA 9-74-002 .
609816/0874
25A1204
linearer Programmierung unter Beachtung der gegebenen Einschränkungen
hat zu dem folgenden, in Tabelle 1 dargestellten Zuordnungsschema geführt.
A=200 B=36 C=256 D=196 E=144
F=I 6 | G=289 | H=144 | 1=64 | J=225 |
K=441 | 1=25 | M=I 7 5 | N=I 8 5 | O=22 5 |
P=361 Q=289 R=225 S=324 T=121
U=169 V=IOO W=49 X=529 Y=9
Z=484 · *=121
Wenn das verlesene Wort unter Benutzung der alphanumerischen Zuordnung
gemäss Tabelle 1 in einen Grössenwert transformiert worden ist, kann man
annehmen dass sowohl die verstümmelte wie die korrekte Form des betreffenden Wortes ziemlich ähnliche Grössenwerte annehmen. Wenn die korrekte
Form eines jeden Wortes bezüglich seiner Grosse in einem Fehlerkorrektur Diktionär
gespeichert ist, dann liegt die durch die Gleichung (1) gelieferte Zugriffstelle in der Nachbarschaft der korrekten Worteintragung. Um den
Entscheidungsprozess erfolgreich durchführen zu können, ist es jedoch erforderlich,
die verlesene Form des Wortes in einem probabilistisehen Format
mit der korrekten Form des Wortes zu vergleichen. Daraus ergibt sich, dass
WA 9-74-002 - IC-
609816/0674
25A1204
A γ-
die Zugriffs stelle allein für die Beschaffung der in der letzt erwähnten
Phase der Fehlerkorrektur erforderlichen Daten nicht ausreicht. Die Nähe der Zugriffsstelle zur korrekten Eintragung macht sie zum natürlichen Angelpunkt
für die Konstruktion eines Fehlerintervalls Δ , das zur Begrenzung
eines Diktionär -Entnahme be reiches herangezogen werden kann. Bei geeigneter
Ausbildung gestattet der Entnahme bereich Δ , aus der Zugriffstelle
benachbarten Stellen einen Satz von Adresseintragungen zu gewinnen, die, mit einer vorgegebenen Fehlertoleranz, die korrekte Version des verlesenen
Eingabewortes enthalten. Wie im vorhergehenden Beispiel schliesst die Entnahmebreite Δ gleich - 250 eine Fehlertoleranz ein, d. h. die
Möglichkeit, dass die korrekte Version eines Eingabewortes ausserhalb des Entnahmebereiches liegt.
Die drei hauptsächlichen, bei der optischen Zeichenlesung auftretenden
Verlesefehler, die bei der Bestimmung eines Diktionär-Entnahmebereiches kompensiert werden müssen, sind zurückgewiesene Buchstaben, Substitutionsfehler
und Segmentationsfehler. Die Entnahmemethode ist bei den Zurückweisungen und Substitutionsfehlern am wirksamsten. Segmentationsfehler
sind statistisch weniger gut voraussagbar und können deshalb auch nicht so leicht beseitigt werden. Ein verlesenes Wort kann mit der Vektorentnahme-Methode
unauffindbar werden, wenn aufeinanderfolgende Verler-
WA 9-74-002 -17 -
609816/0674
sungen innerhalb des Wortes sich gegenseitig additiv verstärken, bis ein
Deltawert von mehr als 250 erreicht ist. Diese Situation ist verhältnismässig
selten, da aufeinanderfolgende Verlesungen die Tendenz haben, die Grosse der Abweichung, die jede von ihnen verursacht hat, zu einem
gewissen Grad zufällig zu beseitigen.
Zur Unterstützung des Zugriffs nach der Vektorentnahme-Methode wird der
Diktionär nach ähnlichen Wortlängen organisiert.
Fig. 1 zeigt schematisch den Entnahmeprozess für ein verkanntes Eingabewort.
Die Grosse des Eingabewortes wird nach der weiter unten angeführten
Gleichung (9) berechnet. Für das in diesem Beispiel benutzte Wort ergibt sich eine Grosse von 1087. Die Wortlänge wird auch benutzt, um die Anzahlvon
Eintragungen zu reduzieren. Für Daten, die durch optische Zeichenerkennung gewonnen sind, kann die Wortlänge jedoch nicht als absolutes
Unterscheidungsmerkmal herangezogen werden, da Segmentationsfehler die Wortlänge künstlich vergrössern oder verkleinern können. Ein
Lösungsweg für die se Probleme besteht darin, dass nicht nur Wörter der gleichen
Länge wie das Eingabewort in den Entnahmeprozess eingeschaltet werden, sondern auch alle Wörter mit benachbarten Längen und sogar solche
deren Längen um zwei Stellen abweichen. Dies erfolgt in Uebereinstimmung
WA 9-74-002 - 1$ -
609816/0674
mit Regeln, die ihrerseits längenabhängig sind. Bei diesem Vorgehen ergibt
sich jedoch das Problem, dass es zu unannehmbaren Entnahmegrössen
führt, die durchschnittlich etwa 20% des Diktionärs umfassen.
Es ist möglich, die bekannte Fehlerneigung optischer Zeichenleser dazu
zu benutzen, die Unterscheidung nach Wortlängen zu verbessern. Da
Aenderungen der Wortlänge durch gewisse Segmentationsprobleme hervorgerufen
werden, werden nur solche Wörter, die auf Grund ihrer Komposition zu fehlerhafter Segmentierung führen können, in mehr als eine Wortlängengruppe
eingeführt. Daraus ergibt sich ein Konzept der Unterscheidung nach Wortgruppen. In einer Wortgruppe sind alle diejenigen Wörter enthalten,
die eine bestimmte Länge aufweisen, sowie Wörter mit allen andern Längen, die eine signifikante Wahrscheinlichkeit aufweisen, fälschlich auf die
betreffende Länge segmentiert zu werden.
Die Implementation des Zugriffs nach Wortgruppen häng ab von der Feststellung
objektiver Kriterien,auf Grund deren die Buchstabenzusammensetzung
eines Wortes auf den Grad der Neigung zur Fehlsegmentierung untersucht werden kann, um die Notwendigkeit einer Zuweisung zu mehreren Wortgruppen
festzustellen. Zu diesem Zweck wird die folgende Berechnung der Segmentierungsschwelle durchgeführt.
WA 9-74-002
609816/0674
Die Wahrscheinlichkeit einer Wortsegmentierung wird funktionell durch
die Gleichung (5) beschrieben.
P(W ) = 1 - P(W ) = 1 - P(W )
seg seg "s&j
worin W für "Wort" steht;und P die Wahrscheinlichkeityund die Ueberstreichung
des Index das Komplement der Segmentierung andeutet, nämlich dass keine Segmentierung stattfindet. Aus empirischen Daten, die über
alle Wortlängen gemittelt sind, ergibt sich, dass 80% aller Segmentierungen
in solchen Wörtern auftreten, deren P (W ) grosser als 0,6 % ist. Es ist
seg
daher vernünftig, diejenigen Wörter als die Schwelle zu doppelter Worteintragung
überschreitend anzusehen, deren kumulative Segmentierungs-Wahrscheinlichkeit
diesen nominellen Wert überschreitet, nämlich
P(W ) >T= 0,6% · (6)
seg v '
Diese Schwelle könnte natürlich gesenkt werden, aber das würde viele
neue doppelte Eintragungen nach sich ziehen, ohne wesentlich mehr Wortsegmentierungen
möglich zu machen. Das Verhältnis in Gleichung (5) wird übersichtlicher, wenn man es in Teile aufspaltet:
(7)
Durch einsetzen von Gleichung (7) in Gleichung (6) ergibt sich
WA 9-74-002
609816/0674
In logarithmischer Schreibweise ergibt sich daraus schliesslich eine allgemeine
Schwelle für Wortgruppen-Kandidaten:
log P^-^g.) + log
+ lo^p(^W
> log ti-T) (8.)
Durch Zurückführen der Gleichung (8) auf das binomische Modell, das seiner
Anwendung unterliegt, kann die Gleichung einfach für die Neigung (Wahrscheinlichkeit)
zur Falschsegmentierung, die bewirkt, dass ein Wort Kandidat für mehrfache Eintragung in eine Wortgruppe, zwei Wortgruppen usw. isty
gelöst werden:
Schwelle für eine einzelne Segmentierung:
Schwelle für eine einzelne Segmentierung:
log (1 - T) J
worinM die Anzahl der Buchstaben in einem Wort bedeutet.
Schwelle für zwei Segmentierungen:
2 · (M-2) .'
worin P (oc ) die durchschnittliche Neigung eines Wortes zur Falschseg-
worin P (oc ) die durchschnittliche Neigung eines Wortes zur Falschseg-
mentierung darstellt.
Daraus folgt die Schwelle der Wort-Falschsegmentierung für einen Diktionäreintrag
in zwei benachbarten Wortgruppen zu:
WA 9-74-002
I »■ 21 -
609816/0674
Für die Wortlänge 8 ( M = 8 ) kann dies umgeschrieben werden als :
log P (cc—)
log (l - VT (2 0(6 /)(8 /)')
Durch ähnliche analytische Verfahren erhält man ein komplettes Spektrum
der Wortgruppen-Schwellen, d.h. für einzelne Eintragung, doppelte Eintragung, dreifache Eintragung usw. für jede gegebene Wortlänge.
Bei Benutzung der vorher beschriebenen Schwellen der Falschsegmentierungs-Neigung
sind in einer Wortgruppe alle Wörter der betreffenden Länge enthalten, sowie alle Wörter mit anderen Längen, deren Wahrscheinlichkeit,,
fälschlich zu der betreffenden Menge segmentiert zu werden, genügend
gross ist. Daher kann ein einzelnes Wort in mehreren Y/ortgruppen erscheinen,
was von seiner Buchstabenkomposition abhängt. In Fig. 4 erscheint das Wort CORNWALL beispielsweise in der Wortgruppe 8, die seiner
Länge korrekt entspricht. CORNWALL hat jedoch vier Buchstaben , die für Falschsegmentierung anfällig sind, wobei hier ein Buchstabe in zwei segmentiert
wird. Diese sind C, O, N und W. Daraus ergibt sich, dass eine ziemlich grosse Wahrscheinlichkeit besteht, dass CORNWALL in ein Wort
mit neun Buchstaben verlesen wird, wie beispielsweise CORNWALL, oder
WA 9-74-002 - 22 -
609816/0674
ein Wort mit zehn Buchstaben, wie CIJRNVVALL. Daher wird dieses Wort
auch in den Wortgruppen 9 und 10 geführt. Das Wort WHITEHALL ist ursprünglich
in der Wortgruppe 9 . Das Wort ist jedoch auch in der Wortgruppe 8 enthalten, da es zwei Buchstabenpaare aufweist, die beide in
einen einzelnen Buchstaben zusammengezogen werden können. Diese sind HI und LL.
Der zweite Gesichtspunkt, nach dem der Speicher organisiert sein kann
sind autonome Wortgruppen, die auf der Buchstaben-Feldlänge basieren. Dabei werden alle N Eintragungen im Diktionär zusammen aufgeführt,
wenn N=I, 2, 3,..., ist, bis zum längsten Satz von in Frage kommenden
Diktionärwörtern. An jede dieser Gruppen von Wörtern im Diktionär werden
Wörter anderer Längen angehängt, deren alphabetische Komposition bewirkt, dass ihre Neigung zur Falschsegmentierung eine Schwelle überschreitet,
und die daher Kandidaten für das Verlesen bei der optischen Zeichenlesung sind.
Die Anzahl von Eintragungen die sich bei einer Entnahme ergibt, die auf
Grund der Unterscheidung nach der berechneten Grosse und den Wortlängengruppen
durchgeführt wird, liegt zwischen 1 und 2% der Anzahl unterschiedlicher Eintragungen im gesamten Diktionär. Diese Reduktion
WA 9-74-002 -2$ -
609818/0674
in der Grosse des Entnahmepacketes wird erreicht, obwohl nur eine
kleine Einbus se an Entnahmegenauigkeit zu verzeichnen ist.
Die bei der Fehlerkorrektur im Zusammenhang mit der optischen Zeichenerkennung
erfolgreich angewandten Techniken sind in ähnlicher Weise nützlich für jedes andere System, in dem Fehlermatrizen aufgestellt werden
können. S^. sind beispielsweise die Fehlercharakteristiken von Schreibmaschinentastaturen
eingehend studiert worden. Dabei wurden Daten über mehr als 6,000,000 Tastenanschläge gesammelt und analysiert. Die Tabelle
2 (Fig. 8) zeigt eine Fehlermatrix, die auf der Auswertung von etwas über
1,000,000 Tastenanschlägen beruht. Die Untersuchung der Vorgänge in
Tabelle 2 zeigt, dass die Fehlermuster bei zur Substitution führenden Fehlanschlägen
in drei Kategorien eingeteilt werden können:
1. Optisch verwechselbare Buchstaben
2. Benachbarte Tasten
3. Gleiche Fingerpositon an der anderen Hand.
Dieser Fehlermechanismus unterliegt mehr als bei der optischen Zeichenerkennung
einem stabilen, zeitlich invarianten Prozess, der sinnvoll in einer Fehlermatrix dargestellt werden kann. Beim Vergleich der Fehlerverteilung
zwischen den einzelnen Zeichen ist es klar, dass bei der Bedienung
WA 9-74-002 - 245-
609816/0674
is
der Tastatur auftretende Fehlermuster sich besser voraussagen lassen,
d.h. ein kleineres Spektrum an Möglichkeiten aufweisen, als diejenigen bei der optischen Zeichenerkennung. Man kann zeigen, dass je kleiner
die Verteilung der Fehler in einer Fehlermatrix, desto grosser das Potential
zur Fehlerkorrektur ist. Daraus folgt, dass ein bei der optischen Zeichenerkennung
erreichtes Niveau bei der Fehlerkorrektur auch bei Tastaturen erreicht, wenn nicht gar übertroffen werden kann.
Der Tastatur-Vektordiktionär dient dem gleichen Zweck bei der Tastatur Fehlerkorrektur,
wie der weiter unten im Zusammenhang mit Fig. 7 zu besprechende Häufungsspeicher 22 im Zusammenhang mit der Fehlerkorrektur
bei der optischen Zeichenerkennung, indem er gestattet, ein verschriebene; Wort mit einem Teil des Fehlerkorrektur-Diktionärs, bzw. der darin enthaltenen
Wörterliste, zu assoziieren, worin neben anderen Eintragungen die korrekte Version des verschriebenen Wortes enthalten ist. Während
bei der optischen Zeichenerkennung durch das Vektorentnahmeverfahren etwa 1% der Wörterliste aufgesucht werden, kann damit gerechnet werden,
dass wegen der relativen Seltenheit von Fehlern in der Fehlermatrix der Fig. 2 bezüglich der Tastaturfehlerein grösseres Unterscheidungsvermögen
existiert.
WA 9-74-002 - 25 -
609816/0674
Wegen der weitgehend analogen Natur der bei Tastaturen und der optischen ■
Zeichenerkennung auftretenden Fehler ist die in Fig. 6 dargestellte Schaltung direkt anwendbar, wobei der Festwertspeicher 56 zur Speicherung
von Häufungen ähnlich verschriebener Wörter einzurichten ist. Dazu ist ein lineares Programm aufzustellen, das den Verwechslungen zwischen
den Zeichen analog ist, auf denen die Aufstellung eines optimalen alphanumerischen
Zuordnungsschemas beruht.
Die Fehlanschlag-Korrektur betrifft die Berichtigung der vier besonders
häufigen Kategorien von Anschlagfehlern: Substitution, Trans position,
Hinzufügung, und Auslassung.
Die Substitution ist der häufigste Anschlagfehler. Wie bei der Korrektur
der Substitutionsfehler bei der optischen Zeichenerkennung werden auch
in diesem Fall die Daten eingegeben, die sich auf die Fehlerstatistik gründen.
Die Zeichentransposition beruht auf der Umkehrung der korrekten Reihenfolge
im übrigen richtiger Zeichen. Die Schreibweise "gehiem" ist ein Beispiel für einen Transpositionsfehler. Diese Art Fehler kommt bei der
optischen Zeichenlesung nicht vor, die Korrektur von Transpositionsfehlern
WA 9-74-002 - 26= -
609816/0674
kann jedoch unter Benutzung der Vektorgrösse als eine spezielle Eingabe
bei dem Prozess der Fehlerkorrektur gemäss der grössten Wahrscheinlichkeit
einer Tasten-Fehlbetätigung erfolgen. Die Vektorgrösse eines durch
Transposition verstümmelten Wortes ist nämlich die gleiche wie die für die ursprüngliche Form dieses Wortes. Daher werden beim Aufsuchen des Diktionärs
die Wörter mit der gleichen Grosse wie das verstümmelte Wort Kandidaten
für die Korrektur eines Transpositionsfehlers. Diese Technik zur Korrektur von Transpositonsfehlern (die Grosse des verstümmelten Wortes
ist gleich der Grosse des Wortes im Diktionär) bewirkt das Vertauschen benachbarter
Zeichen, wenn unmögliche Diskrepanzen zwischen dem verstümmelten Wort und einem Wort im Diktionär mit der gleichen Länge angetroffen
werden.
Der Fehlermechanismus, der die Hinzufügung oder Auslassung von Zeichen
beim Eintasten beherrscht, scheint eng mit dem zu schreibenden Digramm
zusammenzuhängen. Falls nämlich das Digramm normalerweise Teil eines sehr häufigen Trigramms ist, kann versehentlich das Trigramm eingetastet
werden und zur Hinzufügung eines überflüssigen Zeichens führen. Beispielsweise kann das Eintasten des Digramms "de" oft zur Hinzufügung eines
Mr" führen, was "der" ergibt, wo nur "de" verlangt war. Umgekehrt scheint
die Auslassung von Zeichen mit dem Eintasten seltener Trigramme zusammen-
WA 9-74-002
609816/0674
zuhängen, die ein häufig vorkommendes Digramm enthalten. Daher kann
ein Trigramm unwillkürlich zu einem kürzeren,häufig vorkommenden Digramm
verstümmelt werden.
Da die Hinzufügung und Auslassung von Zeichen mit der beschriebenen
Digramm/Trigramm-Aehnlichkeit zusammenhängt, kann die Korrektur durch relativ einfache Aenderungen an der weiter oben beschriebenen Segmentationsfehler-Korrekturlogik
erzielt werden.
Fig. 7 zeigt ein Blockschaltbild einer Fehlerkorrektur-Vorrichtung, welche
gestattet, aus einem alphabetischen Eingabewort, das durch eine Wortquelle 13 verstümmelt worden'ist, die höchstwahrscheinliche Form des
ursprünglichen Eingabewortes wiederzugewinnen. Die Wortquelle 13 kann
beispielsweise ein optischer Zeichenleser sein, oder eine Vorrichtung zum Analysieren von Sprache, die Phonem-Zeichen erzeugt, oder eine
konventionelle Tastatur. Jede dieser Gruppen von Wortquellen hat ihr eigene Gharakteristiken bezüglich der Fehlerneigung, die als Zeichen-Uebertragungsfunktion
bezeichnet werden können. In Fig. 7 ist ein optischer Zeichenleser 2 als spezielle Wortquelle gewählt worden, er kann
jedoch durch einen Sprachanalysator oder eine konventionelle Tastatur ersetzt werden.
WA 9-74-002 -2# -
609816/0674
In Verbindung mit dem optischen Zeichenleser 2 wird ein Diskriminator
verwandt, über den Einzelheiten aus der schweizerischen Patentschrift ,Nr. (Patentgesuch Nr. 10186/74) bekannt sind. Dem Diskriminator 8 werden
über Leitungen 4 und 6 vom Zeichenleser 2 den als alphabetische bzw. numerische Zeichen erkannten Vorlagen entsprechende Daten zugeführt.
Der Diskriminator 8 entwickelt daraus nach dem bayes'sehen Wahrscheinlichkeitstheorem
(Wahrscheinlichkeit des Vorhandenseins eines von zwei sich gegenseitig ausschliessenden Ereignissen, hier : numerische Zeichen
bzw. alphabetische Zeichen) alphanumerische Zeichen, die über eine Leitung 10 einer binären Referenzmatrix 12 zugeführt werden. Die Leitung
10 ist ferner mit einer Torschaltung 16 verbunden, deren Steuereingang über eine Leitung 14 mit der P3ferenzmatrix 12 verbunden ist. Der vom
Diskriminator 8 über die Leitung 10 gelieferte Datenstrom unterscheidet bereits numerische Zeichenfelder von alphabetischen Zeichenfeldern. Dieser
Datenstrom wird der Referenzmatrix 12 zugeführt, die gültige und ungültige alphabetische Wörter erkennt. Die gültigen alphabetischen Wörter werden
durch die Torschaltung 16 auf eine Leitung 18 ausgegeben; von der Referenzmatrix
12 als ungültig erkannte alphabetische Wörter werden über eine Leitung 20 einem sogenannten Häufungs-Speicher 22 zugeführt, der weiter
unten beschrieben ist. Der Häufungs-Speicher 22 entnimmt aus einem in ihm enthaltenen assoziativen Festwertspeicher eine Gruppe von korrekten
WA 9-74-002
609816/0674
alphabetischen Wörtern, die eine Wahrscheinlichkeit aufweisen, mit den
zur Zeit interessierenden ungültigen alphabetischen Wörtern verwechselt worden zu sein, die auf der Leitung 20 einlaufen. Diese Gruppe von. potentiell
richtigen alphabetischen Wörtern wird über eine Leitung 24 einer Korrekturvorrichtung 26 zugeführt, worin jedes ungültige Wort einer Analyse
bezüglich der bedingten Wahrscheinlichkeit unterworfen wird, um festzustellen, welches der korrekten Wörter, die über die Leitung 24 eingegeben
wurden, dem vom Zeichenleser gelieferten ungültigen Wort am besten entspricht. Das korrekte alphabetische Wort wird dann von der Korrekturvorrichtung
26 über eine Leitung 28 an einen Multiplexer 30 übertragen, der seinerseits das korrekte alphabetische Wort über eine Ausgabeleitung
32 abgibt,als beste Abschätzung für das vom Zeichenleser 2 gelieferte
verstümmelte Wort.
Im Folgenden wird der Häufungs-Speicher 22 näher beschrieben. Das fundamentale
Konzept, das dem Häufungs-Speicher unterliegt, ist das zwischen den im Festwertspeicher gespeicherten Wörtern und der Zeichenübertragungsfunktion
des Zeichenlesers oder der Tastatur, deren Ausgabedaten analysiert werden sollen, bestehende Verhältnis. Der Häufungs-Speicher ist als
Assoziativspeicher ausgebildet, wobei das Suchargument für den Speicher durch die Eigenschaften des verstümmelten Eingabewortes selbst bestimmt
WA 9-74-002 -3i>-
609816/0674
wird. Diese Eigenschaften des Eingabewortes sind die Wortgruppe und
der Indexwert.
Wie das Flussdiagramm der Fig. 5 zeigt, wird die Wortgruppe als X-Adresse
und der Indexwert als Y-Adresse für den Festwertspeicher 56 benutzt. Die Wahl von Wortgruppe und Wortindex bewirkt die Uebertragung eines Diktionärwortes
als Wert auf der Z-Achse für jeden Wert von Y zwischen den Indexwerten - Δ und+Δ . Diese Häufung von 2Δ+1 Diktionärwörtern
stellt diejenige Gruppe dar, die zur Weiterbehandlung durch die Korrekturvorrichtung 26 über die Leitung 24 ausgegeben wird.
Das Flussdiagramm der Fig. 5 zeigt schematisch die Anordnung von Diktionärwörtern
im Festwertspeicher. Die zwölf auf der X-Achse angeordneten Wortgruppen repräsentieren Wortlängen von zwei bis dreizehn Zeichen.
Die Auswahl einer Wortgruppe wird durch die Länge des eingegebenen verstümmelten
Wortes bestimmt. Wie bereits erwähnt, haben nicht alle Diktionärwörter in einer bestimmten Gruppe die gleiche Anzahl von Zeichen.
Den Wörtern in der η-ten Gruppe ist das Merkmal gemeinsam, das der Zeichenleser diese Wörter mit einer gewissen Wahrscheinlichkeit mit
η Zeichen ausgeben wird. Das schliesst alle Wörter mit der Länge η ein
und ferner diejenigen, die der Zeichenleser sehr wahrscheinlich in Wörter
WA 9-74-002
609816/0674
25412Ö4
mit η Zeichen zerlegen wird. Dieses Konzept führt dazu, dass gewisse
Wörter in mehreren Gruppen auftreten.
Jedes verstümmelte Eingabewort bewirkt den Zugriff zu 2Δ+ 1 Stellen im
Festwertspeicher. Der Indexwert wird durch die Anzahl der Zeichen im Eingabewort bestimmt. Der Bereich Δ repräsentiert das Vertrauensintervall,
innerhalb dessen eine hohe Wahrscheinlichkeit besteht, die korrekte Eintragung zu finden. Jedes vom Zeichenleser eingegebene alphabetische Wort
resultiert in der Ausgabe eines Bereiches von 2Δ Indexwerten, die den Wörtern der im Festwertspeicher 56 gespeicherten Wortgruppe entsprechen,
welche Wörter über den Ausgabe-Puffer 58 zur Ausgabe gelangen.
Ein detailliertes Blockschaltbild des Häufungs-Speichers 22 ist in Fig. 6
dargestellt. Ueber die Leitung 20 wird vom Zeichenleser ein verlesenes alphabetisches Wort eingegeben. Ein Separations-Detektor 34 stellt den
Anfang und das Ende eines jeden Wortes fest. Ein Buchstabenzähler 36,
der mit dem Separations-Detektor 34 verbunden ist, zählt die Anzahl der Buchstaben in einem alphabetischen Wort und gibt den Zählwert N über
eine Leitung 38 als zweites Suchargument an den Festwertspeicher 56. Das über die Leitung 20 eingehende verlesene alphabetische Wort wird ferner
einem Buchstabenwert-Speicher 40 zugeführt, in dem die in Tabelle 1 aufge-
WA 9-74-002
609816/0674
führten Buchstabenwerte L gespeichert sind. Jeder Buchstabe des Eingabewortes
wird benutzt, um den entsprechenden Buchstabenwert L aufzusuchen, der an das Eingaberegister 42 ausgegeben werden soll. Das
Eingaberegister 42, das Addierwerk 44 und das Register 46 dienen dazu, die Summe der Werte L T für die Buchstaben des über die Leitung 20 eingegangenen
Eingabewortes zu akkumulieren. Sobald der Separations-Detektor 34 das Ende des Wortes festgestellt hat, wird vom Buchstabenzähler
ein Signal an das Register 46 gegeben, welches die Endsumme der Werte L^ als den mittleren Indexwert an ein Subtrahierwerk 48 überträgt. Das
Delta-Register 50 enthält den Wert Δ , der für die in der Tabelle 1 enthaltenen
Buchstabenwerte gleich 250 ist. Der Wert Δ wird vom Delta-Register 50 dem Subtrahierwerk 48 zugeführt und vom dem vom Register 46
gelieferten mittleren Indexwert subtrahiert, was den minimalen Indexwert ergibt, der das erste Suchargument für den Festwertspeicher 56 bildet.
Dieser minimale Indexwert wird an das Addierwerk 52 ausgegeben um als Addend mit dem Augenden vom zyklischen Zähler 54 eine Summe zu bilden,
welche die erste Suchadresse für den Festwertspeicher 56 darstellt. Der zyklische Zähler 54 gibt sequentiell ganzzahlige Werte von 0 bis 2 χ Λ
an das Addierwerk 52 und veranlasst dadurch 2Δ + 1 Zugriffe zum Festwertspeicher
56. Die Anzahl von 2Δ+ 1 Wortkandidaten im Festwertspeicher 56 wird an den Ausgabepuffer 58 übertragen und über die Leitung 24
weiterer Verwendung zugeführt.
WA 9-74-002 -333-
609816/0674
Claims (6)
1. Verfahren zur Fehlerkorrektur von durch eine Erkennungsvorrichtung
falsch erkannten Eingabewörtern durch assoziativen Zugriff zu in einem Festwertspeicher gespeicherten Wörtern und Ausgabe der höchstwahrscheinlich
richtigen Wörter, dadurch gekennzeichnet, daß aus den Eingabewörtern ein erstes Suchargument dadurch gebildet wird, daß für
jedes Eingabewort aus den das Wort bildenden Zeichen fest zugeordneten
Werten (L.) eine Größe y = ^. L. berechnet wird, daß ein zweites Suchargument
aus der in dem Eingabewort vorhandenen Zeichenanzahl abgeleitet wird, und daß die Suchargumente zur Adressierung je einer Koordinate
eines zweidimensionalen Festwertspeichers (56) verwendet werden, in dessen Speicherstellenmatrix Gruppen von Wörtern derart gespeichert
werden, daß in benachbarten Speicherstellen Wörter mit ähnlichen Eigenschaften
bezüglich ihrer Falscherkennung stehen, das Ganze derart, daß die potentiell falschen Eingabewörter im Festwertspeicher mit einer Gruppe
von potentiell richtigen Wörtern assoziiert werden, welch letztere vom Speicher ausgegeben werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die im Festwertspeicher
(56) gespeicherten Wörter entsprechend den Eingabewörtern alphabetische Wörter sind, und daß die Suchargumente auf den Buchstaben der
Eingabewörter fest zugeordneten numerischen Werten und auf der Anzahl der in den Eingabewörtern vorhandenen Buchstaben basieren.
3. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, daß die im
Festwertspeicher gespeicherten Wörter entsprechend den Eingabewörtern Phonem-Wörter sind und daß die Suchargumente auf den Phonemen fest
zugeordneten numerischen Werten und auf der Anzahl der in den Eingabewörtern vorkommenden Phoneme basieren.
4. Verfahren nach einem oder mehreren der Patentansprüche 1 bis 3, dadurch
gekennzeichnet, daß die Differenz bezüglich der Adressen bei der Speicherung von Wörtern mit ähnlicher Neigung zur Falscherkennung im Festwertspeicher
minimalisiert wird, indem Wörter einer gegebenen Länge mit sol-
WA 974 002 - 34 -
€09816/0674
chen Wörtern anderer Längen gruppiert werden, denen eine eine Schwelle
überschreitende Wahrscheinlichkeit eigen ist, in Wörter der gegebenen Länge segmentiert zu werden, daß die Neigung zur Falscherkennung vorgängig
der Speicherung der Wörter durch empirische Bestimmung der Übertragungsfunktion der Erkennungsvorrichtung ermittelt und die
Übertragungsfunktion als Gleichungssystem ausgedrückt wird, das die Wahrscheinlichkeit einer Falscherkennung eines jeden Zeichens beschreibt,
daß die Gleichungen für einen optimalen Satz von Zeichenwerten gelöst werden können, wobei zuverlässig erkennbaren und häufig vorkommenden
Zeichen höhere numerische Werte zugeordnet werden als den übrigen Zeichen.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Wahrscheinlichkeit
der fehlerhaften Segmentierung durch die Übertragungsfunktion der Erkennungsvorrichtung bestimmt ist, welche Übertragungsfunktion
als Gruppe von Werten ausgedrückt ist, die die jedem Zeichen eigene Wahrscheinlichkeit
repräsentieren, falsch segmentiert zu werden, daß aus diesen Werten für jedes Wort die diesem eigene Wahrscheinlichkeit falsch segmentiert
zu werden berechnet wird, und daß diese Wahrscheinlichkeit mit einem wählbaren Schwellenwert verglichen wird und Wörter, deren Wahrscheinlichkeit
zur fehlerhaften Segmentierung diese Schwelle überschreitet, mit Wörtern abweichender Längen gespeichert werden.
6. Einrichtung zum Ausgeben von gültigen Wörtern als potentielle Kandidaten
für die korrekte Form eines von einer Erkennungsvorrichtung potentiell
falsch erkannten Wortes zum Durchführen der Verfahren nach einem oder
mehreren der Patentansprüche 1 bis 5, dadurch gekennzeichnet, daß eine zweidimensionale Matrix von Wort-Festwertspeicherstellen vorgesehen ist,
in welcher jeder Speicherstelle eine Gruppe von Wörtern mit ähnlichen Fehlerneigungen
zugeordnet ist, und eine erste Vorrichtung für den Zugriff zu den Speicherstellen nach der ersten Dimension, welcher Zugriff auf
Werten (L.) basiert, die den das Eingabewort bildenden Zeichen fest zugeordnet sind, und eine zweite Vorrichtung für den Zugriff zu den Speicherstellen
nach der zweiten Dimension, welcher Zugriff auf der Anzahl (N) der in dem Eingabewort enthaltenen Zeichen basiert, und daß die erste Zugriffsvorrichtung zur Berechnung der erstdimensionalen Adresse als Wert
N
y = ^Z L. ausgelegt ist.
L=I
L=I
WA 974 002 -35 -
609816/0674
_ ORIGINAL INSPECTED
_ ORIGINAL INSPECTED
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US05/513,202 US3969698A (en) | 1974-10-08 | 1974-10-08 | Cluster storage apparatus for post processing error correction of a character recognition machine |
Publications (3)
Publication Number | Publication Date |
---|---|
DE2541204A1 true DE2541204A1 (de) | 1976-04-15 |
DE2541204B2 DE2541204B2 (de) | 1978-03-30 |
DE2541204C3 DE2541204C3 (de) | 1978-11-30 |
Family
ID=24042261
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE2541204A Expired DE2541204C3 (de) | 1974-10-08 | 1975-09-16 | Einrichtung zur Fehlerkorrektur |
Country Status (13)
Country | Link |
---|---|
US (1) | US3969698A (de) |
JP (1) | JPS5143643A (de) |
BE (1) | BE832767A (de) |
BR (1) | BR7506545A (de) |
CA (1) | CA1062811A (de) |
CH (1) | CH586429A5 (de) |
DE (1) | DE2541204C3 (de) |
ES (1) | ES441353A1 (de) |
FR (1) | FR2287747A1 (de) |
GB (1) | GB1500203A (de) |
IT (1) | IT1042379B (de) |
NL (1) | NL7511834A (de) |
SE (1) | SE439848B (de) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4136395A (en) * | 1976-12-28 | 1979-01-23 | International Business Machines Corporation | System for automatically proofreading a document |
US4290105A (en) * | 1979-04-02 | 1981-09-15 | American Newspaper Publishers Association | Method and apparatus for testing membership in a set through hash coding with allowable errors |
US4328561A (en) * | 1979-12-28 | 1982-05-04 | International Business Machines Corp. | Alpha content match prescan method for automatic spelling error correction |
US4355371A (en) * | 1980-03-25 | 1982-10-19 | International Business Machines Corporation | Instantaneous alpha content prescan method for automatic spelling error correction |
EP0042035B1 (de) * | 1980-06-17 | 1984-06-13 | International Business Machines Corporation | Methode und Gerät zur Vektordarstellung von Textworten in einem Textverarbeitungssystem |
JPS5854433B2 (ja) * | 1980-09-11 | 1983-12-05 | 日本電気株式会社 | 相違度検出装置 |
US4355302A (en) * | 1980-09-12 | 1982-10-19 | Bell Telephone Laboratories, Incorporated | Spelled word recognizer |
JPS5876893A (ja) * | 1981-10-30 | 1983-05-10 | 日本電気株式会社 | 音声認識装置 |
US5600556A (en) * | 1982-01-29 | 1997-02-04 | Canon Kabushiki Kaisha | Word processor that automatically capitalizes the first letter of sentence |
US4556951A (en) * | 1982-06-06 | 1985-12-03 | Digital Equipment Corporation | Central processor with instructions for processing sequences of characters |
US4674066A (en) * | 1983-02-18 | 1987-06-16 | Houghton Mifflin Company | Textual database system using skeletonization and phonetic replacement to retrieve words matching or similar to query words |
US4580241A (en) * | 1983-02-18 | 1986-04-01 | Houghton Mifflin Company | Graphic word spelling correction using automated dictionary comparisons with phonetic skeletons |
US4771401A (en) * | 1983-02-18 | 1988-09-13 | Houghton Mifflin Company | Apparatus and method for linguistic expression processing |
US4654875A (en) * | 1983-05-23 | 1987-03-31 | The Research Foundation Of State University Of New York | System to achieve automatic recognition of linguistic strings |
US4783758A (en) * | 1985-02-05 | 1988-11-08 | Houghton Mifflin Company | Automated word substitution using numerical rankings of structural disparity between misspelled words & candidate substitution words |
JPS61252594A (ja) * | 1985-05-01 | 1986-11-10 | 株式会社リコー | 音声パタ−ン照合方式 |
CA1261472A (en) * | 1985-09-26 | 1989-09-26 | Yoshinao Shiraki | Reference speech pattern generating method |
US4829472A (en) * | 1986-10-20 | 1989-05-09 | Microlytics, Inc. | Spelling check module |
JPS63198154A (ja) * | 1987-02-05 | 1988-08-16 | インタ−ナショナル・ビジネス・マシ−ンズ・コ−ポレ−ション | つづり誤り訂正装置 |
US4926488A (en) * | 1987-07-09 | 1990-05-15 | International Business Machines Corporation | Normalization of speech by adaptive labelling |
JPH01214964A (ja) * | 1988-02-23 | 1989-08-29 | Sharp Corp | コレクト機能付欧文作成装置 |
US4994966A (en) * | 1988-03-31 | 1991-02-19 | Emerson & Stern Associates, Inc. | System and method for natural language parsing by initiating processing prior to entry of complete sentences |
US5075896A (en) * | 1989-10-25 | 1991-12-24 | Xerox Corporation | Character and phoneme recognition based on probability clustering |
US5167016A (en) * | 1989-12-29 | 1992-11-24 | Xerox Corporation | Changing characters in an image |
US5062143A (en) * | 1990-02-23 | 1991-10-29 | Harris Corporation | Trigram-based method of language identification |
US5604897A (en) * | 1990-05-18 | 1997-02-18 | Microsoft Corporation | Method and system for correcting the spelling of misspelled words |
US5313527A (en) * | 1991-06-07 | 1994-05-17 | Paragraph International | Method and apparatus for recognizing cursive writing from sequential input information |
JP3422541B2 (ja) * | 1992-12-17 | 2003-06-30 | ゼロックス・コーポレーション | キーワードのモデル化方法及び非キーワードhmmの提供方法 |
US6064819A (en) * | 1993-12-08 | 2000-05-16 | Imec | Control flow and memory management optimization |
US5768423A (en) * | 1994-09-02 | 1998-06-16 | Panasonic Technologies Inc. | Trie structure based method and apparatus for indexing and searching handwritten databases with dynamic search sequencing |
CA2155891A1 (en) | 1994-10-18 | 1996-04-19 | Raymond Amand Lorie | Optical character recognition system having context analyzer |
US5617488A (en) * | 1995-02-01 | 1997-04-01 | The Research Foundation Of State University Of New York | Relaxation word recognizer |
US5774588A (en) * | 1995-06-07 | 1998-06-30 | United Parcel Service Of America, Inc. | Method and system for comparing strings with entries of a lexicon |
US5963666A (en) * | 1995-08-18 | 1999-10-05 | International Business Machines Corporation | Confusion matrix mediated word prediction |
US5933531A (en) * | 1996-08-23 | 1999-08-03 | International Business Machines Corporation | Verification and correction method and system for optical character recognition |
EP0859333A1 (de) * | 1997-02-12 | 1998-08-19 | STMicroelectronics S.r.l. | Verfahren zum Kodieren von Zeichen für die Worterkennung und auf diesem Kodieren basierende Worterkennungseinrichtung |
EP0859332A1 (de) | 1997-02-12 | 1998-08-19 | STMicroelectronics S.r.l. | Einrichtung und Verfahren zum Erkennen von Wörtern |
US6047300A (en) * | 1997-05-15 | 2000-04-04 | Microsoft Corporation | System and method for automatically correcting a misspelled word |
US6269188B1 (en) * | 1998-03-12 | 2001-07-31 | Canon Kabushiki Kaisha | Word grouping accuracy value generation |
EA003619B1 (ru) * | 1998-04-01 | 2003-08-28 | Уильям Петерман | Система и способ поиска электронных документов, созданных с помощью оптического распознавания знаков |
US6216123B1 (en) * | 1998-06-24 | 2001-04-10 | Novell, Inc. | Method and system for rapid retrieval in a full text indexing system |
US6393395B1 (en) | 1999-01-07 | 2002-05-21 | Microsoft Corporation | Handwriting and speech recognizer using neural network with separate start and continuation output scores |
US6662180B1 (en) * | 1999-05-12 | 2003-12-09 | Matsushita Electric Industrial Co., Ltd. | Method for searching in large databases of automatically recognized text |
US6480827B1 (en) * | 2000-03-07 | 2002-11-12 | Motorola, Inc. | Method and apparatus for voice communication |
US7781693B2 (en) | 2006-05-23 | 2010-08-24 | Cameron Lanning Cormack | Method and system for sorting incoming mail |
GB0611561D0 (en) * | 2006-06-08 | 2006-07-19 | Ibm | A validation engine |
GB0623236D0 (en) * | 2006-11-22 | 2007-01-03 | Ibm | An apparatus and a method for correcting erroneous image identifications generated by an ocr device |
US10127219B2 (en) * | 2016-12-09 | 2018-11-13 | Hong Kong Applied Science and Technoloy Research Institute Company Limited | System and method for organizing and processing feature based data structures |
CN107427732B (zh) * | 2016-12-09 | 2021-01-29 | 香港应用科技研究院有限公司 | 用于组织和处理基于特征的数据结构的系统和方法 |
CN109492644A (zh) * | 2018-10-16 | 2019-03-19 | 深圳壹账通智能科技有限公司 | 一种习题图像的匹配识别方法及终端设备 |
CN111179592B (zh) * | 2019-12-31 | 2021-06-11 | 合肥工业大学 | 基于时空数据流融合分析的城市交通预测方法和系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3188609A (en) * | 1962-05-04 | 1965-06-08 | Bell Telephone Labor Inc | Method and apparatus for correcting errors in mutilated text |
FR1543777A (fr) * | 1966-12-23 | 1900-01-01 | Ibm | Identification des caractères par utilisation du contexte |
US3492653A (en) * | 1967-09-08 | 1970-01-27 | Ibm | Statistical error reduction in character recognition systems |
US3651459A (en) * | 1970-05-15 | 1972-03-21 | Philco Ford Corp | Character distance coding |
-
1974
- 1974-10-08 US US05/513,202 patent/US3969698A/en not_active Expired - Lifetime
-
1975
- 1975-04-30 GB GB17907/75A patent/GB1500203A/en not_active Expired
- 1975-06-23 JP JP50075749A patent/JPS5143643A/ja active Granted
- 1975-07-07 CA CA230,886A patent/CA1062811A/en not_active Expired
- 1975-08-11 FR FR7525823A patent/FR2287747A1/fr active Granted
- 1975-08-26 BE BE159484A patent/BE832767A/xx not_active IP Right Cessation
- 1975-09-09 IT IT27033/75A patent/IT1042379B/it active
- 1975-09-16 DE DE2541204A patent/DE2541204C3/de not_active Expired
- 1975-09-19 CH CH1222275A patent/CH586429A5/xx not_active IP Right Cessation
- 1975-09-29 ES ES441353A patent/ES441353A1/es not_active Expired
- 1975-10-06 SE SE7511157A patent/SE439848B/xx not_active IP Right Cessation
- 1975-10-07 BR BR7506545*A patent/BR7506545A/pt unknown
- 1975-10-08 NL NL7511834A patent/NL7511834A/xx not_active Application Discontinuation
Also Published As
Publication number | Publication date |
---|---|
NL7511834A (nl) | 1976-04-12 |
JPS573979B2 (de) | 1982-01-23 |
SE7511157L (sv) | 1976-04-09 |
JPS5143643A (en) | 1976-04-14 |
FR2287747A1 (fr) | 1976-05-07 |
BE832767A (fr) | 1975-12-16 |
ES441353A1 (es) | 1977-03-16 |
GB1500203A (en) | 1978-02-08 |
FR2287747B1 (de) | 1978-04-07 |
US3969698A (en) | 1976-07-13 |
DE2541204C3 (de) | 1978-11-30 |
BR7506545A (pt) | 1976-08-17 |
IT1042379B (it) | 1980-01-30 |
SE439848B (sv) | 1985-07-01 |
CA1062811A (en) | 1979-09-18 |
DE2541204B2 (de) | 1978-03-30 |
CH586429A5 (de) | 1977-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE2541204C3 (de) | Einrichtung zur Fehlerkorrektur | |
DE69428590T2 (de) | Auf kombiniertem lexikon und zeichenreihenwahrscheinlichkeit basierte handschrifterkennung | |
DE3851867T2 (de) | Zeichenerkennungsgerät. | |
EP1665132B1 (de) | Verfahren und system zum erfassen von daten aus mehreren maschinell lesbaren dokumenten | |
DE3689416T2 (de) | Mustermerkmalextraktion. | |
DE19547812C2 (de) | Lesegerät für Schriftzeichenketten | |
DE60204005T2 (de) | Verfahren und einrichtung zur erkennung eines handschriftlichen musters | |
DE2640537A1 (de) | Verfahren und vorrichtung zum unterscheiden zwischen n groesser als 2 alphabeten angehoerenden zeichen | |
DE4232507A1 (de) | Verfahren zum Kennzeichnen, Wiederauffinden und Sortieren von Dokumenten | |
DE2630304A1 (de) | Einrichtung zur ueberpruefung der gueltigkeit von alphabetischen eingangszeichen | |
DE2740105A1 (de) | Optische zeichenerkennungseinrichtung | |
DE2435889B2 (de) | Verfahren und einrichtung zur unterscheidung von zeichengruppen | |
DE2513566A1 (de) | Binaere referenzmatrix | |
DE4407998C2 (de) | Verfahren und Vorrichtung zur Erkennung eines Musters auf einem Beleg | |
DE2654815A1 (de) | Verfahren zur unterscheidung von gross- und kleinbuchstaben | |
DE3026055C2 (de) | Schaltungsanordnung zur maschinellen Zeichererkennung | |
DE69521868T2 (de) | Verfahren zur Gestaltung von Klassifikationsbäumen | |
DE19933984C2 (de) | Verfahren zur Bildung und/oder Aktualisierung von Wörterbüchern zum automatischen Adreßlesen | |
DE19726592C2 (de) | Informationserkennungs-Vorrichtung | |
DE2460757C2 (de) | Einrichtung zur Auswahl der richtigen Form eines bei der maschinellen Zeichenerkennung verstümmtelten Wortes | |
DE2333202A1 (de) | Zeichenerkennungsanordnung | |
DE69331035T2 (de) | Zeichenerkennungssystem | |
DE3789376T2 (de) | Verfahren zur Fehlererkennung und -korrektur in einem digitalen Rechner. | |
DE19820353C2 (de) | Verfahren und Vorrichtung zur Erkennung eines Musters auf einer Vorlage | |
EP0731955B1 (de) | Verfahren und vorrichtung zum automatischen erfassen und erkennen von aufgezeichneter information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C3 | Grant after two publication steps (3rd publication) | ||
8339 | Ceased/non-payment of the annual fee |