DE102005021526A1

DE102005021526A1 - Verfahren und Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage

Info

Publication number: DE102005021526A1
Application number: DE102005021526A
Authority: DE
Inventors: Henry Feil; Ewald Frensch
Original assignee: Siemens Corp
Current assignee: Siemens Corp
Priority date: 2005-05-10
Filing date: 2005-05-10
Publication date: 2006-11-23
Also published as: WO2006120193A1

Abstract

Offenbart ist ein Verfahren und eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage (MFG4). Dazu wird mit einer Sensoreinrichtung (GS) eine Mehrzahl von Handschriftelementen nacheinander erfasst, von denen jedes einen Satz, bestehend zumindest aus einem Schriftzeichen, repräsentiert. Anschließend werden mit einer Erkennungseinrichtung (EKE) die jeweiligen Sätze von Schriftzeichen aus den erfassten Handschriftelementen ermittelt, um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden. Eine akustische Ausgabeeinrichtung (LS) gibt dann die ermittelten Sätze von Schriftzeichen in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen aus. Diese Ausgabe wird von einem Benutzer verfolgt, wobei dieser bei einem falsch eingegebenen oder falsch erkannten Satz von Schriftzeichen ein akustisches Korrektursignal abgibt, das von einer akustischen Eingabeeinrichtung (MIK) empfangen wird. Schließlich fügt eine Einfügeeinrichtung (EFE) einen weiteren Satz von Schriftzeichen an die Stelle des ermittelten Satzes vom Schriftzeichen in die Zeichenfolge, auf deren akustische Ausgabe hin das Korrektursignal empfangen wurde.

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage, sowie eine Datenverarbeitungsanlage, insbesondere in der Ausführung eines tragbaren elektronischen Geräts, welche eine Vorrichtung zum Eingeben von Schriftzeichen aufweist.
Die Miniaturisierung von tragbaren elektronischen Geräten, wie Mobiltelefonen oder Organizern, bringt eine Verringerung der Bedienungselemente mit sich, und führt teilweise bis zu einem vollkommenen Verzicht auf mechanische Tasten bzw. Tastaturen. Jedoch stellt sich dabei dann immer mehr das Problem der Eingabe von differenzierten Steueranweisungen, wie beispielsweise von Schriftzeichen bei einer Schrifteingabe. Bei größeren tragbaren Geräten ist hierzu herkömmlicher Weise ein berührungssensitives Display, ein so genannter "Touch Screen" vorgesehen, auf dem mittels eines speziellen Stifts Zeichen bzw. Schriftzeichen geschrieben werden können, welche dann mittels einer speziellen Schrifterkennungssoftware als Schriftzeichen oder Steueranweisungen erkannt werden. Bei kleineren tragbaren elektronischen Geräten, wie beispielsweise bei als Stift ausgebildeten Mobiltelefonen (so genannten "Pen Phones"), welche zumeist ein kleines Display aufweisen, wird hingegen zum Eingeben von Schriftzeichen oder Steueranweisungen eine Bewegung eines Benutzers durch das tragbare elektronische Gerät erfasst. Genauer gesagt, hält ein Benutzer das als Stift ausgebildete Mobiltelefon in seiner Hand, so wird er zum Eingeben von Schriftzeichen das Mobiltelefon bzw. dessen Spitze wie bei einem herkömmlichen Stift bewegen, um durch die Bewegung die gewünschten einzugebenden Schriftzeichen zu beschreiben. Die Erfassung der Bewegung kann dabei beispielsweise mittels optischen Sensoren, wie bei einer Computermaus, oder mittels Beschleunigungssensoren erfolgen. In jedem Fall ist es auch hier notwendig, dass mit einer speziellen Schrifterkennungssoftware die entsprechenden Bewegungen als Schriftzeichen erkannt werden.
In jedem der gerade geschilderten Fälle kommt es jedoch vor, dass Schrifteingabeverfahren grundsätzlich das Problem haben, dass es zu Fehleingaben oder Falscherkennungen der Schriftzeichen kommen kann. Zu deren Behebung ist deshalb ein effizientes und ergonomisches Korrekturverfahren nötig.

Ein herkömmliches Korrekturverfahren sieht vor, mittels einer Korrekturtaste die eingegebenen Zeichen einer Zeichenfolge vom letzten Zeichen bis zu dem fehlerhaften Zeichen zu löschen und dann weitere neu eingegebene Zeichen an die Stelle in der Zeichenfolge wieder anzufügen, bis zu der die Löschung durchgeführt worden ist. Dieses Korrekturverfahren hat im Wesentlichen den Nachteil, dass ein Benutzer bereits eingegebene und durch die Schrifterkennungssoftware korrekt erkannte Zeichen wieder neu eingeben muss. Bei Schrifteingabesystemen, bei denen eingegebene Schriftzeichen zur Überprüfung durch den Benutzer nach der Eingabe bzw. Erkennung wieder akustisch ausgegeben werden – auf Grund der Berechnung bei der Erkennung etwas zeitverzögert – muss sich der Benutzer dann genau merken, welches der Schriftzeichen von mehreren eingegebenen Schriftzeichen falsch eingegeben oder erkannt worden war.

Eine weitere Möglichkeit zur Korrektur fehlerhaft eingegebener Schriftzeichen besteht in der Verwendung eines sogenannten Navigations-Modus. Es wird davon ausgegangen, dass ein Benutzer zunächst einen sogenannten Eingabemodus eingestellt hat, um mehrere Schriftzeichen einzugeben. Erkennt der Benutzer, dass eines der eingegebenen Schriftzeichen beispielsweise falsch erkannt worden ist, so muss er vom Eingabemodus in den Navigations-Modus wechseln. Dies kann beispielsweise durch Drücken einer speziellen Modus-Taste geschehen. Anschließend muss der Benutzer durch eine entsprechende Eingabe einen Cursor an die Stelle der Falscherkennung bewegen. Daraufhin ist wieder in den Eingabemodus zu schalten, um das falsch erkannte Schriftzeichen zu löschen und zu korrigieren. Um nun wieder an das Ende der eingegebenen Folge von Schriftzeichen zu gelangen, muss schließlich wieder in den Navigations-Modus gewechselt werden, und dort angelangt ist der Eingabemodus zu aktivieren, um am Ende der Zeichenfolge neue Zeichen einzugeben und an die Zeichenfolge anzufügen. Somit zeigt sich, dass eine Korrektur einer Zeichenfolge gemäß dem gerade beschriebenen Verfahren sehr aufwändig und unkomfortabel für den Benutzer ist.

Die Aufgabe der vorliegenden Erfindungen besteht folglich darin, eine Möglichkeit zur Eingabe von Schriftzeichen bereit zu stellen, bei dieser ebenso eine einfache Korrektur möglich ist.

Diese Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.

Dabei umfasst ein Verfahren zum Eingeben von Zeichen bzw. Schriftzeichen in eine Datenverarbeitungsanlage folgende Schritte. Es wird zunächst eine Mehrzahl von Handschriftelementen nacheinander erfasst, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert. Ein Handschriftelement kann dabei als eine von einem Benutzer durchgeführte Bewegung zur Beschreibung eines Schriftzeichens verstanden werden. Zum einen kann dabei die aktuell vom Benutzer gerade durchgeführte Bewegung zur Beschreibung eines oder mehrerer Schriftzeichen erfasst werden, es ist jedoch auch denkbar, schon aufgezeichnete Bewegungen zur Beschreibung eines oder mehrerer Schriftzeichen zu erfassen. Im letzteren Fall kann dabei ein Benutzer mittels Farbe eines herkömmlichen Stifts auf einem Papier ein oder mehrere Schriftzeichen schreiben, wobei das Papier dann als Aufzeichnungsmedium für die Bewegung zur Beschreibung von Schriftzeichen dient, und mittels eines optischen Scanners kann dann die aufgezeichnete Bewegung des Benutzers, als das oder die Schriftzeichen erfasst werden. Wie bereits erwähnt, kann de_r Satz aus Schriftzeichen eines oder mehrere Schriftzeichen umfassen, also einzelne Buchstaben, Ziffern oder ganze Wörter. Nun werden aus den erfassten Handschriftelementen die jeweiligen Sätze von Schriftzeichen ermittelt, um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassen der den Sätzen zugeordneten Handschriftelementen zu bilden. Die Ermittlung der jeweiligen Schriftzeichen oder Sätze von Schriftzeichen erfolgt dabei mittels speziellen Schrifterkennungs-Verfahren, welche üblicherweise mittels spezieller Software realisiert sind. Bei derartigen Erkennungsverfahren wird ein erfasstes Schriftzeichen mit einem vordefinierten Schriftzeichen verglichen, wobei dann das dem erfassten Schriftzeichen am ähnlichsten vordefinierte Zeichen als das erkannte Zeichen ausgegeben wird. Sind die Sätze von Schriftzeichen ermittelt, so werden diese in einem nächsten Schritt in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen akustisch ausgegeben. Ein Benutzer der gerade die Sätze von Schriftzeichen repräsentierende Handschriftelemente eingegeben hat, verfolgt die akustische Ausgabe der ermittelten Sätze von Schriftzeichen und gibt, sofern er eine Falscheingabe oder Falscherkennung feststellt, ein akustisches Korrektursignal ab. Dieses akustische Korrektursignal kann beispielsweise ein Geräusch, wie ein Pfeifen umfassen, es kann jedoch auch ein spezielles Korrekturwort wie "FALSCH" umfassen. Dieses akustische Korrektursignal wird nun empfangen. Anschließend wird ein weiterer Satz von Schriftzeichen an die Stelle des ermittelten Satzes von Schriftzeichen in der Zeichenfolge eingefügt, auf deren akustische Ausgabe hin das akustische Korrektursignal empfangen wurde. Das bedeutet, bei dem Verfahren gemäß der vorliegenden Erfindung muss sich der Benutzer, der eine Falscheingabe oder Falscherkennung eines Schriftzeichens feststellt, nicht genau merken, wann die Falscheingabe oder Falscherkennung stattgefunden hat, sondern er muss lediglich wenn er die akustische Ausgabe eines nicht korrekten Zeichens wahrnimmt, sein akustisches Korrektursignal abgeben. Dies vereinfacht die Korrektur der eingegebenen Zeichenfolge und erhöht somit den Komfort der Eingabe von Schriftzeichen.

Gemäß einer vorteilhaften Ausgestaltung der Erfindung wird der weitere Satz von Schriftzeichen zum Einfügen in die Zeichenfolge derart bereitgestellt, dass nach dem Empfangen des akustischen Korrektursignals ein weiteres Handschriftelement eines Benutzers erfasst wird, das den weiteren Satz bestehend aus zumindest einem Schriftzeichen repräsentiert. Dieser weitere Satz von Schriftzeichen wird dann wieder, wie oben beschrieben, ermittelt und an die Stelle des zu ersetzenden Satzes von Schriftzeichen eingefügt.

Gemäß einer weiteren Ausgestaltung der Erfindung wird der weitere Satz von Schriftzeichen derart bereitgestellt, dass nach dem Empfangen des akustischen Korrektursignals ein Sprachelement eines Benutzers erfasst wird, das ein Wort umfasst, welches den weiteren Satz von Schriftzeichen repräsentiert. Das bedeutet, gemäß dieser Ausgestaltung der Erfindung wird keine Bewegung eines Benutzers, sondern die Sprache des Benutzern erfasst. Anschließend wird der weitere Satz von Schriftzeichen anhand des Wortes des Sprachelements ermittelt. Dabei kann bei der Ermittlung das Wort als kleinste sprachliche Einheit, d.h. bestehend aus einem oder mehreren Buchstaben verarbeitet werden, es ist jedoch auch möglich, den Sinn des Wortes zu erkennen und beispielsweise in dem Fall, in dem das Wort eine Ziffer beschreibt, an Stelle der wörtlichen Beschreibung der Ziffer direkt die Ziffer als den weiteren Satz von Schriftzeichen zu betrachten, der an Stelle eines zu korrigierenden Satzes von Schriftzeichen in der Zeichenfolge eingefügt werden soll.

Wie bereits erwähnt, kann das Erfassen von Handschriftelementen durch ein Erfassen einer Bewegung eines Benutzers vonstatten gehen, mit der der Benutzer ein Schriftzeichen beschreibt. Die Erfassung einer Bewegung eines Benutzers kann dabei beispielsweise mittels eines Beschleunigungssensors, eines optischen Sensors und/oder eines Berührungssensors erfolgen.

Wird ein Beschleunigungssensor zur Erfassung der Bewegung eines Benutzers verwendet, so misst der Beschleunigungssensor die bei der Bewegung zur Beschreibung von Schriftzeichen auftretenden Beschleunigungen, welche mittels zeitlicher Integration schließlich in eine Ortskurve oder Bewegungskurve des Benutzers bei der Beschreibung von Zeichen umgewandelt werden kann. Diese Bewegungskurve kann dann einem Schrifterkennungsverfahren übergeben werden, um daraus ein Schriftzeichen zu erkennen.

Ein optischer Sensor zur Erfassung einer Bewegung eines Benutzers kann beispielsweise eine Kamera aufweisen, mit welcher in äquidistanten Zeitschritten Bilder eines Untergrunds (einer Ebene, über der die Bewegung zur Beschreibung von Handschriftelementen stattfindet) aufgenommen werden und mit jeweils vorhergehenden Bildern verglichen werden (markante Bildelemente, welche gleiche Untergrundobjekte darstellen, werden zwischen einem aktuellen und einem vorhergehenden Bild verglichen), was als so genanntes "pixel matching" bezeichnet wird. Aus den Differenzbildern können dann Bewegungsvektoren errechnet werden, die schließlich zur neuen Position integriert werden können, um somit eine Ortskurve oder Bewegungskurve der Bewegung eines Benutzers bei der Beschreibung von Schriftzeichen zu erhalten. Die Bewegungskurve wird dann wiederum einem Schrifterkennungs-Verfahren zugeführt. Des Weiteren ist es möglich, bereits auf ein Aufzeichnungsmedium, wie ein Blatt Papier, geschriebene Handschriftelemente mittels eines optischen Scanners zu erfassen und daraus die Schriftzeichen zu erkennen.

Bei der Verwendung von Berührungssensoren gibt es dabei im Wesentlichen zwei verschiedene Möglichkeiten. Zum einen ist es möglich, dass insbesondere bei der Verwendung des Verfahrens in elektronischen Geräten mit einem größeren Display, das Display als ein berührungssensitives Display ausgebildet sein kann, wobei mittels eines Stifts ein Benutzer Schriftzeichen auf dem berührungssensitiven Display beschreiben kann. Des Weiteren ist es möglich, dass bei Verwendung des Verfahrens in kleineren tragbaren elektronischen Geräten ein Berührungssensor beispielsweise an einer Spitze eines als stiftförmiges Mobiltelefon ausgebildeten tragbaren elektronischen Geräts vorgesehen sein kann, wobei der Sensor beispielsweise eine drehbare Kugel an der Spitze umfasst, welche bei der Bewegung über eine in Kontakt stehende Oberfläche sich dreht, und anhand der Drehung auf die Bewegung des Geräts, welches von einem Benutzer geführt wird, geschlossen werden kann.

Gemäß einem weiteren Aspekt der Erfindung wird eine Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage geschaffen. Die Vorrichtung umfasst dabei eine Sensoreinrichtung zum Erfassen einer Mehrzahl von Handschriftelementen nacheinander, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert. Des Weiteren umfasst die Vorrichtung eine Erkennungseinrichtung zum Ermitteln der jeweiligen Sätze von Schriftzeichen aus den erfassten Handschriftelementen, um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden. Außerdem ist eine akustische Ausgabeeinrichtung zum akustischen Ausgeben der ermittelten Sätze von Schriftzeichen in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen vorgesehen. Schließlich dient eine Einfügeeinrichtung zum Einfügen eines weiteren Satzes von Schriftzeichen an die Stelle des ermittelten Satzes von Schriftzeichen in der Zeichenfolge, auf deren akustische Ausgabe hin das Korrektursignal empfangen wurde.

Gemäß einer vorteilhaften Ausgestaltung kann die Sensoreinrichtung einen Beschleunigungssensor, einen optischen Sensor und/oder einen Berührungssensor umfassen. Zur Erläuterung der jeweiligen Sensoren sei auf die Darstellung bezüglich des Verfahrens verwiesen.

Gemäß einer weiteren vorteilhaften Ausgestaltung umfasst die akustische Ausgabeeinrichtung einen Lautsprecher und umfasst die akustische Eingabeeinrichtung ein Mikrofon. Die Einfügeeinrichtung und/oder die Erkennungseinrichtung kann jeweils einen Mikroprozessor aufweisen. Es ist jedoch auch denkbar, dass die Einfügeeinrichtung und/oder die Erkennungseinrichtung als Software-Anwendungen ausgebildet sind, welche durch einen Mikroprozessor ausgeführt werden.

Es ist denkbar, dass die Vorrichtung ferner eine Speichereinrichtung zum Speichern der Zeichenfolge aufweist. Dadurch ist es möglich, eine Zeichenfolge vollständig einzugeben, in der Speichereinrichtung zu speichern und dann auf einmal beispielsweise über ein Datenkabel an die Datenverarbeitungsanlage zu übertragen.

Ferner kann die Vorrichtung eine Anzeigeeinrichtung zum Anzeigen der eingegebenen Zeichenfolge aufweisen. Dies ermöglicht dem Benutzer die eingegebenen Schriftzeichen nicht nur akustisch (durch die akustische Ausgabeneinrichtung) wahrzunehmen, sondern auch optisch.

Gemäß einem weiteren Aspekt der Erfindung wird eine Datenverarbeitungsanlage geschaffen, welche eine gerade beschriebene Vorrichtung zum Eingeben von Schriftzeichen umfasst. Die Datenverarbeitungsanlage kann dabei als ein tragbares elektronisches Gerät ausgebildet sein. Insbesondere kann sie als ein Mobilfunkgerät oder Mobiltelefon, aber auch als ein Organizer oder PDA (PDA: Personal Digital Assistent) ausgebildet sein.

Bevorzugte Ausführungsformen der vorliegenden Erfindung werden nachfolgend Bezug nehmend auf die beiliegenden Zeichnungen näher erläutert. Es zeigen:
1 eine Zeitstruktur, in der die einzelnen Ereignislinien zum Eingegeben von Schriftzeichen dargestellt sind;
2 eine schematische Darstellung zur Korrektur eines falsch erkannten Schriftzeichens;
3 eine Zeitstruktur mit Ereignislinien zur Erläuterung der Eingabe von Sätzen von Schriftzeichen bzw. Wörtern;
4 eine schematische Darstellung zur Korrektur eines falsch erkannten Wortes;
5 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer ersten Ausführungsform zur Eingabe von Schriftzeichen;
6 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer zweiten Ausführungsform zur Eingabe von Schriftzeichen;
7 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer dritten Ausführungsform zur Eingabe von Schriftzeichen;
8 eine Datenverarbeitungsanlage in der Form eines Mobiltelefons gemäß einer vierten Ausführungsform zur Eingabe von Schriftzeichen.
Bevor nun ein Verfahren zum Eingeben von Schriftzeichen anhand der 1 bis 4 erläutert werden wird, soll zunächst eine mögliche Vorrichtung zum Eingeben von Schriftzeichen anhand der 5 bis 8 erläutert werden.
Dabei sei zunächst auf 5 verwiesen, in der ein Mobiltelefon MFG1 gezeigt ist. Das Mobiltelefon MFG1 weist dabei eine herkömmliche Form in der Gestalt eines Quaders auf. Es hat eine akustische Ausgabeeinrichtung mit einem Lautsprecher LS, sowie eine akustische Eingabeeinrichtung mit einem Mikrofon MIK. Des Weiteren hat es eine Tastatur TAS mit mehreren Tasten zum Eingeben von Zeichen oder Steueranweisungen. Unterhalb des Lautsprechers LS ist eine Anzeigeeinrichtung DSP angeordnet, die einen berührungssensitiven Bildschirm aufweist.
Dieser berührungssensitive Bildschirm stellt dabei einen Berührungssensor BS dar. Mit einem Stift STI ist es dann möglich, durch Nachfahren von Schriftzeichen, während die Spitze des Stifts STI mit der Anzeigeeinrichtung DSP in Berührung steht, Handschriftelemente, welche ein oder mehrere Schriftzeichen repräsentieren, einzugeben. Dabei kann ein Benutzer beispielsweise die Spitze des Stifts STI auf die Anzeigeeinrichtung DSP aufsetzen, und eine Bewegung durchführen, die der Ziffer "1" entspricht, wobei die von dem Berührungssensor BS erfasste Bewegungskurve der Stiftspitze an eine Erkennungseinrichtung EKE weitergeleitet wird, die dafür eingerichtet ist, aus den erfassten Bewegungen der Stiftspitze, d.h. den Handschriftelementen, die jeweiligen Schriftzeichen oder Sätze von Schriftzeichen zu ermitteln. Die Erkennungseinrichtung dient ferner dazu, erkannte Schriftzeichen oder Sätze von Schriftzeichen in eine Folge von Schriftzeichen einzureihen, nämlich in der Reihenfolge des Erfassens der den Schriftzeichen zugeordneten Handschriftelementen. Wie es noch später bzgl. den 1 bis 4 erläutert werden wird, dient eine Einfügeeinrichtung EFE dazu, ein oder mehrere Schriftzeichen an eine bestimmte zu korrigierende Stelle in die durch die Erkennungseinrichtung EKE erzeugte Zeichenfolge einzufügen.
Es sei nun auf 6 verwiesen, in der eine Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG2 gezeigt ist. Das Mobiltelefon MFG2 umfasst im Wesentlichen die gleichen Komponenten mit gleichen Funktionen wie das Mobiltelefon MFG1, nämlich eine akustische Ausgabeeinrichtung mit einem Lautsprecher LS, eine Anzeigeeinrichtung DSP, eine Erkennungseinrichtung EKE, eine Einfügeeinrichtung EFE, sowie eine akustische Eingabeeinrichtung mit einem Mikrofon MIK. Auf Grund der Ausbildung des Mobiltelefons MFG2 als ein Stift ist die Anzahl der Tasten zur Bedienung des Mobiltelefons sehr reduziert. So ist beispielsweise in 6 lediglich eine Tastatur TAS1 mit zwei Tasten gezeigt. Als weiterer Unterschied zum Mobiltelefon MFG1 umfasst das Mobiltelefon MFG2 anstatt des Berührungssensors BS einen optischen Sensor OS, der im Spitzenabschnitt des Mobiltelefons vorgesehen ist. Der optische Sensor OS, der eine optische Kamera umfasst, dient dazu, in äquidistanten Zeitschritten Bilder der Oberfläche OF aufzunehmen und mit jeweils vorhergehenden aufgenommenen Bildern zu vergleichen, um daraus Bewegungsvektoren der Spitze des Mobiltelefons MFG2, welches sich über die Oberfläche OF bewegt, zu berechnen. Anhand der Bewegungsvektoren lassen sich schließlich Positionspunkte berechnen, die dann zu einer Bewegungskurve oder Ortskurve zusammengefasst werden können. Die so von dem optischen Sensor OS ermittelte Bewegungskurve der Spitze des Mobiltelefons MFG2 wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die anhand der Bewegungskurve die den Bewegungskurven zugeordneten Schriftzeichen ermittelt. Die Funktion der Einfügeeinrichtung EFE wird später bzgl. der 1 bis 4 erläutert werden.
Es sei nun auf 7 verwiesen, in der eine weitere Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als ein Stift ausgebildetes Mobiltelefons MFG3 gezeigt ist. Das Mobiltelefon MFG3 entspricht im Aufbau im wesentlichen dem Mobiltelefon MFG2, weshalb zur Erläuterung gleicher Komponenten auf die Erläuterung des Mobiltelefons MFG2 verwiesen wird. Der wesentliche Unterschied des Mobiltelefons MFG3 liegt nun darin, dass dieses an Stelle des optischen Sensors OS bei dem Mobiltelefon MFG2 einen Berührungssensor BS1 aufweist. Dieser kann beispielsweise eine drehbar gelagerte Kugel an der Spitze des Mobiltelefons MFG3 aufweisen, deren Drehung dann messbar ist, wenn die Kugel bzw. der Berührungssensor BS1 bei Kontakt mit der Oberfläche OF über diese hinweg bewegt wird. Anhand der erfassten Drehung ist dann die Bewegung der Spitze des Mobiltelefons MFG3 über die Oberfläche hinweg erfassbar. Wird mit der Spitze ein Schriftzeichen beschrieben, so kann dies der Berührungssensor BS1 erfassen, in eine Bewegungskurve oder Ortskurve umwandeln und diese Bewegungskurve der Erkennungseinrichtung EKE zuführen. Wie schon anhand der anderen Ausführungsformen erläutert, ist die Erkennungseinrichtung EKE dann in der Lage, anhand der Bewegungskurve das jeweilige Schriftzeichen zu erkennen.
Schließlich sei noch auf 8 verwiesen, in der eine weitere Vorrichtung zum Eingeben von Schriftzeichen in der Form eines als Stift ausgebildeten Mobiltelefons MFG4 gezeigt ist. Dabei stimmt das Mobiltelefon MFG4 wieder im Wesentlichen mit den Mobiltelefonen MFG2 und MFG3 überein, weshalb zur Erläuterung gleicher Komponenten auf die oben erläuterten Mobiltelefone verwiesen wird. Kennzeichen des Mobiltelefons MFG4 ist, dass dieses zur Erfassung von Bewegungen nun einen Gyro-Sensor oder Beschleunigungssensor GS im Spitzenabschnitt des Telefons aufweist. Dieser Gyro-Sensor hat mindestens zwei Sensorabschnitte, vorteilhafter Weise jedoch drei Sensorabschnitte zum Erfassen von Beschleunigungen in zwei, vorteilhafter Weise in drei Dimensionen. Das bedeutet, wird das Mobiltelefon MFG4 bzw. dessen Spitzenabschnitt, in dem sich der Beschleunigungssensor GS befindet, über die Oberfläche OF hinweg bewegt, um beispielsweise ein Schriftzeichen zu beschreiben, so erfasst der Beschleunigungssensor GS die an der Spitze des Mobiltelefons MFG4 auftretenden Beschleunigungen. Durch zweifache Integration der Beschleunigungsdaten über die Zeit lässt sich eine Bewegungskurve bzw. Ortskurve der Bewegung der Spitze des Mobiltelefons MFG4 berechnen. Diese Ortskurve wird dann wiederum der Erkennungseinrichtung EKE zugeführt, die aus der Bewegungskurve ein Schriftzeichen oder mehrere Schriftzeichen ermittelt.
Nach der grundsätzlichen Erläuterung des Aufbaus einer möglichen Vorrichtung zum Erfassen von Schriftzeichen soll nun anhand der 1 bis 4 ein Verfahren zum Erfassen von Schriftzeichen bzw. zu deren Korrektur bei einer fehlerhaften Erfassung oder fehlerhaften Ermittlung (durch die Erkennungseinrichtung) erläutert werden.
Dabei soll zunächst anhand der 1 und 2 ein Verfahren zum Eingeben einzelner Schriftzeichen in Form von Ziffern dargestellt werden. In 1 sind dazu vier Ereignislinien gezeigt, in denen die Zeit von links nach rechts voranschreitet. Die erste Ereignislinie, die "Schrifteingabe"-Ereignislinie zeigt an, dass die Ziffern "0" "1" "2" "3" "4" in jeweiligen Zeitintervallen TSZ nacheinander von einem Benutzer eingegeben werden. Die Eingabe kann dabei mittels einer der in den 5 bis 8 dargestellten Mobiltelefonen MFG1 bis MFG4 erfolgen. Genauer gesagt, wird bei der Schrifteingabe ein jeweiliges Handschriftelement HSE eines Benutzers mittels eines jeweiligen Sensors (BS, OS, BS1 oder GS) erfasst. Wie bereits erwähnt, umfasst im Beispiel von 1 ein Handschriftelement HSE ein Schriftzeichen SZ in der Form einer Ziffer.
Die erfasste Bewegung eines Benutzers zur Beschreibung einer Ziffer bzw. ein Handschriftelement wird dann einer jeweiligen Erkennungseinrichtungen EKE zugeführt, die die dem Handschriftelement zu Grunde liegende Ziffer mittels einer bekannten Handschrifterkennungsmethode ermittelt. Dies bedarf einer bestimmten Rechenzeit, weshalb die zweite Ereignislinie, die "erkannte Eingabe"-Ereignislinie, zeitlich nachfolgend beginnt. Im Beispiel sei angenommen, dass es fünf erkannte Zeichen bzw. Ziffern ESZ gibt, wobei vier Ziffern der eingegebenen Ziffernfolge ZF (vgl. 2) richtig erkannt werden, während die dritte Ziffer "2" falsch von der Erkennungseinrichtung erkannt wird, so dass die dritte Ziffer nun eine "4" an Stelle einer "2" darstellt.
In der dritten Ereignislinie, der "Sprachausgabe"-Ereignislinie werden schließlich die von der Erkennungseinrichtung erkannten Schriftzeichen ESZ durch die akustische Ausgabeeinrichtung bzw. deren Lautsprecher LS, die hier als sogenanntes "Text-to-Speech"-System ("Text-zu-Sprache"-System) arbeiten, in Form von Worten EWO ausgegeben. Auf Grund der Berechnung für die Sprachausgabe beginnt die akustische Ausgabe der erkannten Zeichen ESZ mit einer zeitlichen Verzögerung zu der Erfassung oder Ermittlung der jeweiligen Schriftzeichen. Es wird angenommen, dass die Ausgabe der Wörter EWO, die die erkannten Schriftzeichen bzw. Ziffern repräsentieren, in einer einheitlichen Geschwindigkeit erfolgt. Das bedeutet, die Ausgabe einer jeweiligen Ziffer erfolgt in gleichen Zeitintervallen TAK.
Betrachtet man nun 1 von der ersten Ereignislinie zur dritten Ereignislinie so fällt auf, dass auf Grund zwischenzeitlicher Berechnungen und der akustischen Ausgabe mit gleich bleibender Geschwindigkeit beispielsweise mit der Erfassung der vierten Ziffer bereits begonnen wurde, während mittels akustischer Sprachausgabe gerade die erkannte dritte Ziffer ausgegeben wird. Um nun zu vermeiden, dass ein Benutzer, der anhand der akustischen Sprachausgabe erkennt, dass seine dritte eingegebene Ziffer ("2") falsch erkannt wurde, die gerade eingegebene vierte Ziffer ("3") wieder löschen muss oder umständlich zur falsch erkannten Ziffer navigieren muss, um schließlich zur falsch eingegebenen dritten Ziffer zu gelangen, wie es in herkömmlichen Systemen zur Korrektur von Zeichen vorgesehen ist, sieht die vorliegende Erfindung gemäß dieser Ausführungsform eine vereinfachte Vorgehensweise vor.
Gemäß dieser Ausführungsform der Erfindung muss ein Benutzer, der gerade Schriftzeichen eingibt, lediglich die akustische Ausgabe der erkannten Ziffern verfolgen bzw. beobachten, und sofort, wenn er erkennt, dass eine Ziffer falsch eingegeben oder falsch erkannt wurde, unmittelbar nach Ausgabe dieser Ziffer (allgemein gesagt nach Ausgabe des Schriftzeichens) ein akustisches Korrektursignal, beispielsweise in der Form des Wortes "FALSCH" ausgeben. Wie es in 1 bzgl. der vierten Ereignislinie, der " Spracheeingabe"-Ereignislinie gezeigt ist, gibt ein Benutzer, der an der Sprachausgabe-Ereignislinie erkennt, dass das dritte von ihm eingegebene Zeichen falsch erkannt wurde, unmittelbar das Wort "FALSCH" aus. Durch dieses akustische Korrektursignal KOS in Form des Wortes "FALSCH" nach einem falschen Zeichen FZ wird das eigentliche Korrekturverfahren gestartet.
Anhand von 2, in der vier Bildschirmabschnitte D1, D2, D3 und D4 gezeigt sind, welche jeweils zeitlich aufeinander folgende Abschnitte der Anzeigeeinrichtung DSP während des Korrekturverfahrens darstellen, sollen nun die einzelnen Korrekturschritte ausführlich erläutert werden. Im Bildschirmabschnitt D1 wird dabei die gemäß der zweiten Ereignislinie von 1 erkannte Zeichenfolge ZF bzw. Ziffernfolge "01434" dargestellt, wobei der Cursor CUR am Ende der Ziffernfolge angibt, dass ein Benutzer anschließend an die erkannten Ziffern weitere Ziffern oder Schriftzeichen eingeben kann. Während der optischen Darstellung der erkannten Ziffernfolge wird die Ziffernfolge ebenso akustisch ausgegeben, was durch das Lautsprecher-Symbol links neben dem Bildschirmabschnitt D1 veranschaulicht ist und bezüglich der dritten Ereignislinie von 1 bereits erläutert worden ist. Wird nun die dritte erkannte Ziffer als die Ziffer "4" ausgegeben, so ertönt das akustische Korrektursignal des Benutzers in Form des Wortes "FALSCH", so dass die gerade akustisch ausgegebene Ziffer als falsch markiert wird. Das akustische Korrektursignal wird dabei von einer akustischen Eingabeeinrichtung eines Mobiltelefons bzw. deren Mikrofon MIK empfangen. Die akustische Eingabeeinrichtung dient dabei als integrierter Spracherkenner, der beispielsweise im sogenannten "voice activation"-Modus betrieben werden kann, d. h. bei dem der Spracherkenner immer aktiv ist und bei Erkennung eines bestimmten Wortes eine entsprechende vorbestimmte Aktion auslöst.
Eine derartige Markierung eines falschen Schriftzeichens bzw. einer falschen Ziffer kann, wie es in dem zweiten Bildschirmabschnitt D2 gezeigt ist, wiederum durch einen Cursor CUR erfolgen.
Es ist dabei möglich, dass das gesamte Korrekturverfahren, das durch die Ausgabe des akustischen Korrektursignals durch den Benutzer eingeleitet wird, durch eine Korrektureinrichtung in der Form der in den 5 bis 8 bezeichneten Einfügeeinrichtung EFE gesteuert wird. Dabei kann dann nach Empfangen des akustischen Korrektursignals die Zeichenfolge der erkannten Schriftzeichen ESZ sowie die Stelle des Schriftzeichens mitgeteilt werden, auf dessen Ausgabe hin das akustische Korrektursignal empfangen wurde. Die Einfügeeinrichtung veranlasst daraufhin, wie schon bezüglich Bildschirmabschnitt D2 erläutert, dass der Cursor CUR nun auf das falsche Schriftzeichen FZ bzw. im vorliegenden Fall die falsche Ziffer FZ gesetzt wird. Die Markierung bedeutet nun, dass durch eine folgende Eingabe eines Schriftzeichens bzw. einer Ziffer das markierte Schriftzeichen ersetzt wird.
Dies ist in dem Bildschirmabschnitt D3 veranschaulicht. Eine Eingabe eines neuen Schriftzeichens kann dabei zum einen durch Erfassung eines Handschriftelements HSE erfolgen, das ein Schriftzeichen SZ repräsentiert, wie es auch schon bezüglich der ersten Ereignislinie von 1 erläutert worden ist. Zum anderen kann die Eingabe eines neuen Schriftzeichens auch durch Spracheingabe erfolgen, indem der Benutzer ein Sprachelement SPE ausgibt, das ein Wort WO umfasst, welches das Schriftzeichen oder eine Ziffer repräsentiert. Im vorliegenden Fall soll an Stelle der falsch erkannten Ziffer "4" die korrekte Ziffer "2" eingefügt werden. Wie es im dritten Bildschirmabschnitt D3 somit zu sehen ist, wird in die erkannte Ziffernfolge an der Stelle der falsch erkannten Ziffer die nun richtige Ziffer, welche nach Empfang des akustischen Korrektursignals eingegeben worden ist, eingefügt.
Wie es in dem Bildschirmabschnitt D4 gezeigt ist, wird nach dem Einfügen des korrekten Zeichens bzw. der korrekten Ziffern der Cursor wieder an das Ende der Ziffernfolge gesetzt, so dass ein Benutzer nun neue Zeichen bzw. Ziffern am Ende der Ziffernfolge anfügen kann. Das bedeutet, die Navigation des Cursors vom Ende der Ziffernfolge zur falsch eingegebenen Ziffer, um diese zu korrigieren, und die Navigation von dieser Stelle zurück zum Ende zu der Ziffernfolge nach erfolgter Korrektur wird automatisch (hier im Beispiel von der Einfügeeinrichtung EFE) durchgeführt. Somit steht dem Benutzer ein einfaches Verfahren ohne großen Aufwand zu Verfügung, um falsch eingegebene Zeichen korrigieren zu können.
Es sei nun auf die 3 und 4 verwiesen, in denen ein Verfahren zur Eingabe und Korrektur ganzer Wörter, welche jeweils aus einem Satz von Schriftzeichen bestehen, erläutert ist. Im vorliegenden Fall wird also angenommen, dass ein Benutzer nicht nur einzelne Ziffern eingibt, sondern ganze Texte mit aus Buchstaben bestehenden Wörtern. Die Eingabe der jeweiligen Buchstaben für die Wörter kann entsprechend der Eingabe der Ziffern erfolgen, wie es bereits bzgl. 1 erläutert worden ist. Dabei kann entsprechend der ersten Ereignislinie von 1 durch Erfassen der Bewegung eines Benutzers, welche einen Buchstaben repräsentiert, eine Schrifteingabe bzw. Handschrifteingabe erfolgen. Genauer gesagt können einzelne Handschriftelemente eines Benutzers erfasst werden, die einen Satz bestehend aus mehreren Schriftzeichen umfassen. Zur Kenntlichmachung für die Eingabeeinrichtung bzw. die Erkennungseinrichtung und Einfügeeinrichtung, welche Schriftzeichen zu einem bestimmten Handschriftelement gehören, kann ein Benutzer beispielsweise nach Eingabe eines Handschriftelements eine der Tasten der Tastaturen TAS oder TAS1 drücken. Es ist auch denkbar, dass der Benutzer zu Beginn der Eingabe eines Handschriftelements eine der Tasten der Tastaturen TAS oder TAS1 drückt und solange gedrückt hält, bis die Eingabe des Handschriftelements beendet ist. Auf diese Weise ist es somit möglich, einzeln erfasste Schriftzeichen, wie es gemäß der ersten Ereignislinie von 1 erläutert wurde, jeweils zu erfassen, anschließend, wie es gemäß der zweiten Ereignislinie von 1 erläutert worden ist, durch die Erkennungseinrichtung EKE mittels eines Handschrifterkennungsverfahren zu erkennen, und dann als Wörter oder Sätze von Schriftzeichen in einer Zeichenfolge zusammenzufügen. Eine derartige Zeichenfolge erkannter Wörter bzw. Schriftzeichen ist schließlich in 3 in Form eines Textes TXT dargestellt, der, wie es auch bezüglich 2 erläutert worden ist auf dem Display eines der Mobiltelefone MFG1 bis MFG4 nach Erkennung angezeigt werden kann.
Zur Erläuterung des Korrekturverfahrens gemäß einer weiteren Ausführungsform der Erfindung sei nun auf die erste Ereignislinie von 3 verwiesen, die im Wesentlichen der dritten Ereignislinie von 1 entspricht. Die gerade von der Erkennungseinrichtung EKE erkannten Wörter werden zur Überprüfung einem Benutzer akustisch durch die akustische Ausgabeeinrichtung bzw. deren Lautsprecher LS ausgegeben. Wie es bereits in der Darstellung des Textes TXT zu erkennen ist, ist bei der Erkennung des vierten Wortes "spaer" ein Fehler unterlaufen. Der Benutzer hört nun die einzelnen ausgegebenen Worte EWO und erkennt beim vierten Wort, dass dieses falsch erkannt worden ist. Somit gibt er unmittelbar auf die Ausgabe des vierten (falschen) Wortes FW hin ein akustisches Korrektursignal KOS in der Form des Wortes "FALSCH" aus, wie es in der zweiten Ereignislinie von 3 gezeigt ist.
Das akustische Korrektursignal KOS wird von dem Mikrofon MIK der akustischen Eingabeeinrichtung (eines der Mobiltelefone MFG1 bis MFG4) empfangen, wodurch schließlich der eigentliche Korrekturvorgang in Gang gesetzt wird. Dieser Korrekturvorgang soll nun in vereinfachter Weise anhand von 4 erläutert werden. Entsprechend dem zweiten Bildschirmabschnitt D2 von 2 wird beispielsweise im Bildschirmabschnitt D5 von 4 wieder von der Einfübeeinrichtung EFE (eines der Mobiltelefone MFG1 bis MFG4) gesteuert ein Cursor CUR auf das fehlerhafte Wort gesetzt. Das bedeutet, das durch den Cursor CUR markierte Wort soll durch eine folgende Eingabe eines Wortes bzw. eines Satzes von Schriftzeichen ersetzt werden. Im vorliegenden Falle wird mittels einer Schrifteingabe – symbolisiert auf der linken Seite von 4 – ein Handschriftelement HSE eines Benutzers erfasst, das das korrekte Wort bzw. den korrekten Satz von Schriftzeichen SSZ repräsentiert. Nach Erfassen dieses Korrekturwortes wird das Wort (genauer die einzelnen Schriftzeichen) durch die Erkennungseinrichtung EKE erkannt und an Stelle des falsch erkannten Wortes in den Text TXT eingesetzt. Dies ist in dem Bildschirmabschnitt D6 von 4 zu erkennen. Anschließend wird jede folgende Eingabe von Schriftzeichen bzw. Sätze von Schriftzeichen wieder an das Ende des Textes TXT angefügt. Das bedeutet auch in dem in den 3 und 4 dargestellten Fall erfolgt die Ersetzung eines falsch eingegebenen oder falsch erkannten Wortes bequem, ohne dass ein Benutzer vom Ende eines eingegebenen Textes zur fehlerhaften Stelle navigieren muss, und nach einer Korrektur wieder zum Ende zurück navigieren muss.

Claims

Verfahren zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage, mit folgenden Schritten: – Erfassen einer Mehrzahl von Handschriftelementen (HSE) nacheinander, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen (SZ) repräsentiert; – Ermitteln der jeweiligen Sätze von Schriftzeichen aus den erfassten Handschriftelementen (HSE), um anhand der ermittelten Sätze von Schriftzeichen (ESZ) eine Zeichenfolge (ZF; TXT) in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden; – Akustisches Ausgeben der ermittelten Sätze von Schriftzeichen (EWO) in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen; – Empfangen eines akustischen Korrektursignals (KOS) eines Benutzers; – Einfügen eines weiteren Satzes von Schriftzeichen (SSZ; WO) an die Stelle des ermittelten Satzes von Schriftzeichen (FZ, FW) in der Zeichenfolge, auf deren akustische Ausgabe hin das akustische Korrektursignal empfangen wurde.
Verfahren nach Anspruch 1, bei dem nach dem Empfangen des akustischen Korrektursignals (KOS) ein weiteres Handschriftelement (HSE) erfasst wird, das den weiteren Satz bestehend aus zumindest einem Schriftzeichen repräsentiert, und der weitere Satz von Schriftzeichen ermittelt wird.
Verfahren nach Anspruch 1, bei dem nach dem Empfangen des akustischen Korrektursignals (KOS) ein Sprachelement (SPE) erfasst wird, das ein Wort (WO) umfasst, welches den weiteren Satz vom Schriftzeichen repräsentiert und der weitere Satz von Schriftzeichen ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Erfassen von Handschriftelementen (HSE) ein Erfassen einer Bewegung eines Benutzers umfasst, mit der der Benutzer ein Schriftzeichen (SZ) beschreibt.
Verfahren nach Anspruch 4, bei dem das Erfassen einer Bewegung eines Benutzer mittels eines Beschleunigungssensors (GS), eines optischen Sensors (OS) oder eines Berührungssensors (BS, BS1) erfolgt.
Verfahren nach einem der Ansprüche 1 bis 3, bei dem das Erfassen von Handschriftelementen (HSE) ein Scannen von geschriebenen Schriftzeichen umfasst.
Vorrichtung zum Eingeben von Schriftzeichen in eine Datenverarbeitungsanlage, mit folgenden Merkmalen: – eine Sensoreinrichtung (BS, BS1, OS, GS) zum Erfassen einer Mehrzahl von Handschriftelementen (HSE) nacheinander, von denen jedes einen Satz bestehend zumindest aus einem Schriftzeichen repräsentiert; – einer Erkennungseinrichtung (EKE) zum Ermitteln der jeweiligen Sätze von Schriftzeichen (SZ, SSZ) aus den erfassten Handschriftelementen (HSE), um anhand der ermittelten Sätze von Schriftzeichen eine Zeichenfolge (TXT) in der Reihenfolge des Erfassens der den Sätzen zugeordneten Handschriftelementen zu bilden; – einer akustischen Ausgabeeinrichtung (LS) zum akustischen Ausgeben der ermittelten Sätze von Schriftzeichen in der Reihenfolge des Erfassens der diesen zugeordneten Handschriftelementen; – eine akustische Eingabeeinrichtung (MIK) zum Empfangen eines akustischen Korrektursignals (KOS) eines Benutzers; – eine Einfügeeinrichtung (EFE) zum Einfügen eines weiteren Satzes von Schriftzeichen an die Stelle des ermittelten Satzes vom Schriftzeichen (FZ; FW) in der Zeichenfolge, auf deren akustische Ausgabe hin das Korrektursignal (KOS) empfangen wurde.
Vorrichtung nach Anspruch 7, bei der die Sensoreinrichtung einen Beschleunigungssensor (GS), einen optischen Sensor (OS) oder einen Berührungssensor (BS, BS1) umfasst.
Vorrichtung nach Anspruch 7 oder 8, bei der die akustische Ausgabeeinrichtung einen Lautsprecher (LS) und die akustische Eingabeeinrichtung ein Mikrofon (MIK) umfasst.
Vorrichtung nach einem der Ansprüche 7 bis 9, bei der die Einfügeeinrichtung (EFE) und/oder die Erkennungseinrichtung (EKE) einen Mikroprozessor aufweisen.
Vorrichtung nach einem der Ansprüche 7 bis 10, die ferner eine Speichereinrichtung zu Speichern der Zeichenfolge aufweist.
Vorrichtung nach einem der Ansprüche 7 bis 11, die ferner eine Anzeigeeinrichtung (DSP) zum Anzeigen der Zeichenfolge (TXT) aufweist.
Datenverarbeitungsanlage (MFG1, MFG2, MFG3, MFG4) mit einer Vorrichtung zum Eingeben von Schriftzeichen nach einem der Ansprüche 7 bis 12.
Datenverarbeitungsanlage nach Anspruch 13, die als ein tragbares elektronisches Gerät ausgebildet ist.
Datenverarbeitungsanlage nach Anspruch 14, die als einen Mobilfunkgerät (MFG1, MFG2, MFG3, MFG4) oder ein PDA ausgebildet ist.