DE10034284A1

DE10034284A1 - Input device for handwriting recognition for an electronic information and communication system and method for acquiring input data

Info

Publication number: DE10034284A1
Application number: DE10034284A
Authority: DE
Inventors: Burghardt Schallenberger
Original assignee: Siemens Corp
Current assignee: Siemens Corp
Priority date: 2000-07-14
Filing date: 2000-07-14
Publication date: 2002-01-24
Also published as: WO2002007424A3; WO2002007424A2

Abstract

The invention relates to an input device and to a method for carrying out handwriting recognition for an electronic information and communications system. According to the invention, the input device (1, 9) for carrying out handwriting recognition comprises a wireless data interface (7, 8) to the electronic information and communications system (2, 3, 4), and comprises means for recognizing the movement of stylus (5). The invention is characterized in that means, which are provided for translating the movement information into digital characters that conform to those of a keyboard, are arranged in the wirelessly connected input device.

Description

Die Erfindung betrifft eine Eingabevorrichtung und ein Ver fahren zur Handschriftenerkennung für ein elektronisches In formations- und Kommunikationssystem mit mindestens einem Mikroprozessor, einem Speicher für Daten und Programme, wobei die Eingabevorrichtung für die Handschriftenerkennung eine drahtlose Datenschnittstelle zum elektronischen Informations- und Kommunikationssystem und Mittel zur Erkennung der Bewe gung eines Stiftes aufweist.The invention relates to an input device and a Ver drive to handwriting recognition for an electronic IN formation and communication system with at least one Microprocessor, a memory for data and programs, wherein the input device for handwriting recognition wireless data interface for electronic information and communication system and means for detecting the movement has a pin.

Die zunehmende Nutzung von elektronischen Informations- und Kommunikationssystemen, wie beispielsweise PCs, Lap-Tops, Palm-Tops oder von Mobiltelefonen und deren Verwendung zur allgemeinen Kommunikation und Datenübertragung für immer grö ßere Bevölkerungskreise macht es erforderlich, einfach zu bedienende Mensch-Maschine-Schnittstellen zu entwickeln.The increasing use of electronic information and Communication systems, such as PCs, lap-tops, Palm tops or of cell phones and their use for general communication and data transfer forever gr Greater populations simply make it necessary to develop operating human-machine interfaces.

Eine allgemein bekannte Schnittstelle zur Datenerfassung von handgeschriebenen Daten stellt beispielsweise ein Scanner mit Handschriftenerkennung dar, in den ein zuvor beschriebenes Blatt Papier eingelegt wird und die handschriftlich erfaßten Daten aufbereitet, in computerlesbare ASCII-Zeichen übersetzt und gespeichert oder weiterverarbeitet werden. Dieses Verfah ren und eine solche Vorrichtung sind umständlich zu bedienen und erfordern großen Aufwand.A well known interface for data collection from a scanner, for example, provides handwritten data Handwriting recognition represents a previously described Sheet of paper is inserted and the handwritten Data processed, translated into computer-readable ASCII characters and saved or further processed. This procedure ren and such a device are cumbersome to use and require great effort.

Eine andere bekannte Möglichkeit der Datenerfassung durch Handschriftenerkennung ist aus der europäischen Patentanmel dung EP 0 907 278 A2 bekannt. Hier wird ein stiftartig ausge bildetes Mobiltelefon mit eingebauten Bewegungssensoren ver wendet, wobei die Daten der Bewegungssensoren drahtlos an einen PC zur weiteren Verarbeitung und Zeichenerkennung wei tergeleitet werden. Da das stiftartige Mobiltelefon aller dings nur die Bewegungsinformationen selbst und keine compu terlesbare Zeichensätze weiterleitet, verstehen nur speziell hierfür ausgerichtete Geräte diese Informationen, beziehungs weise können diese Informationen weiterverarbeiten und über setzen.Another known way of collecting data through Handwriting recognition is from the European patent application EP 0 907 278 A2. Here is a pen-like formed mobile phone with built-in motion sensors applies the data from the motion sensors wirelessly a PC for further processing and character recognition be forwarded. Because everyone's pen-like cell phone However, only the movement information itself and no compu readable character sets forward only understand specifically devices aligned for this information, resp Wise can process this information and about put.

Es ist nun Aufgabe der Erfindung, eine vereinfacht anzubin dende Eingabevorrichtung zur Handschriftenerkennung für ein elektronisches Informations- und Kommunikationssystem und ein Verfahren zur Erfassung von Eingabedaten hierzu zu finden, wobei auf der Seite des Informations- und Kommunikationssys tems auch keine Entschlüsselung oder Übersetzung der Hand schrift mehr erfolgen soll.The object of the invention is to provide a simplified one Ending input device for handwriting recognition electronic information and communication system and a To find methods for collecting input data for this, being on the side of the information and communication system tems also no decryption or translation of the hand writing should be done.

Diese Aufgabe wird durch die Merkmale des Anspruches 1 und des Anspruches 11 gelöst.This object is achieved by the features of claim 1 and of claim 11 solved.

Der Erfinder hat erkannt, daß eine wesentliche Verbesserung und Vereinfachung von Dateneingaben möglich ist, wenn die von Hand vorgenommenen Eingaben, wie z. B. Handschrift, Unter schrift, handgeschriebene Symbole, nicht direkt am Informati ons- und Kommunikationssystem erfolgen, sondern von diesem losgelöst in einer eigenen Eingabevorrichtung vorgenommen werden können. Diese eigene Eingabevorrichtung kann ein Stift mit im Stift integrierter Sensorik sein, ein Touch-Screen, elektronisches Papier, oder ähnliches. Die eigene Eingabevor richtung ist dabei über eine schnurlose Kommunikationstech nik, z. B. Infrarot, DECT+, Bluetooth, oder ähnliches, an das eigentliche Endgerät, ein Informations- und Kommunikations system, angebunden. Bei ausschließlicher Erfassung von Daten kann die Anbindung unidirektional erfolgen, während bei ande ren Eingabevorrichtungen, die auch selbst über eine Ausgabe möglichkeit verfügen, z. B. ein Touch-Screen, die schnurlose Anbindung auch bidirektional sein kann. The inventor has recognized that a substantial improvement and simplification of data entry is possible if that of Hand-made entries, such as B. Handwriting, sub writing, handwritten symbols, not directly at the Informati ons and communication system, but from this detached in a separate input device can be. This own input device can be a pen with sensors integrated in the pen, a touch screen, electronic paper, or the like. Your own input direction is via a cordless communication tech nik, e.g. B. infrared, DECT +, Bluetooth, or the like, to the actual terminal, an information and communication system, connected. When only collecting data the connection can be unidirectional, while in others ren input devices, which also have an output have possibility, e.g. B. a touch screen, the cordless Connection can also be bidirectional.

Dementsprechend schlägt der Erfinder vor, eine Eingabevor richtung zur Handschriftenerkennung für ein elektronisches Informations- und Kommunikationssystem mit mindestens einem Mikroprozessor, einem Speicher für Daten und Programme, wobei die Eingabevorrichtung für die Handschriftenerkennung eine drahtlose Datenschnittstelle zum elektronischen Informations- und Kommunikationssystem und Mittel zur Erkennung der Bewe gung eines Stiftes aufweist, dahingehend zu verbessern, daß die Mittel zur Übersetzung der Bewegungsinformation in tasta turkonforme digitale Zeichen in der drahtlos verbundenen Ein gabevorrichtung angeordnet sind.Accordingly, the inventor suggests an input Direction for handwriting recognition for an electronic Information and communication system with at least one Microprocessor, a memory for data and programs, wherein the input device for handwriting recognition wireless data interface for electronic information and communication system and means for detecting the movement tion of a pen to improve in that the means for translating the movement information into tasta Compliant digital signs in the wirelessly connected on are arranged.

Zur Erkennung der Bewegung des Stiftes können unterschiedli che Meßverfahren einzeln oder in Kombination genutzt werden. So kann das Mittel zur Erkennung der Bewegung des Stiftes Beschleunigungssensoren, optische Sensoren, insbesondere eine CCD-Kamera, Drucksensoren und/oder Wegesensoren aufweisen.To detect the movement of the pen can differ che measuring methods can be used individually or in combination. So the means of detecting the movement of the pen Acceleration sensors, optical sensors, especially one CCD camera, pressure sensors and / or displacement sensors.

Eine konkrete Ausgestaltung kann beispielsweise eine Art se parater Touch-Screen mit drahtloser Schnittstelle zum elekt ronischen Informations- und Kommunikationssystem, zum Bei spiel einem PC, Palm-Top oder Handy, sein.A specific configuration can be, for example, a type se separate touch screen with wireless interface to the elect ronic information and communication system, for the play on a PC, palm-top or cell phone.

Eine besonders vorteilhafte Anwendung der Erfindung kann dar in liegen, daß die Eingabevorrichtung mit Handschriftenerken nung zur Identifizierung eines zugelassenen Benutzers verwen det wird.A particularly advantageous application of the invention can be in lie that the input device with handwriting recognition Use to identify an authorized user det.

Beispielhaft kann die Datenübertragung der drahtlosen Daten schnittstelle zwischen dem Informations- und Kommunikations system und der Eingabevorrichtung nach dem DECT- oder dem Bluetooth-Standard oder im 433 MHz-Frequenzbereich oder im Infrarotbereich arbeiten. For example, the data transmission of the wireless data interface between the information and communication system and the input device according to the DECT or Bluetooth standard or in the 433 MHz frequency range or in Infrared range.

Erfindungsgemäß kann auf der Seite des Informations- und Kom munikationssystems entweder eine vorhandene IR- oder Funk- Schnittstelle verwendet werden, oder es wird ein Adapter, der die drahtlos gesendeten Zeichen aufnimmt mit einer I/O-Schnittstelle, insbesondere der Tastaturschnittstelle, ver bunden.According to the invention on the information and com communication system either an existing IR or radio Interface will be used, or it will be an adapter that records the wirelessly transmitted characters with a I / O interface, especially the keyboard interface, ver prevented.

Als erfindungsgemäßes Verfahren zur Lösung der gestellten Aufgabe wird ein an sich bekanntes Verfahren zur Erfassung von Eingabedaten in ein elektronisches Informations- und Kom munikationssystem mit mindestens einem Mikroprozessor, einem Speicher für Daten und Programme und einer Eingabevorrichtung für eine Handschriftenerkennung, dahingehend verbessert, daß die handschriftliche Bewegung eines Stiftes einer Daten ein gebenden Person mit Hilfe eines drahtlos verbundenen Mittels zur Handschriftenerfassung erfaßt, in tastaturkonforme, digi tale Zeichen übersetzt und drahtlos zum elektronischen Infor mations- und Kommunikationssystem übertragen wird.As a method according to the invention for solving the posed The task becomes a known method for recording of input data in an electronic information and com communication system with at least one microprocessor, one Storage for data and programs and an input device for handwriting recognition, improved in that the handwritten movement of a pen of data giving person using a wirelessly connected means recorded for handwriting, in keyboard-compliant, digi Tale characters translated and wireless to electronic information mation and communication system is transmitted.

Schließlich schlägt der Erfinder auch vor, die individuellen Eigenheiten einer Handschrift zur Individualisierung und Si cherung des Informations- und Kommunikationssystems zu nutzen und beispielsweise die Aktivierung oder den Zutritt zu ge speicherten Daten erst nach Erkennung spezifischer Eigenhei ten der Handschrift einer bestimmten Person zu ermöglichen. Weitere Merkmale der Erfindung ergeben sich aus den Unteran sprüchen und der nachfolgenden Beschreibung eines Ausfüh rungsbeispiels unter Bezugnahme auf die Zeichnungen.Finally, the inventor also suggests the individual Peculiarities of a handwriting for individualization and Si security of the information and communication system and for example activation or access to ge stored data only after recognition of specific properties to allow the handwriting of a specific person. Further features of the invention result from the Unteran say and the following description of an execution tion example with reference to the drawings.

Im folgenden wird die Erfindung anhand der Zeichnungen be schrieben: In the following the invention with reference to the drawings wrote:

Fig. 1 Handy mit drahtlos per Funk angebundenem Tablett zur Handschriftenerfassung; Fig. 1 cell phone with wirelessly connected tablet for handwriting capture;

Fig. 2 PDA (personal digital assistant) mit drahtlos über IR-Schnittstelle angebundenem Tablett zur Hand schriftenerfassung; Fig. 2 PDA (personal digital assistant) with wirelessly connected via IR interface tablet for handwriting acquisition;

Fig. 3 Personal Computer mit drahtlos über IR- Schnittstelle angebundener digitaler Kamera zur Handschriftenerfassung. Fig. 3 personal computer with wirelessly connected via IR interface digital camera for handwriting detection.

Fig. 1 zeigt ein elektronisches Informations- und Kommunika tionssystem mit Handschriftenerfassung in Form eines Handy's 2, das über eine Funkstrecke, z. B. DECT, mit einem Tablett 1 verbunden ist. Das Tablett 1 verfügt beispielhaft über eine drucksensitive Oberfläche 10, welche die Bewegung der Spitze des Stiftes 5 erkennt, die Bewegungen des Stiftes 5 in tasta turkonforme Zeichen, z. B. ASCII-Zeichen, übersetzt und über die Antennen 7 und 2.1 an das verbundene Handy 2 weiterlei tet. Das Tablett 1 verfügt also über ein integriertes Soft wareprogramm welches direkt eine Umwandlung der Handschrift in Zeichen und/oder Grafiksymbole und/oder sonstige grafische Informationen, wie Vektor- oder Pixelgrafik, vornimmt und nur die fertigen Daten weiterleitet. Fig. 1 shows an electronic information and communication system with handwriting detection in the form of a cell phone 2 , which over a radio link, for. B. DECT, is connected to a tray 1 . The tablet 1 has, for example, a pressure-sensitive surface 10 , which detects the movement of the tip of the pen 5 , the movements of the pen 5 in keyboard-conforming characters, for. B. ASCII characters, translated and tet via antennas 7 and 2.1 to the connected cell phone 2 . The tablet 1 thus has an integrated software program which directly converts the handwriting into characters and / or graphic symbols and / or other graphic information, such as vector or pixel graphics, and only forwards the finished data.

Die Fig. 2 zeigt ein ähnliches elektronisches Informations- und Kommunikationssystem mit Handschriftenerfassung wie Fig. 1, jedoch ist hier ein PDA 3 über IR-Schnittstellen 3.1 und 8 mit dem Tablett 1 verbunden. Das Tablett 1 kann auch hier über eine drucksensitive Oberfläche 10 oder über induktive Sensoren verfügen, welche die Bewegung der Spitze des Stiftes 5 erkennen und in Form von Bewegungskoordinaten weiterleiten. Möglich ist es allerdings auch, einen besonderen Stift zu verwenden, der mit Beschleunigungs- und Wegesensoren ausges tattet ist und die gemessene Bewegung zunächst an das Tablett weiterleitet. Im Tablett 1 erfolgt eine Auswertung der Bewe gungen des Stiftes 5, wobei anschließend die übersetzten Da ten über die IR-Strecke an das verbundene PDA 3 weiterleitet werden. FIG. 2 shows a similar electronic information and communication system with handwriting detection as FIG. 1, but here a PDA 3 is connected to the tablet 1 via IR interfaces 3.1 and 8 . Here, too, the tray 1 can have a pressure-sensitive surface 10 or inductive sensors which detect the movement of the tip of the pin 5 and pass it on in the form of movement coordinates. However, it is also possible to use a special pen that is equipped with acceleration and displacement sensors and first of all forwards the measured movement to the tablet. In the tablet 1 there is an evaluation of the movements of the pen 5 , with the translated data then being forwarded via the IR link to the connected PDA 3 .

Eine weitere Ausführungsvariante des elektronischen Informa tions- und Kommunikationssystems mit Handschriftenerfassung ist in der Fig. 3 dargestellt. Hier ist als Mittel zur Hand schriftenerfassung eine digitale Kamera 9 über eine IR- Schnittstelle 8 mit einem Personal Computer 4 verbunden. Die Kamera 9 erfaßt mit ihrem Objektiv 6 und einem integrierten CCD-Sensor die Bewegung des Stiftes 5 über einer definierten Fläche, beispielsweise einem Blatt Papier 11. Zur erleichter ten Bildverarbeitung kann der Stift 5 an bestimmten markanten Stellen, z. B. an der Stiftspitze und am Stiftende, über eine Farbmarkierung oder eine leuchtende LCD verfügen, so daß sich hieraus die Bewegung des Stiftes leichter digitalisieren läßt. Die Kamera 9 verfügt zusätzlich über einen Mikroprozes sor mit Programm- und Datenspeicher und übersetzt die erfaßte Handschrift aufgrund der Bewegungen des Stiftes 5 in compu terlesbare Zeichen, die an den Personal Computer 4 übermit telt werden.Another embodiment of the electronic information and communication system with handwriting detection is shown in FIG. 3. Here, a digital camera 9 is connected to a personal computer 4 via an IR interface 8 as a means of recording the handwriting. With its lens 6 and an integrated CCD sensor, the camera 9 detects the movement of the pen 5 over a defined area, for example a sheet of paper 11 . To facilitate th image processing, the pen 5 at certain prominent places, for. B. at the tip and end of the pen, have a color marking or a luminous LCD, so that the movement of the pen can be digitized more easily. The camera 9 additionally has a microprocessor with program and data memory and translates the detected handwriting due to the movements of the pen 5 into computer-readable characters which are transmitted to the personal computer 4 .

Beispielhaft kann ein Adapter für die Tastaturschnittstelle des Informations- und Kommunikationssystems angeschlossen werden, so daß über die dargestellten Eingabevorrichtungen mit jedem handelsüblichen Gerät, z. B. einem PC oder PDA, Daten eingegeben werden können.An example is an adapter for the keyboard interface of the information and communication system be so that the input devices shown with any commercially available device, e.g. B. a PC or PDA, data can be entered.

Es versteht sich, daß die vorstehend genannten und nachste hend noch zu erläuternden Merkmale der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der Erfindung zu verlassen.It is understood that the above and next features to be explained not only in the specified combination, but also in others Combinations or alone can be used without to leave the scope of the invention.

Zusammenfassend wird also mit der geschilderten Erfindung eine Eingabevorrichtung vorgestellt, die als einfacher Ersatz für eine Eingabetastatur dienen kann, wobei gegenüber den gängigen Geräten mit Tastaturschnittstellen keine Änderung vorgenommen werden muß, da die übergebenen Eingabedaten be reits in einem bekannten Zeichen- und/oder Befehlssatz vor liegen. Auf diese Weise können beispielsweise alle bekannten Personal Computer, PDA's oder auch Mobilfunk- und Mobiltele fongeräte ohne spezifische Änderungen oder zusätzliche Soft ware angeschlossen werden.In summary, the described invention presented an input device as a simple replacement can serve for an input keyboard, with respect to the common devices with keyboard interfaces no change must be made because the input data transferred be already in a known character and / or command set lie. In this way, for example, all known ones Personal computers, PDAs or cell phones and cell phones phone devices without specific changes or additional soft goods are connected.

Claims

1. Input device for handwriting recognition for an electronic information and communication system ( 2 , 3 , 4 ) with at least one microprocessor, a memory for data and programs, the input device ( 1 , 9 ) for handwriting recognition a wireless data interface ( 7 , 8 ) to the electronic information and communication system ( 2 , 3 , 4 ), means for detecting the movement of a pen ( 5 ), characterized in that means for translating the movement information into keyboard-conforming digital characters are arranged in the wirelessly connected input device.

2. Input device according to the preceding claim 1, characterized in that the means for detecting the movement of the pin ( 5 ) comprises at least one acceleration sensor.

3. Input device according to one of the preceding claims 1-2, characterized in that the means for detecting the movement of the pen ( 5 ) has at least one optical sensor, in particular a camera ( 9 ) and image recognition software.

4. Input device according to one of the preceding claims 1-3, characterized in that the means for detecting the movement of the pin ( 5 ) has at least one pressure sensor.

5. Input device according to one of the preceding claims 1-4, characterized in that the means for detecting the movement of the pin ( 5 ) has at least one path sensor.

6. Input device according to one of the preceding An sayings 1-5, characterized in that the Mit tel for the translation of the script from the sensed Bewe in computer-readable characters (e.g. ASCII), in particular which contains a corresponding software module.

7. Input device according to one of the preceding claims 1-6, characterized in that the input device ( 1 , 9 ) with handwriting recognition is used to identify an authorized user.

8. Input device according to one of the preceding An sayings 1-7, characterized in that the wireless data interface between the information and communication system and the input device the DECT or the Bluetooth standard or in the 433 MHz Frequency range or in the infrared range.

9. Input device according to one of the preceding An Proverbs 1-8, characterized in that it is a personal computer, a lap-top, a palm Top, a telecommunications terminal, especially one Handy, acts.

10. Input device according to one of the preceding An sayings 1-9, characterized in that on the Side of the information and communication system Adapter for accepting the characters received wirelessly from the input device to a standardized task keyboard interface or other I / O interface is seen.

11. Method for capturing input data in an electro African information and communication system with min at least a microprocessor, a memory for data and programs and an input device for a Handwriting recognition, characterized, that the handwritten movement of a pen is one Data entry person using a wireless ver bound means for handwriting capture, in Keyboard-compliant, digital characters translated and wired go to electronic information and communication system is transmitted.

12. The method according to the preceding claim 11, because characterized by that individual peculiarities a handwriting for individualization and security of the information and communication system on average to be recognized for handwriting and one Release code that is sent to the information and Communication system is transmitted.