DE20300882U1 - Device for the interactive control of a mouse pointer of a graphical user interface - Google Patents
Device for the interactive control of a mouse pointer of a graphical user interfaceInfo
- Publication number
- DE20300882U1 DE20300882U1 DE20300882U DE20300882U DE20300882U1 DE 20300882 U1 DE20300882 U1 DE 20300882U1 DE 20300882 U DE20300882 U DE 20300882U DE 20300882 U DE20300882 U DE 20300882U DE 20300882 U1 DE20300882 U1 DE 20300882U1
- Authority
- DE
- Germany
- Prior art keywords
- image
- display device
- mouse pointer
- image display
- auxiliary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000002452 interceptive effect Effects 0.000 title description 4
- 238000004458 analytical method Methods 0.000 claims description 16
- 238000002156 mixing Methods 0.000 claims description 11
- 238000005562 fading Methods 0.000 claims description 5
- 230000036544 posture Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims 1
- 230000001276 controlling effect Effects 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 244000309464 bull Species 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04804—Transparency, e.g. transparent or translucent windows
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Description
102366GDE #.'# J. * :#>i t;# *102366GDE # .'# J. * : #> i t ; # *
Fraunhofer-Gesellschaft e. V.Fraunhofer Society
Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen BenutzerschnittstelleDevice for interactively controlling a mouse pointer of a graphical user interface
Die vorliegende Erfindung betrifft eine Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes, bei der die Bewegung einer Extremität eines Benutzers oder eines vom Benutzer geführten Objektes erfasst und zur Steuerung des Mauszeigers im Bild des Bilddarstellungsgerätes eingesetzt wird.The present invention relates to a device for interactively controlling a mouse pointer of a graphical user interface in the image of an image display device, in which the movement of an extremity of a user or of an object guided by the user is detected and used to control the mouse pointer in the image of the image display device.
Die Steuerung des Mauszeigers einer graphischen Benutzerschnittstelle stellt eine wesentliche Komponente bei vielen interaktiven Applikationen dar. Gerade an Orten, an denen keine ausreichende Arbeitsfläche zur Verfügung steht, ist eine Steuerung des Mauszeigers alleine durch die Bewegung der Hand des Benutzers wünschenswert. So ist es bspw. bekannt, spezielle Datenhandschuhe einzusetzen, deren Position und Bewegung elektronisch erfasst und in Echtzeit ausgewertet wird. Die Darstellung und Bewegung des Mauszeigers im Bild eines Bilddarstellungsgerätes erfolgen dann in Abhängigkeit von der jeweils ermittelten Position und Bewegung des Datenhandschuhs. Derartige Techniken erfordern jedoch eine exakte Kalibrierung des Systems. Weiterhin eignet sich diese Technik nur an Orten, an denen der Benutzer direkten Zugang zu den entsprechenden Eingabegeräten hat.Controlling the mouse pointer of a graphical user interface is an essential component in many interactive applications. Especially in places where there is not enough work space available, controlling the mouse pointer solely by moving the user's hand is desirable. For example, it is known to use special data gloves whose position and movement are recorded electronically and evaluated in real time. The display and movement of the mouse pointer in the image of an image display device then take place depending on the position and movement of the data glove determined in each case. However, such techniques require precise calibration of the system. Furthermore, this technology is only suitable in places where the user has direct access to the corresponding input devices.
102366GDE #.*# J# ' IJ #I# ' 102366GDE # .* # J # ' IJ # I # '
Fraunhofer-Gesellschaft e. V.Fraunhofer Society
- 2- 2
Ausgehend von diesem Stand der Technik besteht die Aufgabe der vorliegenden Erfindung darin, eine Vorrichtung zur interaktiven Gestik-Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes anzugeben, die keine Kalibrierung erfordert. Weiterhin soll die Vorrichtung ohne spezielle, vom Benutzer zu führende Eingabegeräte auskommen.
10Based on this prior art, the object of the present invention is to provide a device for interactive gesture control of a mouse pointer of a graphical user interface in the image of an image display device, which does not require calibration. Furthermore, the device should be able to function without special input devices to be operated by the user.
10
Die Aufgabe wird mit der Vorrichtung gemäß Schutzanspruch 1 gelöst. Vorteilhafte Ausgestaltungen der Vorrichtung sind Gegenstand der Unteransprüche oder lassen sich aus der nachfolgenden Beschreibung sowie den Ausführungsbeispielen entnehmen.The object is achieved with the device according to claim 1. Advantageous embodiments of the device are the subject of the subclaims or can be taken from the following description and the embodiments.
Die vorliegende Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes umfasst eine Videokamera zur Erzeugung eines Hilfsbildes einer von der Videokamera erfassten Szene sowie eine mit der Videokamera verbundene Bildverarbeitungseinrichtung zur Verarbeitung von Bilddaten des Hilfsbildes. Die Bildverarbeitungseinrichtung setzt sich aus einer Analyseeinheit zur Detektion eines vorgegebenen Objektes in der erfassten Szene sowie zum Ermitteln einer momentanen Position des detektierten Objektes im Hilfsbild und einer Spiegeleinheit zur Spiegelung des Hilfsbildes zusammen. Die Spiegeleinheit kann bspw. auch ein Softwaremodul sein, das die Spalten des digitalen Bildes mit einem einfachen Algorithmus umsortiert, um die Spiegelung desThe present device for interactively controlling a mouse pointer of a graphical user interface in the image of an image display device comprises a video camera for generating an auxiliary image of a scene captured by the video camera and an image processing device connected to the video camera for processing image data of the auxiliary image. The image processing device consists of an analysis unit for detecting a predetermined object in the captured scene and for determining a current position of the detected object in the auxiliary image and a mirror unit for mirroring the auxiliary image. The mirror unit can also be a software module, for example, which rearranges the columns of the digital image using a simple algorithm in order to mirror the
102366GDE #J*# J# ' '%t' tj# * :102366GDE #J * # J # '' %t ' t j # * :
Fraunhofer-Gesellschaft e. V.Fraunhofer Society
Bildes zu erzielen. Die Analyseeinheit ist mit einer Maussteuerung zur Darstellung und Bewegung des Mauszeigers im Bild des Bilddarstellungsgerätes in Abhängigkeit von der jeweils ermittelten momentanen Position verbunden. Weiterhin ist eine Misch- und/oder Überblendeinrichtung mit einem Eingang für die Bilddaten des gespiegelten Hilfsbildes, einem Eingang für Bilddaten eines durch das Bilddarstellungsgerät darzustellenden Hauptbildes und einem Ausgang für die Ansteuerung des Bilddarstellungsgerätes vorgesehen, die mit der Spiegeleinheit verbunden ist und zur teiltransparenten Überlagerung des Hauptbildes und des von der Spiegeleinheit erhaltenen gespiegelten Hilfsbildes im Bild des Bilddarstellungsgerätes ausgebildet ist.image. The analysis unit is connected to a mouse control for displaying and moving the mouse pointer in the image of the image display device depending on the current position determined in each case. Furthermore, a mixing and/or cross-fading device is provided with an input for the image data of the mirrored auxiliary image, an input for image data of a main image to be displayed by the image display device and an output for controlling the image display device, which is connected to the mirror unit and is designed for the partially transparent superimposition of the main image and the mirrored auxiliary image obtained from the mirror unit in the image of the image display device.
Bei der Überlagerung findet entweder eine Überlagerung des (teil-)transparenten Hauptbildes über das Hilfsbild oder umgekehrt eine Überlagerung des (teil-)transparenten Hilfsbildes über das Hauptbild statt.During overlay, either the (partially) transparent main image is superimposed over the auxiliary image or, conversely, the (partially) transparent auxiliary image is superimposed over the main image.
Beim Betrieb dieser Vorrichtung wird mit der Videokamera ein Bild eines vor einer Darstellungsfläche des Bilddarstellungsgerätes agierenden Benutzers als Hilfsbild erfasst. Die Bilddaten des Hilfsbildes werden in der Analyseeinheit der Bildverarbeitungseinrichtung nach einem vorgegebenen Objekt in dieser Szene abgesucht. Als vorgegebenes Objekt kann bspw. die Hand des Benutzers oder ein mit der Hand geführtes Zeigeelement detektiert werden. Geeignete Bild-Analyse-Software, die in der Regel auf Techniken der Mustererkennung arbeitet, ist dem Fachmann bekannt. Neben der Detektion dieses vorgegebenen Objektes wird kontinuierlich dessen momentane Position im Hilfsbild ermittelt. Weiterhin wird das Hilfsbild durch eine in der BiId-When this device is operated, the video camera captures an image of a user acting in front of a display area of the image display device as an auxiliary image. The image data of the auxiliary image are searched in the analysis unit of the image processing device for a given object in this scene. The hand of the user or a pointing element guided by the hand can be detected as a given object, for example. Suitable image analysis software, which generally works on pattern recognition techniques, is known to the person skilled in the art. In addition to detecting this given object, its current position in the auxiliary image is continuously determined. The auxiliary image is also
102366GDE .:.. .&Ggr;. \.* ..',102366GDE .:.. .&Ggr;. \.* ..',
Fraunhofer-Gesellschaft e. V.Fraunhofer Society
Verarbeitungseinrichtung enthaltene Spiegeleinheit gespiegelt. Die Spiegelung kann dabei bspw. auf rechnerischem Wege erfolgen.The mirror unit contained in the processing device is mirrored. The mirroring can be carried out, for example, by computer.
Die von der Bildverarbeitungseinrichtung ermittelten Positionsdaten werden einer mit der Analyseeinheit verbundenen Maussteuerung zugeführt, die den Mauszeiger im Bild des Bilddarstellungsgerätes in Abhängigkeit von der jeweils ermittelten momentanen Position darstellt bzw. bei Veränderung dieser Position nachführt. Bewegt sich das vorgegebene Objekt, so bewegt sich auch der Mauszeiger im Bild des Bilddarstellungsgerätes entsprechend. Auf diese Weise kann der Benutzer durch Bewegung des Objektes die Bewegung des Mauszeigers im Bild steuern.The position data determined by the image processing device are fed to a mouse control connected to the analysis unit, which displays the mouse pointer in the image of the image display device depending on the current position determined in each case or adjusts it if this position changes. If the specified object moves, the mouse pointer in the image of the image display device also moves accordingly. In this way, the user can control the movement of the mouse pointer in the image by moving the object.
In der mit der Spiegeleinheit verbundenen Misch- und/oder Überblendeinrichtung werden die zugeführten Bilddaten des durch das Bilddarstellungsgerät darzustellenden Hauptbildes und des von der Spiegeleinheit erhaltenen gespiegelten Hilfsbild so aufbereitet, dass durch das Bilddarstellungsgerät ein dem Hauptbild tei!transparent überlagertes Hilfsbild - oder umgekehrt - als Bild dargestellt wird.In the mixing and/or cross-fading device connected to the mirror unit, the supplied image data of the main image to be displayed by the image display device and the mirrored auxiliary image received from the mirror unit are processed in such a way that the image display device displays an auxiliary image partially transparently superimposed on the main image - or vice versa - as an image.
Ein wesentliches Merkmal der vorliegenden Vorrichtung sowie des zugehörigen Verfahrens ist das Mischen bzw. Überblenden des Hauptbildes und des Hilfsbildes, durch das dem Benutzer ein Feed-back über seine Steuerung des Mauszeigers gegeben wird. Der Benutzer kann damit jederzeit erkennen, ob seine Hand oder ein damit geführtes Objekt - oder auch ein anderes Körperteil wie bspw. der Kopf - und der Mauszeiger imAn essential feature of the present device and the associated method is the mixing or blending of the main image and the auxiliary image, which gives the user feedback on his control of the mouse pointer. The user can thus recognize at any time whether his hand or an object guided with it - or another part of the body such as the head - and the mouse pointer in the
.· ♦ ·· 11.· ♦ ·· 11
102366GDE ^# J. * &Sgr;./· J. "\.:\.: 102366GDE ^ # J. * Σ./· J. "\. : \. :
Fraunhofer-Gese'llschaf t e.'v.Fraunhofer Society e.'v.
Bild aufeinander liegen. Durch diese optische Rückkopplung kann auf eine Kalibrierung der vorliegenden Vorrichtung verzichtet werden. Fehlt die entsprechende durch den Benutzer erkennbare Überlagerung aufgrund einer Fehlsteuerung, so kann dieser den Mauszeiger erneut fassen und entsprechend seinen Wünschen bewegen. Unter Mauszeiger ist hierbei selbstverständlich jede beliebige im Bild erkennbare Markierung zu verstehen, über die der Benutzer positionsabhängige Eingaben über die graphische Benutzerschnittstelle durchführen kann.Image. This optical feedback means that calibration of the device is not necessary. If the corresponding overlay that can be recognized by the user is missing due to a control error, the user can grasp the mouse pointer again and move it as desired. The mouse pointer is of course any marking that can be recognized in the image and which the user can use to make position-dependent inputs via the graphical user interface.
Vorzugsweise umfasst die Analyseeinheit der vorliegenden Vorrichtung ein Modul zur Erkennung von Bewegungsmustern oder einer bestimmten Haltung der Hand des Benutzers bzw. des geführten Objektes, durch die entsprechende vorgegebene Steuerbefehle, bspw. ein Mausklick oder das Loslassen der Maus, ausgeführt werden. Bei Erkennung eines entsprechenden Bewegungsmusters oder einer entsprechenden Haltung werden dann von der Maussteuerung die Befehle an den angeschlossenen Computer, auf dem die dargestellte Applikation läuft, gesendet.Preferably, the analysis unit of the present device comprises a module for recognizing movement patterns or a specific posture of the user's hand or the guided object, by means of which corresponding predefined control commands, for example a mouse click or releasing the mouse, are carried out. When a corresponding movement pattern or posture is recognized, the mouse controller then sends the commands to the connected computer on which the displayed application is running.
Besonders vorteilhaft lässt sich die vorliegende Vorrichtung in Bereichen einsetzen, in denen der Benutzer keinen direkten Zugang zu den einzelnen Komponenten der vorliegenden Vorrichtung oder eines daran angeschlossenen Computers hat. Ein Beispiel hierfür ist die Steuerung einer Applikation, die auf einem Bilddarstellungsgerät in einem Schaufenster angezeigt wird. Der Benutzer kann hierbei vor dem Schaufenster stehen und die Applikation über denThe present device can be used particularly advantageously in areas where the user does not have direct access to the individual components of the present device or a computer connected to it. An example of this is the control of an application that is displayed on an image display device in a shop window. The user can stand in front of the shop window and control the application via the
102366GDE ·' ] ' · '- ":^ ' 102366GDE ·' ] ' · '- " : ^ '
Fraunhofer-Gesellschaft e. V.Fraunhofer Society
- 6- 6
Mauszeiger steuern. Die Videokamera ist dabei auf den Bereich vor dem Schaufenster gerichtet, so dass jeder potentielle Benutzer automatisch erfasst wird.Control the mouse pointer. The video camera is aimed at the area in front of the shop window so that every potential user is automatically recorded.
Kurze Beschreibung der ZeichnungenShort description of the drawings
Die vorliegende Vorrichtung sowie das zugehörige Verfahren werden nachfolgend anhand eines Ausführungsbeispiels in Verbindung mit den Zeichnungen nochmals näher erläutert. Hierbei zeigen: 10The present device and the associated method are explained in more detail below using an exemplary embodiment in conjunction with the drawings. Here: 10
Fig. 1 schematisch ein Beispiel für denFig. 1 schematically shows an example of the
Aufbau der vorliegenden Vorrichtung;Structure of the present device;
Fig. 2 ein Beispiel für den Einsatz der Vorrichtung mit einem Bilddarstellungsgerät in Seitenansicht; sowieFig. 2 an example of the use of the device with an image display device in side view; and
Fig. 3 ein Beispiel für den Einsatz derFig. 3 an example of the use of the
vorliegenden Vorrichtung in Draufsicht auf das Bilddarstellungsgerät.present device in plan view of the image display device.
Wege zur Ausführung der ErfindungWays to implement the invention
Figur 1 zeigt beispielhaft den prinzipiellen Aufbau der vorliegenden Vorrichtung zur interaktiven Steuerung eines Mauszeigers einer graphischen Benutzerschnittstelle im Bild eines Bilddarstellungsgerätes. Die Vorrichtung umfasst eine Videokamera 1, mit der ein Bild 20 eines vor dem Bilddarstellungsgerät agierenden Benutzers erzeugt wird. Die von der Kamera erfassten Bilddaten werden an eine Bildverarbeitungseinrichtung bestehend aus einer Analyseeinheit 2 und einer Spiegeleinheit 3 weitergeleitet.Figure 1 shows an example of the basic structure of the present device for interactively controlling a mouse pointer of a graphical user interface in the image of an image display device. The device comprises a video camera 1, with which an image 20 of a user acting in front of the image display device is generated. The image data captured by the camera are forwarded to an image processing device consisting of an analysis unit 2 and a mirror unit 3.
102366GDE .· :·:::·::.:102366GDE .· :·::·::.:
Fraunhofer-Ges*el"lschaf £* e.**V.Fraunhofer-Ges*el"lschaf £* e.**V.
In der Analyseeinheit 2 werden die mit der Kamera 1 erfassten Bilddaten 20 mit Hilfe von Bild-Analyse-Software verarbeitet, mit der eine Hand des Benutzers detektiert und verfolgt werden kann. Die jeweilige momentane Position der Hand wird an eine Maussteuerung 4 weitergegeben, die im Bild 10 des Bilddarstellungsgerätes einen Mauszeiger in Abhängigkeit von den erhaltenen Analysedaten darstellt bzw. bewegt. In der Spiegeleinheit 3 werden die Bilddaten 20 zur Erzeugung eines gespiegelten Bildes 20a verarbeitet und einer Misch- und/oder Überblendeinrichtung 5 zugeführt, in der das gespiegelte Bild 20a dem Hauptbild 30 der zu steuernden Applikation überlagert wird, so dass die Bilddaten des überlagerten Bildes 10 dem Bilddarstellungsgerät zugeführt werden. Die Misch- und/oder Überblendeinrichtung 5 verfügt dabei neben dem Eingang für die Daten des gespiegelten Bildes 20a über einen Eingang für die Bilddaten des Hauptbildes 30 und einen Ausgang für die Ansteuerung des Bilddarstellungsgerätes. In the analysis unit 2, the image data 20 captured by the camera 1 are processed using image analysis software, which can be used to detect and track a user's hand. The current position of the hand is passed on to a mouse control 4, which displays or moves a mouse pointer in the image 10 of the image display device depending on the analysis data received. In the mirror unit 3, the image data 20 are processed to generate a mirrored image 20a and fed to a mixing and/or cross-fading device 5, in which the mirrored image 20a is superimposed on the main image 30 of the application to be controlled, so that the image data of the superimposed image 10 are fed to the image display device. In addition to the input for the data of the mirrored image 20a, the mixing and/or cross-fading device 5 has an input for the image data of the main image 30 and an output for controlling the image display device.
Als Bilddarstellungsgerät kann bspw. ein Plasmabildschirm zum Einsatz kommen. Selbstverständlich sind jedoch auch andere bspw. auf einer optischen Projektion basierende Bilddarstellungsgeräte mit der vorliegenden Vorrichtung betreibbar. Das Hauptbild der jeweils laufenden Applikation bzw. des laufenden Programmes, das mit der graphischen Benutzerschnittstelle interaktiv gesteuert werden soll, läuft hierbei auf einem Computer, der mit dem Bilddarstellungsgerät über die vorliegende Vorrichtung verbunden ist. Einzelne Komponenten der vorliegenden Vorrichtung, insbesondere die Bildverarbeitungseinrichtung sowie die Misch- bzw.A plasma screen can be used as an image display device, for example. Of course, other image display devices, for example those based on optical projection, can also be operated with the present device. The main image of the application or program running at the time, which is to be interactively controlled using the graphical user interface, runs on a computer that is connected to the image display device via the present device. Individual components of the present device, in particular the image processing device and the mixing or
• t 9• t 9
102366GDE ,·' · · * * i * \ \. &Iacgr; 102366GDE ,·' · · * * i * \ \ . &Iacgr;
Fraunhofer-Gese*lls*cnaft:*e."*V.Fraunhofer Society:*e."*V.
Überblendeinrichtung sowie die Maussteuerung können dabei als einzelne Programmmodule auf diesem Computer laufen.The crossfading device and the mouse control can run as individual program modules on this computer.
Figur 2 zeigt ein Beispiel für den Einsatz der vorliegenden Vorrichtung. In diesem Beispiel wird ein Plasmabildschirm als Bilddarstellungsgerät 6 eingesetzt, auf dem über den Rechner 16 das Hauptbild eines zu steuernden Programmes dargestellt wird. Die Kamera der vorliegenden Vorrichtung wird hierbei über dem Plasmabildschirm angeordnet und auf den Bereich vor der Anzeigefläche gerichtet. In alternativen Ausgestaltungen kann die Kamera selbstverständlich auch an anderen Positionen angeordnet sein, in denen sie eine Erfassung des Bereiches vor der Bildfläche des Bildanzeigegerätes ermöglicht, bspw. neben, unter oder hinter der Bildanzeigefläche, in letzterem Falle bei Vorhandensein eines geeigneten Beobachtungsfensters in der Bildanzeigefläche.Figure 2 shows an example of the use of the present device. In this example, a plasma screen is used as the image display device 6, on which the main image of a program to be controlled is displayed via the computer 16. The camera of the present device is arranged above the plasma screen and directed at the area in front of the display surface. In alternative embodiments, the camera can of course also be arranged in other positions in which it enables the area in front of the image surface of the image display device to be captured, for example next to, below or behind the image display surface, in the latter case if there is a suitable observation window in the image display surface.
Die Bildverarbeitungseinrichtung 2, 3, Maussteuerung 4 und Misch- und/oder Überblendeinrichtung sind in den Rechner 16 implementiert und daher nicht gesondert dargestellt. Die Kamera 1 ist so ausgerichtet, dass sie zumindest das Körperteil oder Objekt erfasst, mit dem der Mausszeiger bewegt werden soll, im vorliegenden Fall den Oberkörper mit den beiden Armen eines vor dem Plasmadisplay agierenden BenutzersThe image processing device 2, 3, mouse control 4 and mixing and/or crossfading device are implemented in the computer 16 and are therefore not shown separately. The camera 1 is aligned in such a way that it captures at least the body part or object with which the mouse pointer is to be moved, in this case the upper body with both arms of a user acting in front of the plasma display.
Das von der Kamera 1 erfasste Bild des Benutzers wird in Echtzeit gespiegelt und auf dem Plasmabildschirm dem normalen Programm-Hauptbild überlagert, so dass der Benutzer sein Spiegelbild auf dem Bildschirm erkennen kann, wie dies in der Figur 3 schematischThe image of the user captured by camera 1 is mirrored in real time and superimposed on the normal program main image on the plasma screen so that the user can see his reflection on the screen, as shown schematically in Figure 3.
102366GDE ,· ; · I : j * : J
Fraunhof er-Ges*ells*cnaf t:* e .**V.102366GDE ,· ; · I : j * : J
Fraunhof er-Ges*ells*cnaf t:* e .**V.
dargestellt ist. Mit Hilfe der Analyse-Software wird die Hand 14 des Benutzers ständig verfolgt und der Mauszeiger 11 im dargestellten Bild 10 entsprechend bewegt. Der Benutzer 13 kann dabei selbst jederzeit erkennen, auf welche Programmobjekte, wie bspw. Knöpfe, Auswahlboxen 15 usw., er zeigt. Eine Kalibrierung ist durch diese Rückkopplungstechnik nicht nötig. Der Benutzer 13 erhält jederzeit ein Feed-back darüber, ob seine Hand 14 und der Mauszeiger 11 aufeinander liegen. Ist dies nicht der Fall, so kann der Benutzer 13 durch Bewegung der Hand 14 zum Mauszeiger 11 Fehler des eingesetzten Trackingaigorithmus der Analyse-Software ausgleichen.is shown. With the help of the analysis software, the user's hand 14 is constantly tracked and the mouse pointer 11 in the image 10 shown is moved accordingly. The user 13 can recognize at any time which program objects, such as buttons, selection boxes 15, etc., he is pointing at. Calibration is not necessary thanks to this feedback technology. The user 13 receives feedback at any time as to whether his hand 14 and the mouse pointer 11 are on top of each other. If this is not the case, the user 13 can compensate for errors in the tracking algorithm used by the analysis software by moving the hand 14 towards the mouse pointer 11.
Selbstverständlich erfolgt die Überlagerung des Haupt- und des Hilfsbildes bei der vorliegenden Vorrichtung so, dass der Benutzer 13 jederzeit beide Bilder erkennen kann. Hierzu können bspw. das gespiegelte Bild 20a als Hintergrundbild und das Hauptbild 30 als teiltransparent überlagertes Vordergrundbild dargestellt werden. Die interaktive Steuerung des zugehörigen Programmes durch den Mauszeiger 11 kann bspw. allein dadurch erfolgen, dass bei Überlagerung des Mauszeigers 11 mit einem entsprechenden Auswahlknopf oder Auswahlfeld 15 die entsprechende Aktion gestartet wird. Weiterhin können selbstverständlich alle bekannten Techniken, die in graphischen Benutzerschnittstellen eingesetzt werden, zur Anwendung kommen. Bspw. lassen sich durch geeignete Auswertung der Bilddaten des Hilfsbildes 20 auch Bewegungsabläufe bzw. Haltungen der Hand 14 des Benutzers erkennen, die entsprechende Aktionen auslösen. Eine derartige Gestik kann bspw. im ÖffnenOf course, the main and auxiliary images are superimposed in the present device in such a way that the user 13 can recognize both images at any time. For this purpose, the mirrored image 20a can be shown as a background image and the main image 30 as a partially transparent superimposed foreground image. The interactive control of the associated program by the mouse pointer 11 can, for example, be carried out simply by starting the corresponding action when the mouse pointer 11 is superimposed with a corresponding selection button or selection field 15. Furthermore, all known techniques that are used in graphical user interfaces can of course be used. For example, by appropriately evaluating the image data of the auxiliary image 20, it is also possible to recognize movements or postures of the user's hand 14 that trigger corresponding actions. Such a gesture can, for example, be used when opening
102366GDE .· : ·: : : #: :. :102366GDE .· : ·: : : # : :. :
Fraunhofer-Gese*flsc*liaf t*"e.""V·Fraunhofer-Gese*flsc*liaf t*"e.""V·
- 10 -- 10 -
der Hand 14 bestehen, die das Loslassen des Mauszeigers 11 auslöst.the hand 14, which triggers the release of the mouse pointer 11.
In einer Ausgestaltung der vorliegenden Vorrichtung muss der Benutzer zunächst seine Hand in den Bereich eines in der Bildmitte bereits dargestellten Mauszeigers bewegen. Befindet sich die Hand des Benutzers im dargestellten Bild ausreichend nahe an diesem Mauszeiger, so rastet der Mauszeiger auf die Position der detektierten Hand ein. Die Detektion kann sich hierbei auf einen vorgegebenen Bereich um die aktuelle Position des Mauszeigers beschränken. Nach dem Detektieren der Hand des Benutzers in diesem Bereich wird der Mauszeiger auf diese Position gelegt und folgt der Handbewegung, die durch die Analyseeinheit ständig neu ermittelt wird. Die Detektion der Hand sowie die Ermittlung der Position bzw. Bewegung der Hand können über bekannte Bild-Analyse-Software erfolgen, die auf Mustererkennung basiert. Ein Beispiel für eine derartige Analysetechnik basiert auf dem Kantenorientierungsvergleich (EOM: Edge Orientation Matching), wie er auf dem Gebiet der Bildanalyse bekannt ist.In one embodiment of the present device, the user must first move his hand into the area of a mouse pointer already displayed in the center of the image. If the user's hand is sufficiently close to this mouse pointer in the displayed image, the mouse pointer locks onto the position of the detected hand. The detection can be limited to a predetermined area around the current position of the mouse pointer. After the user's hand is detected in this area, the mouse pointer is placed on this position and follows the hand movement, which is constantly re-determined by the analysis unit. The detection of the hand and the determination of the position or movement of the hand can be carried out using known image analysis software that is based on pattern recognition. An example of such an analysis technique is based on edge orientation matching (EOM), as is known in the field of image analysis.
Ein Beispiel für die Vorgehensweise bei einer derartigen Bildanalyse zur Erkennung der Handbewegung kann aus der Veröffentlichung B. Fröba und C. Küblbeck, Proceedings of the Fifth IASTED International Conference, Computer Graphics and Imaging, August 12-14, 2002, Kauni, Hawaii, USA, Seiten 50-55 entnommen werden, deren Inhalt in die vorliegende Beschreibung einbezogen wird. In dieser Veröffentlichung wird eine Anwendung der vorliegenden Vorrichtung beschrieben, beiAn example of the procedure for such an image analysis for recognizing hand movements can be found in the publication B. Fröba and C. Küblbeck, Proceedings of the Fifth IASTED International Conference, Computer Graphics and Imaging, August 12-14, 2002, Kauni, Hawaii, USA, pages 50-55, the content of which is included in the present description. This publication describes an application of the present device in which
102366GDE . &Lgr;.. .1102366GDE . &Lgr;.. .1
Fraunhofer-GeseriscTiaft**e.'V.Fraunhofer GeseriscTiaft**e.'V.
- 11 -- 11 -
der die Bewegung des Mauszeigers zusätzlich zeitlich geglättet wird.which additionally smoothes the movement of the mouse pointer over time.
Mit der vorliegenden Vorrichtung und dem zugehörigen Verfahren wird durch die Einblendung bzw. Überlagerung eines Bildes des agierenden Benutzers eine optische Rückkopplung für eine gestikgesteuerte Mausbewegung geschaffen, durch die eine Kalibrierung der Vorrichtung entfallen kann.With the present device and the associated method, an optical feedback for a gesture-controlled mouse movement is created by displaying or superimposing an image of the acting user, which makes calibration of the device unnecessary.
102366GDE ,· ; · : : ; · Fraunhofer-Ges*ens'chaffe:*V.102366GDE ,· ; · : : ; · Fraunhofer company:*V.
BezugszeichenlisteList of reference symbols
1 Videokamera1 video camera
2 Analyseeinheit2 Analysis unit
3 Spiegeleinheit3 Mirror unit
4 Maussteuerung4 Mouse control
5 Misch- und/oder Überblendeinrichtung5 Mixing and/or blending device
6 Bilddarstellungsgerät6 Image display device
10 Bild des Bilddarstellungsgerätes10 Image of the image display device
11 Mauszeiger11 Mouse pointer
12 Objekt12 Object
13 Benutzer13 users
14 Hand14 hands
15 Auswahlfeld15 Selection field
16 Computer
20 Hilfsbild16 computers
20 Auxiliary image
20a gespiegeltes Hilfsbild20a mirrored auxiliary image
30 Hauptbild30 Main image
Claims (5)
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE20300882U DE20300882U1 (en) | 2003-01-21 | 2003-01-21 | Device for the interactive control of a mouse pointer of a graphical user interface |
| PCT/DE2003/000389 WO2004070595A2 (en) | 2003-01-21 | 2003-02-11 | Device and method for interactively controlling a mouse pointer of a graphic user interface |
| AU2003213999A AU2003213999A1 (en) | 2003-01-21 | 2003-02-11 | Device and method for interactively controlling a mouse pointer of a graphic user interface |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE20300882U DE20300882U1 (en) | 2003-01-21 | 2003-01-21 | Device for the interactive control of a mouse pointer of a graphical user interface |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE20300882U1 true DE20300882U1 (en) | 2003-03-13 |
Family
ID=7979272
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE20300882U Expired - Lifetime DE20300882U1 (en) | 2003-01-21 | 2003-01-21 | Device for the interactive control of a mouse pointer of a graphical user interface |
Country Status (3)
| Country | Link |
|---|---|
| AU (1) | AU2003213999A1 (en) |
| DE (1) | DE20300882U1 (en) |
| WO (1) | WO2004070595A2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2474950B1 (en) | 2011-01-05 | 2013-08-21 | Softkinetic Software | Natural gesture based user interface methods and systems |
| US8717318B2 (en) * | 2011-03-29 | 2014-05-06 | Intel Corporation | Continued virtual links between gestures and user interface elements |
| CN102929436B (en) * | 2011-08-12 | 2015-07-01 | 东友科技股份有限公司 | Touch-sensing operating system and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE29519078U1 (en) | 1995-12-01 | 1996-01-25 | Kelle Olaf Dr | Device for detecting the spatial position of a human body part |
| US6088018A (en) | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
| US6266061B1 (en) | 1997-01-22 | 2001-07-24 | Kabushiki Kaisha Toshiba | User interface apparatus and operation range presenting method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990011180A (en) * | 1997-07-22 | 1999-02-18 | 구자홍 | How to select menu using image recognition |
| US6353450B1 (en) * | 1999-02-16 | 2002-03-05 | Intel Corporation | Placing and monitoring transparent user interface elements in a live video stream as a method for user input |
| JP3725460B2 (en) * | 2000-10-06 | 2005-12-14 | 株式会社ソニー・コンピュータエンタテインメント | Image processing apparatus, image processing method, recording medium, computer program, semiconductor device |
-
2003
- 2003-01-21 DE DE20300882U patent/DE20300882U1/en not_active Expired - Lifetime
- 2003-02-11 WO PCT/DE2003/000389 patent/WO2004070595A2/en not_active Application Discontinuation
- 2003-02-11 AU AU2003213999A patent/AU2003213999A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE29519078U1 (en) | 1995-12-01 | 1996-01-25 | Kelle Olaf Dr | Device for detecting the spatial position of a human body part |
| US6266061B1 (en) | 1997-01-22 | 2001-07-24 | Kabushiki Kaisha Toshiba | User interface apparatus and operation range presenting method |
| US6088018A (en) | 1998-06-11 | 2000-07-11 | Intel Corporation | Method of using video reflection in providing input data to a computer system |
Non-Patent Citations (1)
| Title |
|---|
| GAVRILA,D.M.: Traffic Sign Recognition Revisited. In: Proc. of the 21st DAGM Symposium für Musterkennung, Springer Verlag, 1999, S.86-93; $Kapitel 2.1,3.1$ |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2003213999A1 (en) | 2004-08-30 |
| WO2004070595A2 (en) | 2004-08-19 |
| WO2004070595A3 (en) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DE102019009313B4 (en) | Robot control, method and computer program using augmented reality and mixed reality | |
| DE60127644T2 (en) | Teaching device for a robot | |
| DE102009034413B4 (en) | Recognition of compound gestures | |
| EP1223537A2 (en) | Controllable device with user authentication | |
| DE102009023875A1 (en) | Gesture recognition interface system with vertical display area | |
| DE102020108972A1 (en) | SYSTEM AND METHOD OF TRACKING THE MOVING OBJECTS | |
| DE112013004801T5 (en) | Multimodal touch screen emulator | |
| DE112006002954T5 (en) | Virtual interface system | |
| DE102012020607B4 (en) | A motor vehicle with a gesture control device and method for controlling a selection element | |
| EP0353409A1 (en) | Automatic brightness and contrast adjustment of a video camera for industrial or military purposes | |
| DE10215885A1 (en) | Automatic process control | |
| WO2019037890A1 (en) | Method for controlling the movement of a mobile robot | |
| DE102014115363A1 (en) | Virtual character in real environment | |
| WO2017054894A1 (en) | Interactive operating system and method for carrying out an operational action in an interactive operating system | |
| DE20300882U1 (en) | Device for the interactive control of a mouse pointer of a graphical user interface | |
| DE102012008986B4 (en) | Camera system with adapted ROI, motor vehicle and corresponding method | |
| DE102019214283A1 (en) | Method and device for processing an image recorded by a camera | |
| EP2555097A1 (en) | Method and device for determining a section of an image and triggering imaging using a single touch-based gesture | |
| DE102007041482A1 (en) | Method for automatic recognition of at least the type and / or the position of a gesture formed with a limb, in particular a hand gesture | |
| DE102020214960A1 (en) | I / O SIGNAL INFORMATION DISPLAY SYSTEM | |
| DE102004027289B4 (en) | Method and arrangement for contactless navigation in a document | |
| DE102016214391B4 (en) | Method for controlling an operation of a coordinate measuring machine and coordinate measuring machine with control | |
| WO2015110331A1 (en) | Method for detecting a movement path of at least one moving object within a detection region, method for detecting gestures while using such a detection method, and device for carrying out such a detection method | |
| DE102012209664B4 (en) | DEVICE AND METHOD FOR CALIBRATING TRACKING SYSTEMS | |
| DE102011075877A1 (en) | Evaluation method for a sequence of temporally successive depth images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R207 | Utility model specification |
Effective date: 20030417 |
|
| R079 | Amendment of ipc main class |
Free format text: PREVIOUS MAIN CLASS: G06F0003020000 Ipc: G06F0003033000 Effective date: 20031106 |
|
| R163 | Identified publications notified |
Effective date: 20031106 |
|
| R150 | Utility model maintained after payment of first maintenance fee after three years |
Effective date: 20060404 |
|
| R151 | Utility model maintained after payment of second maintenance fee after six years |
Effective date: 20090403 |
|
| R152 | Utility model maintained after payment of third maintenance fee after eight years |
Effective date: 20110405 |
|
| R071 | Expiry of right | ||
| R071 | Expiry of right |