[go: up one dir, main page]

ES2425076T3 - Sistema de interfaz de usuario basado en dispositivo de puntero - Google Patents

Sistema de interfaz de usuario basado en dispositivo de puntero Download PDF

Info

Publication number
ES2425076T3
ES2425076T3 ES09159405T ES09159405T ES2425076T3 ES 2425076 T3 ES2425076 T3 ES 2425076T3 ES 09159405 T ES09159405 T ES 09159405T ES 09159405 T ES09159405 T ES 09159405T ES 2425076 T3 ES2425076 T3 ES 2425076T3
Authority
ES
Spain
Prior art keywords
pointing device
user interaction
user
interaction system
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES09159405T
Other languages
English (en)
Inventor
Gerhardus E. Mekenkamp
Tim Dekker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=32319629&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=ES2425076(T3) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Koninklijke Philips NV, Koninklijke Philips Electronics NV filed Critical Koninklijke Philips NV
Application granted granted Critical
Publication of ES2425076T3 publication Critical patent/ES2425076T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K11/00—Methods or arrangements for graph-reading or for converting the pattern of mechanical parameters, e.g. force or presence, into electrical signal
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/32—Remote control based on movements, attitude of remote control device
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/60—Security, fault tolerance
    • G08C2201/61—Password, biometric
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/70—Device selection
    • G08C2201/71—Directional beams
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/92—Universal remote control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/94—Smart cards

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Selective Calling Equipment (AREA)
  • Telephonic Communication Services (AREA)
  • Details Of Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

Sistema de interacción de usuario que comprende: - un aparato (110) eléctrico; - un dispositivo (101, 300) de puntero portátil que puede hacerse funcionar por un usuario para apuntar a una zona en el espacio; - una cámara (102) que toma una imagen, cámara que está conectada al dispositivo de puntero de modo que en funcionamiento obtiene imágenes de la zona a la que se apunta; y - un procesador (120) de señal digital, que puede recibir y procesar la imagen, y que puede transmitir información de interfaz de usuario derivada de la imagen al aparato eléctrico; estando el sistema caracterizado porque comprende además: - al menos una baliza (180, 181, 182) de localización de sala en una sala en la que se usa el dispositivo de puntero, que puede emitir radiación electromagnética para su uso por el procesador de señal digital que está dispuesto para reconocer a qué parte de la sala está apuntando el dispositivo de puntero; y - medios para estimar un movimiento o una trayectoria (400, 410) de movimiento del dispositivo de puntero.

Description

Sistema de interfaz de usuario basado en dispositivo de puntero
Campo de la invención
La invención se refiere a un sistema de interacción de usuario, que comprende un dispositivo de puntero que apunta a una zona, y una cámara conectada a dicho dispositivo de puntero para obtener imágenes de dicha zona a la que apunta dicho dispositivo de puntero.
La invención también se refiere a un dispositivo de puntero para su uso en un sistema de interacción de usuario.
Antecedentes de la invención
Un sistema de este tipo se conoce del documento D1 (DE10110979A1). El documento D1 se refiere a una disposición que tiene una cámara que puede reconocer objetos tomando una imagen de muestra del mismo y comparando esta imagen con una referencia. Una vez que se ha reconocido un objeto, la disposición puede enviar códigos de control (tales como códigos de control remotos convencionales) a equipos, asociados con el objeto reconocido, para su control. Puede proporcionarse realimentación a un usuario, mediante la disposición, tras el reconocimiento de un objeto (luz, audio, táctil).
El inventor se dio cuenta de que una desventaja del documento D1 es que su reconocimiento de un objeto depende exclusivamente del objeto tal como se encuentra en la vida real. La capacidad del sistema del documento D1 para reconocer un objeto puede por tanto ser pobre.
Un sistema de este tipo se conoce también en parte del documento US-A-2001/0030668. Este documento describe un sistema de control remoto universal en el que un usuario marca una ubicación en una presentación visual con un dispositivo de puntero que muestra una característica reconocible, por ejemplo un puntero láser que emite un punto rojo, y una cámara toma una imagen de la presentación visual y calcula a qué ubicación ha apuntado el usuario. Un aparato eléctrico, por ejemplo un ordenador o una televisión, realiza entonces una acción correspondiente al marcado realizado por el usuario. Por ejemplo, si se marca un icono en la presentación visual haciendo parpadear el puntero láser dos veces, se inicia un programa informático correspondiente.
Una desventaja del sistema conocido es que el sistema está diseñado para una presentación visual particular. Por ejemplo, la presentación visual puede ser una proyección de una LCD basada en un proyector frontal en una pantalla, proyector al que está conectado un ordenador portátil. La cámara en el sistema conocido tiene una posición y ángulo de visión tales que puede obtener imágenes de la pantalla. A continuación, se entrena el DSP para discriminar un área en las imágenes procedentes de la cámara que corresponde a la ubicación de la pantalla. En la técnica anterior esto puede hacerse de una manera sencilla. En primer lugar, se captura una imagen de la pantalla tanto con como sin iluminación con una imagen procedente del proyector. Comparando la diferencia entre estas dos imágenes, se obtiene el área de la presentación visual en el espacio vista por la cámara. En segundo lugar, se deriva una transformación de perspectiva que determina la relación entre una ubicación a la que se apunta en la presentación visual y una ubicación en la imagen para la proyección, en la memoria intermedia de fotogramas del ordenador portátil. El documento conocido también describe apuntar a una presentación visual virtual, por ejemplo una pared, seleccionando manualmente en primer lugar las esquinas de la presentación visual virtual. Sin embargo, el sistema está siempre calibrado para una presentación visual y en caso de que un usuario quiera interaccionar con otra presentación visual, debe ajustar el sistema de nuevo, o usar un segundo sistema.
El documento US-A-5646608 se refiere a un sistema de control remoto electrónico en el que cada dispositivo electrónico controlado de manera remota comprende un emisor de luz y un detector de luz. Se emiten señales de identificación correspondientes a los respectivos dispositivos electrónicos desde los emisores de luz de los mismos a una única unidad de control remoto. Cuando la unidad de control remoto detecta las señales de identificación, la unidad de control remoto presenta visualmente en su unidad de presentación visual información requerida para hacer funcionar selectivamente los dispositivos electrónicos correspondientes a las señales de identificación detectadas.
El documento US5949351 A se refiere a un sistema controlador remoto de transmisión bidireccional inalámbrico para su uso en sistemas de televisión y audio. En el aparato de control y en diversos aparatos controlados se ajustan partes de emisión de luz y partes de recepción de luz de modo que estén habilitadas para comunicarse en ambas direcciones en una comunicación de tipo inalámbrico. Se recibe un paquete de petición de menú en cada aparato que va a controlarse y se compara con el ID del aparato elegido en el paquete de petición de menú recibido. Cuando los ID son iguales, se transmite un paquete de respuesta de menú con los menús disponibles en el estado actual a un controlador. Tras comprobar los ID de los aparatos, se envía un paquete de respuesta de ejecución al aparato desde el controlador.
Sumario de la invención
Es un objeto de la invención proporcionar un sistema de interacción de usuario del tipo descrito en el párrafo introductorio que mejore la identificación de objeto y la orientación relativa con respecto al dispositivo de puntero.
Este objeto se implementa porque el sistema comprende además al menos una baliza para emitir luz o radiación electromagnética que puede reconocerse con dicha cámara, y un procesador de señal digital que, cuando dicha cámara reconoce la luz o radiación electromagnética emitida por dicha al menos una baliza, puede reconocer adónde está apuntando dicho dispositivo de puntero basándose en la imagen tomada por dicha cámara.
La cámara está conectada al dispositivo de puntero de modo que, en funcionamiento, obtiene imágenes de la zona a la que se apunta. Una cámara fija sólo obtiene imágenes de una determinada zona del espacio. Es posible que en el sistema de interacción de usuario conocido, el dispositivo de puntero del usuario, o el objeto al que se apunta ni siquiera estén en el campo de visión de la cámara fija. Es una ventaja importante de un dispositivo de puntero con una cámara asociada, por ejemplo en el extremo delantero del dispositivo de puntero más próximo a la zona a la que se apunta, que la cámara siempre obtiene imágenes de la zona a la que se apunta de manera sustancialmente óptima. El objeto al que se apunta es en general el aparato eléctrico al que se envía la información de interfaz de usuario, por ejemplo datos de control de aparato, pero puede ser cualquier objeto presente en la sala en la que se encuentra el usuario, siempre que puede reconocerse por el DSP. El aparato que va a controlarse se identifica entonces, por ejemplo, apuntando previamente al mismo.
En una realización, la información de interfaz de usuario comprende datos de control de aparato para controlar el funcionamiento del aparato eléctrico. Puede haber muchos aparatos presentes en una sala de estar que producen, por ejemplo, sonido. Cada uno de estos dispositivos tiene un control para aumentar o disminuir el volumen de sonido. Apuntando la cámara del dispositivo de puntero hacia un aparato particular y efectuando una orden de “subir volumen”, por ejemplo pulsando un botón en el dispositivo de puntero o realizando un movimiento específico con el dispositivo de puntero, el volumen de sonido del dispositivo al que se apunta aumentará. El uso de un control remoto universal conocido puede tener la desventaja de que, por ejemplo, responda un aparato que no era el que el usuario pretendía, debido a que use el mismo código de control remoto.
Es ventajoso que el procesador de señal digital comprenda unos medios de caracterización de objeto para caracterizar un objeto o parte del objeto presente en la imagen de la zona de la que la cámara ha obtenido imágenes, proporcionando primeras características de caracterización de objeto a unos medios de identificación de objeto comprendidos, para identificar el objeto, y medios de identificación de objeto que pueden emitir datos de identificación de objeto a partir de los cuales se construye la información de interfaz de usuario.
En caso de que deban controlarse aparatos eléctricos diferentes, todos ellos deben reconocerse automáticamente. El DSP puede ser, por ejemplo, un procesador genérico que ejecuta algoritmos para caracterizar el aparato, o puede ser un ASIC. Normalmente, los medios de caracterización de objeto efectuarán algoritmos de procesamiento de imágenes sobre una imagen del aparato. Por ejemplo, pueden calcularse las dimensiones relativas del aparato y pueden analizarse el número y las posiciones de botones en el aparato. Los medios de identificación de objeto asocian con estas primeras características caracterizadoras de objeto resultantes un aparato específico, por ejemplo a partir de información en una tabla de aparatos. Puede estar presente otra información acerca del aparato, por ejemplo “primera televisión producida por la empresa X con el número de serie Y”, como los datos de control de aparato que el aparato entiende.
También es ventajoso que el procesador de señal digital comprenda:
-
medios de estimación de trayectoria de movimiento para estimar una trayectoria de movimiento del dispositivo de puntero y emitir una primera firma caracterizadora de movimiento, siendo una firma una abstracción matemática de la trayectoria de movimiento; y
-
medios de identificación de firma para identificar la primera firma caracterizadora de movimiento y emitir datos de identificación de orden, que representan una orden de interacción de usuario, correspondiente a la primera firma caracterizadora de movimiento, datos de identificación de orden a partir de los cuales se construye la información de interfaz de usuario.
Para evitar la necesidad de un gran número de botones en el dispositivo de puntero para todas las órdenes diferentes que pueden enviarse a los diferentes aparatos, y para hacer el sistema de interacción de usuario más sencillo de usar, es ventajoso que al menos algunos de los datos de control de aparato se generen basándose en movimientos del dispositivo de puntero realizados por el usuario, dispositivo de puntero que se encuentra normalmente en su mano. La firma de un movimiento ascendente podría significar “subir volumen”, pero, a diferencia de un control remoto convencional, la magnitud de cambio de volumen puede depender según la invención de la brusquedad del movimiento. Si el usuario mueve el brazo hacia arriba lentamente, el volumen debe cambiar, por ejemplo, sólo un poco y, en cambio, si mueve el brazo hacia arriba rápidamente, el volumen debe subir mucho. La determinación del movimiento del dispositivo de puntero puede realizarse basándose en medios de detección de movimiento, por ejemplo una masa en un sensor de deformación, un giroscopio, un GPS diferencial, etc. Sin embargo, puesto que ya hay una cámara presente, el movimiento también puede determinarse obteniendo imágenes sucesivas y aplicando un algoritmo de estimación de movimiento. Puesto que una estimación de movimiento global es más sencilla que una estimación de movimiento precisa de múltiples objetos, la cámara puede ser una simple cámara basada en CMOS o incluso una disposición bidimensional de un pequeño número de elementos sensibles a la luz.
También es ventajoso que el procesador de señal digital comprenda medios de mejora de la identificación, que pueden mejorar adicionalmente la probabilidad de que el objeto representado como datos de identificación de objeto, y la orden de interacción de usuario representada como datos de identificación de orden, se identifiquen de manera más fiable basándose en reglas predeterminadas, que dan lugar a información de interfaz de usuario más fiable. Puesto que no es necesario que la identificación del objeto y la firma de movimiento sean siempre perfectas, dada la variabilidad de condiciones en una sala, pueden incorporarse medios de mejora de la identificación que, por ejemplo, aplican un conjunto de reglas de inteligencia artificial sobre los datos de identificación de objeto y los datos de identificación de orden identificados, teniendo también en cuenta posiblemente las características caracterizadoras de las primeras características caracterizadoras de objeto y la primera firma caracterizadora de movimiento. Por ejemplo, una regla para determinar el aparato al que se apunta puede tener en cuenta la sala en la que está presente el dispositivo de puntero, o el momento del día. Por ejemplo, lo primero que un usuario puede hacer normalmente si llega a casa y coge el dispositivo de puntero es encender las luces. Su intención puede verificarse por el DSP basándose en una imagen de estas luces.
Es ventajoso además que las reglas predeterminadas comprendan cálculo probabilístico de la probabilidad de un par {datos de identificación de objeto, datos de identificación de orden}, teniendo en cuenta al menos una de las siguientes unidades de información conocidas apriori{sala en la que se encuentra el dispositivo de puntero, orden previa emitida por el usuario, frecuencia estadística con la que un usuario emite una orden particular y momento del día}. Por ejemplo, la probabilidad de una orden puede calcularse basándose en un perfil estadístico de qué órdenes usa habitualmente un usuario, y basándose en órdenes emitidas previamente. Además, la probabilidad de un aparato puede actualizarse basándose en la sala en la que está presente el dispositivo de puntero. Los viernes a las ocho en punto el usuario podría querer ver su programa de televisión favorito.
También es ventajoso que el procesador de señal digital comprenda medios de asociación de objeto para proporcionar a los medios de identificación de objeto datos de asociación de objeto que comprenden al menos una de las entidades de datos siguientes: características caracterizadoras de objeto asociado y datos relacionados con el objeto, pudiendo derivarse los datos de asociación de objeto de los datos de plantilla de objeto en la memoria de objetos que se origina a partir de al menos uno de los métodos siguientes:
-
los datos de plantilla de objeto se obtienen a partir de medios de entrenamiento de objeto que efectúan un cálculo predeterminado sobre segundas características caracterizadoras de objeto emitidas por los medios caracterizadores de objeto; y
-
los datos de plantilla de objeto se derivan de datos de objeto introducidos.
El sistema de interacción de usuario es mucho más versátil si, en lugar de estar preconstruido por el fabricante para controlar un número fijo de aparatos, el usuario puede adaptarlo a su entorno cambiante. Por ejemplo, si compra un aparato nuevo, le gustaría que este aparato pudiese controlarse por medio del mismo sistema. Además, si compra un calendario, lo cuelga en la pared y apunta al mismo con su dispositivo de puntero, le gustaría que sucediese algo, por ejemplo iniciar una herramienta de calendario en su PC. Para este fin se requieren medios de asociación. El usuario obtiene imágenes de un aparato nuevo, por ejemplo desde algunos ángulos diferentes. Varios algoritmos de procesamiento de imágenes que se ejecutan en los medios caracterizadores de objeto extraen características para este objeto que se almacenan como una plantilla de objeto, posiblemente después de calcular primero características específicas de aparato invariables. Después selecciona con una interfaz de usuario de selección qué aparato corresponde a esta plantilla de objeto. Se trata de una denominada fase de entrenamiento del sistema. Cuando más tarde se usa el sistema en una denominada fase de órdenes, para enviar datos de control de aparato a un aparato identificado, la identificación de objeto por los medios de identificación de objeto puede apoyarse por medio de los datos almacenados en los medios de asociación de objeto. Por ejemplo, basándose en los datos de plantilla de objeto, pueden enviarse varias características caracterizadoras de objeto asociadas, correspondientes a lo que los medios caracterizadores de objeto emiten como primeras características caracterizadoras de objeto, a los medios de identificación de objeto, que entonces efectúan una comparación, seleccionando el aparato identificado correcto. Estas características también pueden estar precargadas en los medios de identificación de objeto. Los medios de asociación de objeto también pueden enviar datos relacionados con el objeto a los medios de identificación de objeto, que comprenden al menos un identificador del aparato, y posiblemente datos adicionales tales como órdenes soportadas. En una realización alternativa, los medios de asociación de objeto también podrían efectuar la propia identificación de objeto, en cuyo caso sólo se envían datos relacionados con el objeto a los medios de identificación de objeto. Para evitar que el usuario tenga que introducir un montón de información a través de la interfaz de usuario de selección, también pueden introducirse datos relacionados con el objeto a través de una entrada de datos de objeto, por ejemplo directamente desde un aparato que va a identificarse y controlarse. A través de esta entrada también pueden introducirse datos de plantilla de objeto característicos, por ejemplo el fabricante de un aparato podría proporcionar una imagen tomada en condiciones de obtención de imágenes bien controladas.
También es ventajoso que el procesador de señal digital comprenda medios de asociación de firma para proporcionar a los medios de identificación de firma datos de asociación de firma, que comprenden al menos una de las entidades de datos siguientes: características de firma asociada y datos relacionados con la orden, pudiendo derivarse los datos de asociación de firma de los datos de plantilla de firma en una memoria de firmas que se origina a partir de al menos uno de los métodos siguientes:
-
los datos de plantilla de firma se obtienen a partir de medios de entrenamiento de firma que efectúan un cálculo predeterminado sobre una segunda firma caracterizadora de movimiento emitida por los medios de estimación de trayectoria de movimiento; y
-
los datos de plantilla de orden se derivan de datos de orden introducidos.
Según una lógica similar, pueden incluirse medios de asociación de firma para permitir entrenar nuevas trayectorias de movimiento aplicadas al dispositivo de puntero por el usuario y caracterizadas como firmas. En estas realizaciones se introducen datos de orden por ejemplo por un aparato que proporciona un menú de las órdenes que soporta.
También es ventajoso que la primera firma caracterizadora de movimiento se derive basándose en imágenes sucesivas obtenidas por la cámara en respectivas instancias de tiempo. Puesto que hay una cámara unida al dispositivo de puntero, que obtiene imágenes de cada uno de sus movimientos, y puede estimarse el movimiento global mediante un sencillo algoritmo de estimación de movimiento, pueden usarse imágenes obtenidas sucesivamente para derivar la orden de interfaz de usuario prevista.
El segundo objeto se implementa porque el dispositivo de puntero comprende una cámara y puede enviar una imagen a un DSP. Tal como ya se describió anteriormente, el sistema de interacción de usuario resulta más versátil con un dispositivo de puntero de este tipo.
Una realización del dispositivo de puntero se caracteriza porque puede enviar una imagen al procesador de señal digital, que puede enviar información de interfaz de usuario a un aparato eléctrico basándose en la imagen.
En una realización, el DSP está incluido en el dispositivo de puntero. El dispositivo de puntero puede entonces funcionar también por separado del sistema de interacción de usuario. Por ejemplo, el dispositivo de puntero puede llevarse a un supermercado, procesar imágenes obtenidas y almacenar las primeras características caracterizadoras de objeto correspondientes. Después pueden realizarse acciones de control por aparatos domésticos más tarde.
Es ventajoso que el dispositivo de puntero comprenda medios de detección de movimiento para detectar una trayectoria de movimiento del dispositivo de puntero. Independientemente de que el dispositivo se use para reconocer objetos, puede usarse para enviar datos de control de aparato correspondientes a movimientos específicos realizados por el usuario. El aparato previsto en una aplicación de este tipo del dispositivo de puntero podría por ejemplo ser fijo o indicarse con un botón.
Es ventajoso que el dispositivo de puntero comprenda un proyector de características para proyectar ópticamente un patrón de características hacia una zona a la que se apunta. Es ventajoso que el usuario obtenga una realimentación de a qué aparato o parte de un aparato está apuntando. De lo contrario, si no está apuntando correctamente, por ejemplo podría pulsar virtualmente el botón equivocado del aparato. Una forma de realimentación podría ser una pequeña imagen en una presentación visual del dispositivo de puntero que muestra el centro de la zona de la que la cámara está obteniendo imágenes. Un aparato o botón en un aparato en el medio de la presentación visual es el previsto. Otra forma de realimentación comprende la proyección de un patrón de características, por ejemplo una cruz blanca o un punto de láser, que ilumina la parte prevista de un aparato. Patrones más complejos tales como una cuadrícula bidimensional de líneas pueden ayudar al DSP a identificar la geometría del aparato del que se obtienen imágenes.
Es ventajoso que el dispositivo de puntero comprenda un generador de código de interfaz de usuario programable y un transmisor inalámbrico para transmitir el código al aparato eléctrico. En lugar de que el DSP envíe datos de control de aparato al aparato, por ejemplo por medio de una red inalámbrica doméstica basada en Bluetooth, el propio dispositivo de puntero puede enviar directamente la orden de control remoto apropiada, por ejemplo por medio de radiación infrarroja. La ventaja en comparación con el control remoto universal clásico es que el DSP identifica automáticamente el aparato, a partir de una imagen de cámara, y genera el código correcto.
Es ventajoso que estén presentes medios de realimentación para realimentar información de interfaz de usuario. Por ejemplo es útil una presentación visual. Otra realimentación puede proporcionar algún tipo de realimentación por fuerza, por ejemplo por medio de una masa que se mueve. Esto puede, por ejemplo, simular dar un ligero toque contra la pantalla de una TV.
El tercer objeto se implementa porque se incluyen medios de interfaz que permiten que el aparato envíe información acerca de órdenes soportadas a un dispositivo de puntero según la reivindicación 1, basándose en una llamada de “identificar órdenes soportadas” del dispositivo de puntero al aparato. El DSP o parte de la funcionalidad del DSP también podría estar incluida en el aparato. El aparato también podría transmitir características caracterizadoras de objeto, etc.
Breve descripción de la invención
La invención resultará evidente a partir de y se dilucidará con referencia a la siguiente descripción y al dibujo que la acompaña, que muestra esquemáticamente ejemplos de componentes del sistema de interacción de usuario y el dispositivo de puntero según la invención. En este dibujo:
la figura 1 muestra esquemáticamente una sala en la que está presente un sistema de interacción de usuario según la invención;
la figura 2 muestra esquemáticamente un procesador de señal digital según la invención;
la figura 3 muestra esquemáticamente un dispositivo de puntero según la invención; y
la figura 4 muestra dos ejemplos de una trayectoria de movimiento y la correspondiente firma.
Descripción detallada de realizaciones
En la figura 1, se muestra una sala que contiene varios aparatos eléctricos que pueden recibir información I de interfaz de usuario, siendo por ejemplo el aparato 110 eléctrico una pantalla de plasma, aunque también pueden estar presentes una grabadora de vídeo personal o un teléfono o una lavadora, con los que puede interaccionar un usuario 100. La sala también contiene varios objetos, que son aparatos eléctricos o simplemente cualquier objeto físico como por ejemplo una ventana, o siendo el objeto 130 una aparato de audio, un jarrón 170 y un aparato 110 eléctrico, a los que puede apuntarse por medio de un dispositivo 101 de puntero.
Según la invención, el dispositivo 101 de puntero contiene una cámara 102, y puede enviar imágenes de zonas de una sala o de objetos en esas zonas a un procesador 120 de señal digital (DSP), que puede identificar las zonas o los objetos basándose en una o más imágenes obtenidas por la cámara 102. La cámara está conectada al dispositivo 101 de puntero de tal manera que obtiene adecuadamente imágenes de la zona a la que se apunta. Por ejemplo, puede encontrarse normalmente en el extremo alejado del dispositivo 101 de puntero, aunque también podría montarse en el lateral con un ángulo. El usuario 100 puede apuntar libremente a cualquier objeto que quiera, y así puede implementarse un sistema de interacción de usuario muy fácil de usar y potente.
El DSP 120 puede ser, por ejemplo, un ordenador doméstico que controla aparatos en una red doméstica, o puede estar incorporado en el dispositivo 101 de puntero. La cámara 102 puede ser una cámara CCD o una cámara CMOS. La conexión entre la cámara 102 y el DSP 120 puede ser inalámbrica si ambos están separados. El dispositivo 101 de puntero puede efectuar ya parte de los algoritmos que debe efectuar el DSP 120 para la identificación de un objeto, de modo que por ejemplo sólo tengan que enviarse un pequeño conjunto de características al DSP 120 externo para su procesamiento posterior. De hecho, el DSP 200 mostrado funcionalmente puede estar distribuido en varias partes en el dispositivo 101 de puntero, la sala, diferentes aparatos, etc.
El DSP 120 está diseñado para enviar información I de interfaz de usuario, por ejemplo datos de control de aparato, ac, a un aparato identificado. Por ejemplo, el usuario 100 puede apuntar al dispositivo 101 de puntero a la luz 160 y pulsar un botón de encendido en el dispositivo 101 de puntero, lo que da como resultado que el DSP 120 envíe una orden de encendido a la luz 160 identificada. El objeto identificado no tiene por qué ser el propio aparato que va a controlarse. Por ejemplo, apuntar a un jarrón 170 puede iniciar un programa particular en un PC, cuya salida se muestra en el aparato 110 de presentación visual. Puede apuntarse a partes de un objeto, por ejemplo apuntar a un botón 134 de volumen del objeto 130 sube o baja el volumen de este aparato de audio, dependiendo de una acción adicional tal como pulsar un botón o un movimiento del dispositivo 101 de puntero. Apuntar al display 132 de selección de canal y hacer un movimiento lateral puede cambiar el canal. El DSP 120 también puede reconocer el estado de una parte de un objeto, por ejemplo el cargador 136 de cintas se ha quedado abierto, y emitir una orden de “cerrar”. También pueden detectarse o monitorizarse otras situaciones específicas. El usuario 100 también puede apuntar a un mueble 140 o a una parte 142 del mismo. Si el mueble 140 es un armario pueden resultar diferentes acciones del hecho de apuntar a diferentes cajones. Si el mueble 140 es un frigorífico inteligente, apuntar al mismo puede dar como resultado una acción definida por el usuario de hacer un pedido de cerveza a través de Internet. Aparte de los datos de control de aparato, ac, puede enviarse otra información I de interfaz de usuario, por ejemplo datos de imagen, pd. Por ejemplo, un primer cuadro 150 electrónico y un segundo cuadro 152 electrónico muestran una imagen variable. Pueden implementarse con pantallas de tinta electrónica electroforética. El usuario 100 puede capturar la imagen presentada visualmente en el primer cuadro electrónico, o incluso una imagen en un calendario que cuelga de la pared, y transferirla como datos de imagen, pd, al segundo cuadro 152 electrónico, posiblemente tras algún procesamiento de imagen tal como por ejemplo corrección de perspectiva.
La figura 2 muestra esquemáticamente componentes funcionales en un procesador 200 de señal digital; una realización de 120 en la figura 1. No todos los componentes descritos están necesariamente presentes en una realización particular del sistema de interacción de usuario. El DSP 200 puede implementarse como un procesador genérico, un ASIC o componentes separados en una placa de circuitos. El DSP 200 puede recibir entrada de cámara, c, y entrada de sensor, s, por ejemplo desde medios 304 de detección de movimiento. El DSP 200 puede comprender una unidad 202 caracterizadora de objeto para caracterizar una imagen de un objeto 130 o parte del objeto 130 obtenida por la cámara 102. La unidad 202 caracterizadora de objeto puede proporcionar primeras características caracterizadoras de objeto, f1, a una unidad 204 de identificación de objeto. Las primeras características caracterizadoras de objeto, f1, pueden ser de diferentes tipos dependiendo de los algoritmos de procesamiento de imágenes implementados en la unidad 204 de identificación de objeto. Normalmente, el objeto se aísla en primer lugar de las partes restantes de la imagen obtenida. Esto puede hacerse, por ejemplo, basándose en detección de bordes y curvas en la imagen. Otra opción es el análisis 3D de la zona de la que se han obtenido imágenes, por ejemplo con una cuadrícula proyectada o una segunda cámara. Parte de un objeto puede detectarse basándose en técnicas de correlación, y entonces puede verificarse el resto del objeto.
En segundo lugar se calculan las primeras características caracterizadoras de objeto, f1. Por ejemplo, un contorno del objeto y sus partes componentes pueden caracterizarse por medio de una característica de curvatura frente a ángulo. O puede calcularse la relación anchura/altura. Puede usarse también la propia zona de objeto aislada, o una transformación de la misma, normalmente después de efectuar en primer lugar una corrección de perspectiva.
La unidad 204 de identificación de objeto identifica entonces el objeto basándose en las primeras características caracterizadoras de objeto, f1, recibidas desde la unidad 202 caracterizadora de objeto. Por ejemplo podría usarse cualquier técnica de clasificación conocida en el espacio de características multidimensionales. La salida de la unidad 204 de identificación de objeto son datos de identificación de objeto, oi, que pueden ser un simple número o una estructura de datos que contiene información adicional acerca del objeto identificado. Las características caracterizadoras y los datos adicionales de varios aparatos podrían almacenarse, por ejemplo, a priori en una memoria 230 de características de objeto por el fabricante del dispositivo de puntero que contiene el DSP 200, o podrían precargarse desde Internet si el DSP 200 es un ordenador. En lugar de identificar un objeto, el DSP también puede identificar la zona de la sala. Por ejemplo apuntar el dispositivo 101 de puntero hacia el techo puede emitir la orden “encender las luces”, mientras que apuntar al suelo apaga las luces. O apuntar a alguna de las esquinas puede invocar una orden asociada. Las esquinas pueden identificarse basándose en objetos presentes, por ejemplo a la izquierda una planta y a la derecha un armario.
El sistema de interacción de usuario es mucho más útil sin embargo si un usuario puede entrenar nuevos objetos, tales como un jarrón 170, por sí mismo. Por tanto, podría incluirse una unidad 212 de asociación de objeto, que proporciona a la unidad 204 de identificación de objeto datos de asociación de objeto, oad. Los datos de asociación de objeto, oad, podrían comprender características caracterizadoras, fa, de un objeto, de manera similar a las primeras características caracterizadoras de objeto, f1, basándose en una plantilla de objeto. La plantilla de objeto puede obtenerse aplicando una fase de entrenamiento. Se obtienen imágenes de un objeto nuevo mediante la cámara 102 en varias condiciones, por ejemplo diferentes ángulos, iluminación, etc. La unidad 202 caracterizadora de objeto genera segundas características caracterizadoras de objeto, f2, para todas las imágenes. Una unidad 221 de entrenamiento de objeto en la unidad 212 de asociación de objeto genera una plantilla de objeto correspondiente al objeto que se almacena en una memoria 220 de objetos. La plantilla puede ser, por ejemplo, el agrupamiento de segundas características caracterizadoras de objeto, f2, de todas las imágenes, o características promedio, o alguna característica invariable calculada basándose en las segundas características caracterizadoras de objeto, f2, variables. La plantilla de objeto también podría derivarse por la unidad 221 de entrenamiento de objeto basándose en características caracterizadoras procedentes del exterior, tales como datos de objeto, od. Estos datos de objeto podrían originarse en un aparato que introduce por ejemplo imágenes del mismo tomadas desde diferentes ángulos por un fabricante. Los datos de objeto, od, y los datos de asociación de objeto, oad, también podrían comprender datos relacionados con el objeto, id, es decir todo tipo de información relativa a un aparato, como por ejemplo órdenes soportadas.
Para facilitar el reconocimiento de objetos, determinados objetos como por ejemplo el aparato 110 pueden presentar visualmente un patrón 116 de características, por ejemplo pueden hacer parpadear una cruz roja un número predeterminado de veces con diferentes intervalos de encendido/apagado, en respuesta a una llamada de “identificación de objeto” del dispositivo de puntero. El aparato 110 también podría comprender una unidad 190 de interfaz, que hace que resulte más útil en un sistema de interacción de usuario según la invención. Por ejemplo, un aparato como una radio por Internet puede tener una función de “descubrimiento de servicios” que comunica al dispositivo de puntero 10.1 qué órdenes soporta. Podría incluso transmitir secuencias de control remoto por infrarrojos correspondientes a estas órdenes, etc. Esto facilita el entrenamiento del DSP 120, 200 por el usuario 100. Por ejemplo, en respuesta a la comunicación, las órdenes pueden aparecer como un menú de iconos predefinidos en un display 316 del dispositivo 101 de puntero. La unidad 190 de interfaz también puede implementarse por separado. Por ejemplo, una lavadora podría no tener una instalación de control remoto complicada. Puede proporcionarse un módulo enchufable que recibe órdenes convencionales desde el DSP 200 y actúa de interfaz de manera sencilla con el aparato, por ejemplo iniciándolo.
El DSP 200 también comprende componentes para analizar gestos realizados con el dispositivo 101 de puntero por el usuario 100. Para ello se usa la trayectoria 400 de movimiento en la figura 4 del dispositivo 101 de puntero, que se calcula por ejemplo basándose en imágenes procedentes de la cámara 102. La figura 4a muestra una trayectoria 400 de movimiento ascendente en un sistema 404 de coordenadas tridimensional. Se resume mediante la firma 402 que es una representación matemática de esa trayectoria de movimiento ascendente. La firma 402 puede vincularse, por ejemplo por medio de una tabla de órdenes, con datos de identificación de orden, ci, por ejemplo en este caso el usuario 100 podría reservar este movimiento para una orden de “subir volumen”. Una trayectoria 410 de movimiento circular y firma 412 circular podrían significar para un usuario “rebobinar”, mientras que otro usuario ha entrenado el DSP 200 para relacionar esta firma 412 circular con una orden de “encender dispositivo”. El usuario puede por ejemplo orientar de manera aproximada su dispositivo 101 de puntero hacia la luz 160 y hacer el movimiento de “encender dispositivo”, basándose en lo cual el DSP 200 enciende la luz 160. Alternativamente, el usuario 100 también puede hacer el movimiento de “encender dispositivo” en algún lugar en el aire y después apuntar a la luz 160, o a una televisión o a cualquier objeto que quiera encender. Las firmas 402, 412 pueden parametrizarse de cualquier modo y correlacionarse mediante cualquier técnica de ajuste de curvas conocida. Por ejemplo la firma 402 puede codificarse como varios segmentos de línea conectados de longitud y ángulo entre segmentos específicos.
Una unidad 206 de estimación de trayectoria de movimiento calcula una trayectoria 400 de movimiento, basándose en medios 304 de detección de movimiento, o imágenes sucesivas procedentes de la cámara 102. Por ejemplo pueden aplicarse técnicas de estimación de movimiento basadas en bloques o flujo óptico sobre dos imágenes sucesivas para obtener una parte 401 de trayectoria 400 de movimiento. La divergencia del campo de vector de movimiento puede usarse para estimar movimiento hacia un objeto, es decir normalmente a lo largo de un eje del dispositivo 101 de puntero. Basándose en la trayectoria 400 de movimiento, una unidad 209 de generación de firma emite una primera firma caracterizadora de movimiento, s1. Una unidad 208 de identificación de firma identifica la primera firma caracterizadora de movimiento, s1, y la vincula con datos de identificación de orden, ci, que son por ejemplo una representación numérica de una orden de interacción de usuario prevista por el usuario 100. La primera firma caracterizadora de movimiento, s1, puede compararse con características de firma para diferentes firmas almacenadas en una memoria 232 de características de firma. Por ejemplo si se realiza un movimiento aproximadamente circular o incluso algún movimiento de giro, una plantilla de firma circular almacenada dará lugar a una mejor coincidencia que una plantilla de firma lineal. Pueden aplicarse técnicas de correlación de curvas geométricas y estructurales en el cálculo de similitud.
Al igual que es ventajoso tener un DSP 200 que pueda aprender a identificar nuevos objetos, es ventajoso que el DSP 200 pueda identificar nuevos movimientos preferidos por el usuario 100. Por tanto, podría incluirse la unidad 214 de asociación de firma para proporcionar datos de asociación de firma, SAD, a la unidad 208 de identificación de firma. Los datos de asociación de firma, SAD, pueden comprender características de firma asociada, sa, por ejemplo una representación matemática de la firma 412 circular y/o datos relacionados con la orden, cid, por ejemplo recibidos desde un aparato que envía las órdenes que soporta como datos de orden, cd, al DSP 200. Pueden obtenerse plantillas de firma en una memoria 222 de firmas a partir de una unidad 223 de entrenamiento de firma basándose en una primera firma caracterizadora de movimiento, s2, procedente de la unidad 206 de estimación de trayectoria de movimiento o de datos de orden, cd.
Puesto que el entorno del usuario es muy variable, por ejemplo la iluminación cambia durante el día, la identificación del objeto 130 o una orden, es decir una firma 402, podría ser en ocasiones incorrecta. Por tanto, el DSP 200 podría comprender una unidad 210 de mejora de identificación. La orden prevista depende, por ejemplo, del objeto 130 al que se apunta, o podría depender de la orden dada previamente, etc. Un objeto se identifica incorrectamente si no está presente en la sala en la que se encuentra el dispositivo de puntero. Por tanto, pueden estar presentes medios 185 de reconocimiento de sala, por ejemplo LED parpadeantes. El usuario 100 puede escanear de los medios 185 de reconocimiento de sala con el dispositivo 101 de puntero cuando entra en la sala. Aparte de la cámara 102, puede estar incluido un fotodiodo en el dispositivo 101 de puntero para detectar los medios 185 de reconocimiento de sala. También están presentes balizas 180, 181, 182 de localización de sala, de modo que el DSP 200 puede reconocer a qué parte de la sala está apuntando el dispositivo 101 de puntero. Las balizas podrían ser luz que se emite en caso de que la cámara 102 deba reconocerlas, pero también podrían ser, por ejemplo, la emisión de radiación electromagnética. Los objetos presentes en la sala también pueden ayudar al reconocimiento de un objeto. Por ejemplo, si un jarrón 170 está junto al objeto 130, su reconocimiento puede ayudar al reconocimiento del objeto
130. Puede usarse incluso un análisis de la trayectoria pasada del dispositivo de puntero. Si el dispositivo de puntero estaba apuntando previamente al objeto 130 y se ha movido hacia la derecha, debe estar apuntando al aparato 110. Teniendo toda esta información en cuenta, la unidad 210 de mejora de identificación puede calcular, por ejemplo, probabilidades bayesianas o usar lógica difusa para llegar a una identificación más cierta del objeto 130 y la orden prevista.
La información I de interacción de usuario emitida por el DSP 200 comprende normalmente datos de aparato de control, ac, que son por ejemplo una estructura que comprende los datos de identificación de objeto, oi, y los datos de identificación de orden, ci, o un nuevo identificador basado en los mismos, que identifican una orden prevista para un aparato 110 particular. La información I de interacción de usuario también puede comprender datos de imagen, pd.
La figura 3 muestra esquemáticamente un dispositivo 300 de puntero -una realización de 101 en la figura 1-según la invención. No todas las características mostradas tienen que estar presentes: un dispositivo de puntero sencillo puede comprender únicamente una cámara 302 y por ejemplo un display 316 para realimentación. Podrían estar presentes varios botones, por ejemplo el botón 308. Esto permite que para dar determinadas órdenes sólo se pulse un botón. También pueden usarse movimientos similares del dispositivo 300 de puntero para dos órdenes diferentes, una vez pulsando simultáneamente el botón 308 y una vez sin pulsar simultáneamente el botón 308. Puede estar presente un proyector 320 de características, por ejemplo para proyectar un punto de láser hacia la ubicación a la que se apunta. La cámara del dispositivo de puntero puede enviar una imagen al DSP 120 externo, pero también podría comprender ella misma el DSP 200. De este modo, el dispositivo de puntero también puede usarse en exteriores. También podría usarse un dispositivo 103 de puntero no llevado por un usuario 100 para monitorizar un aparato 110 o sala. Aparte de detectar el movimiento por medio de la cámara, también pueden estar incluidos otros medios 304 de detección de movimiento, por ejemplo un giroscopio o GPS diferencial. Un generador 309 de código programable y un transmisor 310 inalámbrico también pueden estar presentes para enviar una orden directamente a un aparato 110. Podrían estar presentes medios de realimentación para proporcionar al usuario información adicional. Por ejemplo, podrían estar incluidos una luz 312, un dispositivo 314 de producción de sonido, medios 306 de realimentación por fuerza y en particular un display 316. Los medios de realimentación por fuerza pueden comprender una pequeña masa móvil, que puede simular la vibración o el toque de un aparato. El display puede mostrar, por ejemplo, el centro de la zona a la que se apunta, posiblemente superponiendo una cruz generada gráficamente en el centro de la imagen obtenida. Esto también puede presentarse visualmente en una televisión. De manera similar, podría usarse la luz 160 para proporcionar realimentación en lugar de la luz 312. La realimentación en el display 316 podría mostrar, por ejemplo, la trayectoria 400 de movimiento y en qué medida fue similar a trayectorias de movimiento previas durante la fase de entrenamiento de trayectoria de movimiento, lo que ayuda al usuario 100 a enseñar al DSP 200 a reconocer un gesto estable. El display 316 también podría indicar lo que el DSP 200 ve mostrando una imagen tras varias etapas de procesamiento de imágenes, por ejemplo una imagen que contiene bordes detectados, y que comprende texto que nombra al dispositivo identificado.
También podrían estar presentes medios 330 de identificación de usuario, por ejemplo un sensor de huella dactilar,
o una entrada para contraseña o tarjeta inteligente personal. De este modo, el DSP 200 puede ajustarse a un modo de funcionamiento particular para el usuario 100. El usuario podría incluso dar órdenes diferentes dependiendo de la sala en la que se encuentre. También podrían incluirse medios 340 de reconocimiento de voz, para complementar las órdenes dadas mediante movimientos del dispositivo 300 de puntero. Podría jugarse a juegos usando el dispositivo 101 de puntero como una especie de dispositivo de interfaz con el mundo real.

Claims (15)

  1. REIVINDICACIONES
    1. Sistema de interacción de usuario que comprende:
    -
    un aparato (110) eléctrico;
    -
    un dispositivo (101, 300) de puntero portátil que puede hacerse funcionar por un usuario para apuntar a una zona en el espacio;
    -
    una cámara (102) que toma una imagen, cámara que está conectada al dispositivo de puntero de modo que en funcionamiento obtiene imágenes de la zona a la que se apunta; y
    -
    un procesador (120) de señal digital, que puede recibir y procesar la imagen, y que puede transmitir información de interfaz de usuario derivada de la imagen al aparato eléctrico;
    estando el sistema caracterizado porque comprende además:
    -
    al menos una baliza (180, 181, 182) de localización de sala en una sala en la que se usa el dispositivo de puntero, que puede emitir radiación electromagnética para su uso por el procesador de señal digital que está dispuesto para reconocer a qué parte de la sala está apuntando el dispositivo de puntero; y
    -
    medios para estimar un movimiento o una trayectoria (400, 410) de movimiento del dispositivo de puntero.
  2. 2.
    Sistema de interacción de usuario según la reivindicación 1, en el que los medios para habilitar la estimación de un movimiento o una trayectoria de movimiento del dispositivo de puntero son medios (304) de detección de movimiento.
  3. 3.
    Sistema de interacción de usuario según la reivindicación 1, en el que el movimiento o la trayectoria de movimiento del dispositivo de puntero se estima basándose en imágenes sucesivas obtenidas por la cámara en respectivas instancias de tiempo.
  4. 4.
    Sistema de interacción de usuario según cualquier reivindicación anterior, en el que el procesador de señal digital está distribuido en varias partes.
  5. 5.
    Sistema de interacción de usuario según la reivindicación 4, en el que una primera parte del procesador de señal digital está incluida en el dispositivo de puntero y una segunda parte del procesador de señal digital está incluida en el aparato eléctrico.
  6. 6.
    Sistema de interacción de usuario según cualquier reivindicación anterior, en el que el procesador de señal digital está dispuesto para analizar gestos realizados con el dispositivo de puntero basándose en dicha trayectoria de movimiento.
  7. 7.
    Sistema de interacción de usuario según la reivindicación 6, en el que el dispositivo de puntero está dispuesto para controlar el funcionamiento del aparato eléctrico basándose en dichos gestos analizados.
  8. 8.
    Sistema de interacción de usuario según cualquier reivindicación anterior, en el que la trayectoria de movimiento se resume mediante una firma (402) que es una representación matemática de dicha trayectoria de movimiento.
  9. 9.
    Sistema de interacción de usuario según la reivindicación 8, en el que la firma está vinculada a una orden para controlar el aparato eléctrico.
  10. 10.
    Sistema de interacción de usuario según la reivindicación 8 ó 9, en el que la firma se correlaciona mediante una técnica de ajuste de curvas.
  11. 11.
    Sistema de interacción de usuario según cualquier reivindicación anterior, en el que el dispositivo de puntero comprende además medios (306, 312, 314, 316) de realimentación para proporcionar al usuario información adicional.
  12. 12.
    Sistema de interacción de usuario según la reivindicación 11, en el que dichos medios de realimentación se seleccionan del grupo que consiste en luz, sonido, una presentación visual y medios (306, 312, 314, 316) de realimentación por fuerza.
  13. 13.
    Sistema de interacción de usuario según la reivindicación 11 ó 12, en el que dichos medios de realimentación están dispuestos para proporcionar realimentación acerca de a qué parte de un aparato está apuntando el usuario.
  14. 14.
    Sistema de interacción de usuario según la reivindicación 13, en el que el aparato al que está apuntando el usuario es el aparato eléctrico.
  15. 15.
    Sistema de interacción de usuario según cualquier reivindicación anterior, en el que la información de interfaz de usuario comprende datos de control de aparato para controlar el funcionamiento del aparato eléctrico.
ES09159405T 2002-11-20 2003-10-28 Sistema de interfaz de usuario basado en dispositivo de puntero Expired - Lifetime ES2425076T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02079816 2002-11-20
EP02079816 2002-11-20

Publications (1)

Publication Number Publication Date
ES2425076T3 true ES2425076T3 (es) 2013-10-11

Family

ID=32319629

Family Applications (2)

Application Number Title Priority Date Filing Date
ES09159405T Expired - Lifetime ES2425076T3 (es) 2002-11-20 2003-10-28 Sistema de interfaz de usuario basado en dispositivo de puntero
ES03758471T Expired - Lifetime ES2378665T3 (es) 2002-11-20 2003-10-28 Sistema de interfaz de usuario basado en dispositivo apuntador

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES03758471T Expired - Lifetime ES2378665T3 (es) 2002-11-20 2003-10-28 Sistema de interfaz de usuario basado en dispositivo apuntador

Country Status (11)

Country Link
US (4) US7940986B2 (es)
EP (3) EP2093650B1 (es)
JP (4) JP4243248B2 (es)
KR (1) KR20050075031A (es)
CN (4) CN101101512A (es)
AT (1) ATE537528T1 (es)
AU (1) AU2003274496A1 (es)
DK (1) DK1573498T3 (es)
ES (2) ES2425076T3 (es)
PT (2) PT1573498E (es)
WO (1) WO2004047011A2 (es)

Families Citing this family (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2309259T3 (es) * 2003-08-29 2008-12-16 Trumpf Laser- Und Systemtechnik Gmbh Dispositivo para el mecanizado remoto de piezas de trabajo mediante un rayo laser de mecanizado.
CN1898708B (zh) * 2003-12-18 2012-01-11 皇家飞利浦电子股份有限公司 对设备进行控制的方法和系统
US7961909B2 (en) 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
WO2006013479A2 (en) * 2004-07-28 2006-02-09 Philips Intellectual Property & Standards Gmbh Method for control of a device
KR101224351B1 (ko) * 2004-08-24 2013-01-21 코닌클리케 필립스 일렉트로닉스 엔.브이. 제어될 디바이스에 연관된 객체를 찾아내는 방법 및 상기 디바이스를 제어하는 방법
US20060072009A1 (en) * 2004-10-01 2006-04-06 International Business Machines Corporation Flexible interaction-based computer interfacing using visible artifacts
US8760522B2 (en) 2005-10-21 2014-06-24 I-Interactive Llc Multi-directional remote control system and method
US8456534B2 (en) 2004-10-25 2013-06-04 I-Interactive Llc Multi-directional remote control system and method
US8842186B2 (en) 2004-10-25 2014-09-23 I-Interactive Llc Control system and method employing identification of a displayed image
US7796116B2 (en) 2005-01-12 2010-09-14 Thinkoptics, Inc. Electronic equipment for handheld vision based absolute pointing system
EP1844456A2 (en) * 2005-01-28 2007-10-17 Philips Intellectual Property & Standards GmbH Method for control of a device
CN101185054B (zh) * 2005-05-31 2011-11-23 皇家飞利浦电子股份有限公司 用于控制设备的方法
EP1897010A1 (en) 2005-06-30 2008-03-12 Nokia Corporation Camera control means to allow operating of a destined location of the information surface of a presentation and information system
EP1904914B1 (en) 2005-06-30 2014-09-03 Philips Intellectual Property & Standards GmbH Method of controlling a system
EP2259169B1 (en) * 2005-07-04 2018-10-24 Electrolux Home Products Corporation N.V. Houshold appliance with virtual data interface
JP2007011963A (ja) * 2005-07-04 2007-01-18 Fuji Xerox Co Ltd 端末装置による情報処理方法およびシステム
EP1904915B1 (en) 2005-07-11 2010-02-10 Philips Intellectual Property & Standards GmbH Method of controlling a control point position on a command area and method for control of a device
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
EP1744290B1 (en) * 2005-07-15 2018-05-30 Samsung Electronics Co., Ltd. Integrated remote controller and method of selecting device controlled thereby
JP2009505201A (ja) * 2005-08-11 2009-02-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ポインティング装置の動きを判定する方法
WO2007020549A2 (en) * 2005-08-12 2007-02-22 Koninklijke Philips Electronics N.V. Method of calibrating a control system for controlling a device
US7942745B2 (en) † 2005-08-22 2011-05-17 Nintendo Co., Ltd. Game operating device
US7809214B2 (en) 2005-08-22 2010-10-05 Samsung Electronics Co., Ltd. Device and a method for identifying movement patterns
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US7513700B2 (en) * 2005-12-13 2009-04-07 Sony Ericsson Mobile Communications Ab Image element identifier
KR100800998B1 (ko) * 2005-12-24 2008-02-11 삼성전자주식회사 홈 네트워크 기기 제어 장치 및 방법
DE102006015045A1 (de) * 2006-03-31 2007-10-04 Siemens Ag Fernbedienung, Gebäudesteuerungssystem und Verfahren zur Gebäudesteuerung
US8013838B2 (en) * 2006-06-30 2011-09-06 Microsoft Corporation Generating position information using a video camera
US8913003B2 (en) 2006-07-17 2014-12-16 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer using a projection marker system
US7835544B2 (en) 2006-08-31 2010-11-16 Avago Technologies General Ip (Singapore) Pte. Ltd. Method and system for far field image absolute navigation sensing
US20080156989A1 (en) * 2006-12-28 2008-07-03 O2Micro Inc. Motion sensing/recognition by camera applications
AU2012216491B2 (en) * 2007-02-27 2014-01-09 Accenture Global Services Limited Video call device control
EP1968320B1 (en) * 2007-02-27 2018-07-18 Accenture Global Services Limited Video call device control
JP4767200B2 (ja) * 2007-03-08 2011-09-07 任天堂株式会社 情報選択装置および情報選択プログラム
US9176598B2 (en) 2007-05-08 2015-11-03 Thinkoptics, Inc. Free-space multi-dimensional absolute pointer with improved performance
DE112007003594A5 (de) * 2007-05-10 2010-04-22 Siemens Aktiengesellschaft Bedienung von Automatisierungsgeräten durch ein mobiles Endgerät
US8237656B2 (en) * 2007-07-06 2012-08-07 Microsoft Corporation Multi-axis motion-based remote control
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US7991896B2 (en) 2008-04-21 2011-08-02 Microsoft Corporation Gesturing to select and configure device communication
US7529542B1 (en) 2008-04-21 2009-05-05 International Business Machines Corporation Method of establishing communication between two or more real world entities and apparatuses performing the same
KR100908099B1 (ko) 2008-06-03 2009-07-16 엘지전자 주식회사 Ｄｔｖ, 3ｄ포인팅 디바이스 및 ｄｔｖ의 기능 실행 방법
KR100931403B1 (ko) * 2008-06-25 2009-12-11 한국과학기술연구원 손 동작에 의한 네트워크 상의 기기 및 정보 제어 시스템
FR2933212B1 (fr) * 2008-06-27 2013-07-05 Movea Sa Pointeur a capture de mouvement resolue par fusion de donnees
US8576169B2 (en) 2008-10-20 2013-11-05 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration
KR101499133B1 (ko) * 2008-10-28 2015-03-11 삼성전자주식회사 휴대 단말기의 메뉴수행 장치 및 방법
US8515707B2 (en) 2009-01-07 2013-08-20 Sensor Platforms, Inc. System and method for determining an attitude of a device undergoing dynamic acceleration using a Kalman filter
US8587519B2 (en) 2009-01-07 2013-11-19 Sensor Platforms, Inc. Rolling gesture detection using a multi-dimensional pointing device
FR2942060B1 (fr) * 2009-02-11 2016-02-12 Oberthur Technologies Entite electronique apte a communiquer avec un lecteur et procede mis en oeuvre au sein d'une telle entite electronique
US9014685B2 (en) * 2009-06-12 2015-04-21 Microsoft Technology Licensing, Llc Mobile device which automatically determines operating mode
CN101937289B (zh) * 2009-06-30 2013-06-05 鸿富锦精密工业（深圳）有限公司 光学触控装置
WO2011019154A2 (en) * 2009-08-14 2011-02-17 Lg Electronics Inc. Remote control device and remote control method using the same
US8457651B2 (en) * 2009-10-02 2013-06-04 Qualcomm Incorporated Device movement user interface gestures for file sharing functionality
US8661352B2 (en) * 2009-10-08 2014-02-25 Someones Group Intellectual Property Holdings Pty Ltd Method, system and controller for sharing data
US9174123B2 (en) * 2009-11-09 2015-11-03 Invensense, Inc. Handheld computer systems and techniques for character and command recognition related to human movements
CN101908220A (zh) * 2010-07-09 2010-12-08 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
CN101901496A (zh) * 2010-07-09 2010-12-01 北京水晶石数字科技有限公司 一种大型活动演练方法和系统
US8432264B1 (en) * 2010-07-23 2013-04-30 Tivo Inc. Motion-activated remote control backlight
US8613666B2 (en) * 2010-08-31 2013-12-24 Microsoft Corporation User selection and navigation based on looped motions
WO2012030153A2 (ko) * 2010-09-02 2012-03-08 주식회사 엘앤와이비젼 비접촉식 입력장치
US8760432B2 (en) 2010-09-21 2014-06-24 Visteon Global Technologies, Inc. Finger pointing, gesture based human-machine interface for vehicles
US20150153715A1 (en) * 2010-09-29 2015-06-04 Google Inc. Rapidly programmable locations in space
US9477302B2 (en) 2012-08-10 2016-10-25 Google Inc. System and method for programing devices within world space volumes
US8957909B2 (en) 2010-10-07 2015-02-17 Sensor Platforms, Inc. System and method for compensating for drift in a display of a user interface state
US9952671B2 (en) * 2010-10-12 2018-04-24 Nokia Technologies Oy Method and apparatus for determining motion
US8861797B2 (en) 2010-11-12 2014-10-14 At&T Intellectual Property I, L.P. Calibrating vision systems
JP5692904B2 (ja) * 2010-11-17 2015-04-01 任天堂株式会社 入力システム、情報処理装置、情報処理プログラム、および指示位置算出方法
US20120169482A1 (en) * 2011-01-05 2012-07-05 Ian Chen System and Method for Selecting a Device for Remote Control Based on Determined Navigational State of a Remote Control Device
US9332169B2 (en) * 2011-02-21 2016-05-03 Koninklijke Philips N.V. Estimating control feature from remote control with camera
US9179182B2 (en) 2011-04-12 2015-11-03 Kenneth J. Huebner Interactive multi-display control systems
DE102011101387A1 (de) * 2011-05-12 2012-11-15 Abb Ag Tragbares Anzeige- und Bediengerät
WO2013017991A1 (en) 2011-08-02 2013-02-07 Koninklijke Philips Electronics N.V. Remote control with first and second sensors
KR101733115B1 (ko) * 2011-11-08 2017-05-10 한국전자통신연구원 원격 스크린내 콘텐츠 원격 제어 방법 및 장치
CN103135447A (zh) * 2011-11-24 2013-06-05 亚旭电子科技(江苏)有限公司 遥控器转接装置
CN103135791A (zh) * 2011-12-02 2013-06-05 捷达世软件（深圳）有限公司 电子装置控制系统及方法
EP2602691A1 (en) * 2011-12-05 2013-06-12 Alcatel Lucent Method for gesture control, gesture server device and sensor input device
KR101874853B1 (ko) * 2011-12-29 2018-07-05 주식회사 알티캐스트 모바일 장치와 디스플레이 장치 간의 동기화 방법 및 장치, 모바일 장치, 디스플레이 장치
US9459276B2 (en) 2012-01-06 2016-10-04 Sensor Platforms, Inc. System and method for device self-calibration
WO2013104006A2 (en) 2012-01-08 2013-07-11 Sensor Platforms, Inc. System and method for calibrating sensors for different operating environments
DE102012203458A1 (de) * 2012-03-05 2013-09-05 E.G.O. Elektro-Gerätebau GmbH Abgesetzte Bedieneinheit für ein Haushaltsgerät
US9228842B2 (en) 2012-03-25 2016-01-05 Sensor Platforms, Inc. System and method for determining a uniform external magnetic field
JP5858850B2 (ja) * 2012-04-02 2016-02-10 三菱電機株式会社 空気調和機の室内機
US9619036B2 (en) * 2012-05-11 2017-04-11 Comcast Cable Communications, Llc System and methods for controlling a user experience
CN103513753B (zh) * 2012-06-18 2017-06-27 联想(北京)有限公司 信息处理方法和电子设备
DE102012210784B4 (de) * 2012-06-25 2015-11-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Transponder für Hausautomatisierungssysteme
TWI526041B (zh) * 2012-07-17 2016-03-11 廣達電腦股份有限公司 互動系統及互動方法
CN103853364A (zh) * 2012-11-29 2014-06-11 联想(北京)有限公司 一种触觉反馈方法、电子设备及触觉反馈系统
FR3000242A1 (fr) 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’associations entre objets numeriques.
FR3000241A1 (fr) * 2012-12-21 2014-06-27 France Telecom Procede de gestion d’un systeme d’information geographique adapte pour etre utilise avec au moins un dispositif de pointage, avec creation d’objets numeriques purement virtuels.
WO2014106862A2 (en) * 2013-01-03 2014-07-10 Suman Saurav A method and system enabling control of different digital devices using gesture or motion control
KR20140099111A (ko) * 2013-02-01 2014-08-11 삼성전자주식회사 카메라 장치의 동작을 제어하는 방법 및 상기 카메라 장치
US9393695B2 (en) * 2013-02-27 2016-07-19 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with person and object discrimination
US9798302B2 (en) 2013-02-27 2017-10-24 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with redundant system input support
US9804576B2 (en) 2013-02-27 2017-10-31 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with position and derivative decision reference
US9498885B2 (en) 2013-02-27 2016-11-22 Rockwell Automation Technologies, Inc. Recognition-based industrial automation control with confidence-based decision support
US10198080B1 (en) * 2013-03-11 2019-02-05 Amazon Technologies, Inc. Virtual user interface
TWI505175B (zh) * 2013-04-29 2015-10-21 Hon Hai Prec Ind Co Ltd 具有三維用戶介面的遠端控制裝置及其介面生成方法
CN103607538A (zh) 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 拍摄方法及拍摄装置
CN103605701A (zh) 2013-11-07 2014-02-26 北京智谷睿拓技术服务有限公司 通信对象的确定方法及确定装置
US20150139483A1 (en) * 2013-11-15 2015-05-21 David Shen Interactive Controls For Operating Devices and Systems
ES2542089B1 (es) * 2014-01-30 2016-05-04 Universidad De Extremadura Sistema de control remoto de dispositivos con láser
DE102014002431A1 (de) * 2014-02-19 2015-08-20 Franzkann* Herbold Und Herrmann Gbr (Vertrber. Ges.: Herbold, Christian, 76131 Karlsruhe) Verfahren und Vorrichtung zur Bedienung mehrerer elektronischer Geräte
US9807725B1 (en) 2014-04-10 2017-10-31 Knowles Electronics, Llc Determining a spatial relationship between different user contexts
CN106716511B (zh) * 2014-09-29 2020-04-14 皇家飞利浦有限公司 遥控设备、用户设备及其系统，以及方法和识别信号
JP6710200B2 (ja) * 2014-09-30 2020-06-17 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ポインティングデバイスに基づくユーザインタフェースシステム
WO2016123560A1 (en) 2015-01-30 2016-08-04 Knowles Electronics, Llc Contextual switching of microphones
US9983693B2 (en) 2015-03-13 2018-05-29 Adtile Technologies Inc. Spatial motion-based user interactivity
CN105141913A (zh) * 2015-08-18 2015-12-09 华为技术有限公司 可视化远程控制可触控设备的方法、系统和相关设备
US10427038B2 (en) 2016-01-21 2019-10-01 Toccata Gaming International, Llc Game console incorporating beam-splitter display and real world objects
US11577159B2 (en) 2016-05-26 2023-02-14 Electronic Scripting Products Inc. Realistic virtual/augmented/mixed reality viewing and interactions
DE102017100017A1 (de) * 2016-09-09 2018-03-15 Huf Secure Mobile GmbH Verfahren zum Auslösen einer Funktion und Handgerät
RU2733995C1 (ru) 2016-11-21 2020-10-09 Конинклейке Филипс Н.В. Устройство дистанционного управления и пользовательское устройство, использующее идентификационный сигнал
KR20180098079A (ko) 2017-02-24 2018-09-03 삼성전자주식회사 비전 기반의 사물 인식 장치 및 그 제어 방법
US11163434B2 (en) * 2019-01-24 2021-11-02 Ademco Inc. Systems and methods for using augmenting reality to control a connected home system
US11555743B2 (en) * 2019-07-01 2023-01-17 Snap-On Incorporated Method and system for calibrating imaging system
US11709099B2 (en) 2019-07-01 2023-07-25 Snap-On Incorporated Method and system for calibrating imaging system
US10965914B2 (en) 2019-07-08 2021-03-30 Andrae T. D'Acquisto Trail camera
US11445107B2 (en) * 2019-08-08 2022-09-13 Qorvo Us, Inc. Supervised setup for control device with imager
KR20220140221A (ko) * 2021-04-09 2022-10-18 삼성전자주식회사 복수의 카메라를 포함하는 웨어러블 전자 장치
US20220405317A1 (en) * 2021-06-18 2022-12-22 Google Llc Remote Control Device with Environment Mapping

Family Cites Families (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4576481A (en) * 1982-12-13 1986-03-18 Position Orientation Systems, Ltd. Passive optical position measurement system
US5045843B1 (en) 1988-12-06 1996-07-16 Selectech Ltd Optical pointing device
US4963017A (en) 1989-05-01 1990-10-16 General Electric Company Variable depth range camera
US5016107A (en) 1989-05-09 1991-05-14 Eastman Kodak Company Electronic still camera utilizing image compression and digital storage
DE4005081A1 (de) * 1990-02-17 1991-08-22 Torres Peraza Mario Waage, insbesondere selbstbedienungswaage
JP3218716B2 (ja) 1992-07-31 2001-10-15 ソニー株式会社 入力装置、及び入力システム
JP2790965B2 (ja) * 1992-08-19 1998-08-27 富士通株式会社 光学式ポインティングシステム
US5454043A (en) * 1993-07-30 1995-09-26 Mitsubishi Electric Research Laboratories, Inc. Dynamic and static hand gesture recognition through low-level image analysis
JPH0759170A (ja) 1993-08-19 1995-03-03 Toshiba Corp リモートコントロール装置
JP3186390B2 (ja) * 1993-12-27 2001-07-11 ソニー株式会社 電子機器制御システム、および電子機器制御装置
JP3262677B2 (ja) 1994-05-02 2002-03-04 株式会社ワコム 情報入力装置
JPH0814911A (ja) * 1994-07-04 1996-01-19 Sharp Corp 動作認識装置
JP3422383B2 (ja) 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
US5926168A (en) 1994-09-30 1999-07-20 Fan; Nong-Qiang Remote pointers for interactive televisions
JPH08331667A (ja) * 1995-05-30 1996-12-13 Oki Electric Ind Co Ltd ポインティングシステム
US5682196A (en) * 1995-06-22 1997-10-28 Actv, Inc. Three-dimensional (3D) video presentation system providing interactive 3D presentation with personalized audio responses for multiple viewers
JP3475419B2 (ja) * 1995-10-11 2003-12-08 ソニー株式会社 テレビジョン受像機
KR0164089B1 (ko) * 1995-12-20 1998-12-01 양승택 무선원격제어 장치 및 방법
DE19548776A1 (de) 1995-12-23 1997-06-26 Thomson Brandt Gmbh Verfahren zur Fernbedienung von elektronischen Geräten und Vorrichtung zur Fernbedienung von elektronischen Geräten sowie elektronisches Gerät
JPH09230991A (ja) 1996-02-23 1997-09-05 Fuji Xerox Co Ltd 情報処理装置
US5719622A (en) 1996-02-23 1998-02-17 The Regents Of The University Of Michigan Visual control selection of remote mechanisms
JPH10198506A (ja) * 1997-01-13 1998-07-31 Osaka Gas Co Ltd 座標検出システム
JPH1186038A (ja) 1997-03-03 1999-03-30 Sega Enterp Ltd 画像処理装置、画像処理方法及び媒体並びにゲーム機
WO1999035633A2 (en) 1998-01-06 1999-07-15 The Video Mouse Group Human motion following computer mouse and game controller
EP1073946A1 (en) 1998-04-30 2001-02-07 C Technologies AB Control device and method of controlling an object
JPH11338633A (ja) 1998-05-21 1999-12-10 Toshiba Fa Syst Eng Corp ポインティングデバイス、コンピュータ装置及びコンピュータシステム
US7218243B2 (en) * 1998-07-23 2007-05-15 Universal Electronics Inc. System and method for automatically setting up a universal remote control
JP4176230B2 (ja) 1999-03-19 2008-11-05 株式会社ルネサステクノロジ 座標位置制御システム、座標位置制御方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
CN1175345C (zh) * 1999-03-31 2004-11-10 皇家菲利浦电子有限公司 用于显示装置的遥控器
JP2000300843A (ja) 1999-04-19 2000-10-31 Taito Corp ゲーム機の入力装置
JP2001008279A (ja) * 1999-06-18 2001-01-12 Sony Corp リモートコントローラおよびリモートコントロール方法、並びに媒体、機器および表示方法、並びに媒体
US6275214B1 (en) 1999-07-06 2001-08-14 Karl C. Hansen Computer presentation system and method with optical tracking of wireless pointer
EP1071285A1 (en) * 1999-07-19 2001-01-24 Texas Instruments Inc. Vertical compensation in a moving camera
US20010010514A1 (en) 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6346933B1 (en) * 1999-09-21 2002-02-12 Seiko Epson Corporation Interactive display presentation system
AU2001227797A1 (en) * 2000-01-10 2001-07-24 Ic Tech, Inc. Method and system for interacting with a display
US7187412B1 (en) 2000-01-18 2007-03-06 Hewlett-Packard Development Company, L.P. Pointing device for digital camera display
US7028269B1 (en) * 2000-01-20 2006-04-11 Koninklijke Philips Electronics N.V. Multi-modal video target acquisition and re-direction system and method
JP2001236174A (ja) * 2000-02-25 2001-08-31 Fujitsu Ltd 手書き文字入力装置及び手書き文字認識方法
DE60042156D1 (de) * 2000-08-24 2009-06-18 Sony Deutschland Gmbh Fernbedienungsgeber
US6489986B1 (en) 2000-09-29 2002-12-03 Digeo, Inc. Remote control device for video and audio capture and communication
US7016532B2 (en) * 2000-11-06 2006-03-21 Evryx Technologies Image capture and identification system and process
US20020085097A1 (en) 2000-12-22 2002-07-04 Colmenarez Antonio J. Computer vision-based wireless pointing system
JP2002196877A (ja) 2000-12-25 2002-07-12 Hitachi Ltd イメージセンサを用いた電子機器
US7031875B2 (en) 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
DE10110979A1 (de) 2001-03-07 2002-09-26 Siemens Ag Anordnung zur Verknüpfung von optisch erkannten Mustern mit Informationen
JP2002290853A (ja) * 2001-03-22 2002-10-04 Canon Inc テレビジョン放送受信装置およびテレビジョン放送受信方法およびテレビジョン放送受信プログラム
DE60239925D1 (de) * 2001-03-29 2011-06-16 Lasx Ind Inc Steuerung für einen laser mit prädiktiven modellen des bewegungssystems des laserstrahls
US20020149617A1 (en) * 2001-03-30 2002-10-17 Becker David F. Remote collaboration technology design and methodology
JP3811025B2 (ja) 2001-07-03 2006-08-16 株式会社日立製作所 ネットワーク・システム
GB0117418D0 (en) * 2001-07-17 2001-09-12 Storm Mason R Litecam
US7680295B2 (en) 2001-09-17 2010-03-16 National Institute Of Advanced Industrial Science And Technology Hand-gesture based interface apparatus
GB2381686A (en) * 2001-10-31 2003-05-07 Hewlett Packard Co Apparatus for recording and reproducing pointer positions on a document.
JP3706071B2 (ja) * 2002-01-15 2005-10-12 株式会社エルモ社 撮像装置
US6990639B2 (en) * 2002-02-07 2006-01-24 Microsoft Corporation System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration
US6982697B2 (en) * 2002-02-07 2006-01-03 Microsoft Corporation System and process for selecting objects in a ubiquitous computing environment
US20030156073A1 (en) * 2002-02-20 2003-08-21 Koninlijke Philips Electronics N.V. Apparatus for adjusting proximate video monitors to output substantially identical video images and corresponding methods therefor
US20040048663A1 (en) * 2002-09-10 2004-03-11 Zeroplus Technology Co., Ltd. Photographic pointer positioning device
EP1751970A4 (en) * 2004-05-01 2010-04-21 Eliezer Jacob DIGITAL CAMERA WITH NON-UNIFORM IMAGE RESOLUTION

Also Published As

Publication number Publication date
JP5122517B2 (ja) 2013-01-16
EP2093650B1 (en) 2013-05-15
EP2012221A3 (en) 2009-05-13
US20110187643A1 (en) 2011-08-04
EP2093650A1 (en) 2009-08-26
JP2009245444A (ja) 2009-10-22
US8537231B2 (en) 2013-09-17
CN1714335A (zh) 2005-12-28
DK1573498T3 (da) 2012-03-19
JP2009217829A (ja) 2009-09-24
US20060050052A1 (en) 2006-03-09
CN101101512A (zh) 2008-01-09
KR20050075031A (ko) 2005-07-19
US7940986B2 (en) 2011-05-10
JP4491495B2 (ja) 2010-06-30
EP1573498B1 (en) 2011-12-14
WO2004047011A3 (en) 2005-07-07
US8970725B2 (en) 2015-03-03
CN101158886B (zh) 2012-05-16
CN101101520A (zh) 2008-01-09
WO2004047011A2 (en) 2004-06-03
AU2003274496A1 (en) 2004-06-15
EP2012221A2 (en) 2009-01-07
ES2378665T3 (es) 2012-04-16
JP4243248B2 (ja) 2009-03-25
US20140062879A1 (en) 2014-03-06
PT1573498E (pt) 2012-03-22
ATE537528T1 (de) 2011-12-15
PT2093650E (pt) 2013-07-25
EP1573498A2 (en) 2005-09-14
CN100334531C (zh) 2007-08-29
JP2006506728A (ja) 2006-02-23
US8971629B2 (en) 2015-03-03
JP2009134718A (ja) 2009-06-18
AU2003274496A8 (en) 2004-06-15
CN101101520B (zh) 2012-11-14
US20090251559A1 (en) 2009-10-08
CN101158886A (zh) 2008-04-09

Similar Documents

Publication Publication Date Title
ES2425076T3 (es) Sistema de interfaz de usuario basado en dispositivo de puntero
JP2009134718A5 (es)
EP2133848B1 (en) Computer-implemented process for controlling a user-selected electronic component using a pointing device
US9134800B2 (en) Gesture input device and gesture input method
JP2020091904A (ja) システムおよびコントローラ
JP6859999B2 (ja) 遠隔操作装置、および遠隔操作方法、遠隔操作システム、並びにプログラム
CN106462231A (zh) 计算机实现的视线交互方法和装置
CN109088803A (zh) 一种ar遥控装置、智能家居遥控系统及方法
US20200258515A1 (en) Information processing device, information processing method, and program
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
US20210397296A1 (en) Information processing device, information processing method, and program
CN111819841B (zh) 信息处理装置、信息处理方法和存储介质
US20230245456A1 (en) Information processing terminal and remote control method
TW202201269A (zh) 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體
US20160224121A1 (en) Feedback method and system for interactive systems