ES2942216T3 - Dispositivo de realidad aumentada (RA) portátil asistido por teléfono inteligente y unidad de enganche para fijación ajustable a las gafas de un usuario - Google Patents

Abstract

Un dispositivo desmontable de realidad aumentada (AR) montado en anteojos y una unidad con clip en el que el dispositivo tiene una carcasa (31) configurada para soportar de manera desmontable la unidad con clip, una ventana de salida (30) y una ventana de entrada (30') en la carcasa a través de la cual el usuario observa una escena, una interfaz de comunicaciones (71, 74) para acoplar a un dispositivo portátil, y una cámara (37) dentro de la carcasa para obtener imágenes de la escena observada por el usuario a través de una ventana de cámara (36) y configurado para transmitir una imagen de la escena al dispositivo portátil. Una unidad de guía de línea de visión (39) muestra al menos un marcador en el campo de visión del usuario para dirigir una línea de visión del usuario hacia una característica designada en la escena, y la óptica (40) dentro de la carcasa proyecta el marcador. a distancia para superponer a la escena visualizada por el usuario. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Dispositivo de realidad aumentada (RA) portátil asistido por teléfono inteligente y unidad de enganche para fijación ajustable a las gafas de un usuario

Campo de la invención

Esta invención se refiere en general a pantallas ópticas montadas en la cabeza y, en particular, a un dispositivo de Realidad Aumentada (RA) portátil para su fijación a las gafas de un usuario.

Antecedentes de la invención

Los sistemas de RA se han implementado durante algún tiempo como sistemas montados en cascos para la aviación, lo que permite a los pilotos de combate designar y mostrar información relacionada con objetos superpuesta a la realidad. Un ejemplo de un dispositivo de este tipo es el Gentex Scorpion™, que permite a los pilotos designar objetivos con un alto grado de precisión, simplemente "mirando" el objetivo o el punto de interés. Los sistemas de RA también se han usado como gafas, tales como los sistemas montados en la cabeza, como Microsoft Hololens™. Ambas implementaciones son costosas y engorrosas. Para superar el tamaño y el coste, también se han desarrollado gafas especializadas con capacidades de RA integradas, tales como Vuzix®. Véase, por ejemplo, Vuzix Blade https://www.vuzix.com/roducts/blade-smartu-dasses.

Otros intentos incluyen el desarrollo de módulos desmontables incorporados en gafas convencionales. Los ejemplos incluyen Sony: https://techcrunch.com/2014/12/17/sony-glasses-attach/ y Arduino: https:hackaday.project/1221-glasses-a-hmd-for-multimeter. Ambos módulos están montados lateralmente, es decir, fijados al brazo lateral de una montura de las gafas y contienen óptica para dirigir la información de RA al ojo del usuario. El módulo de Sony no es transparente y, por lo tanto, no se puede superponer información de RA en la escena real. El módulo Arduino es transparente, pero no incluye mecanismo para alinear la información de RA en la escena real. Los módulos también están equipados con una pantalla transparente para proyectar la información de RA en el paisaje. Estas ópticas, particularmente la pantalla transparente, deben estar alineadas con la ubicación de los ojos del usuario y dado que los usuarios varían en la forma de la cabeza y, específicamente, en la distancia pupilar (DP), el diseño del módulo debe tener en cuenta esta diversidad para que el módulo pueda usarse por diferentes usuarios, independientemente de la ubicación de los ojos. Una solución es diseñar la óptica con una caja de movimiento ocular aumentada para que pueda adaptarse a una amplia gama de usuarios. La caja de movimiento ocular o pupila de salida es el área donde se puede colocar el ojo para ver la pantalla completa. Una solución de este tipo complica el diseño óptico y hace que el sistema sea más grande y pesado. Otra posible solución puede ser añadir un sistema de alineación para mover la óptica hacia la derecha o hacia la izquierda en relación con el ojo del usuario. Sin embargo, dado que el módulo está montado en el brazo lateral de las gafas, mover el módulo hacia la derecha o hacia la izquierda requeriría un mecanismo complejo y voluminoso.

Otro inconveniente de los módulos montados lateralmente es que bloquean la visión periférica del usuario. La visión periférica desempeña un papel importante en la identificación de movimientos en la periferia, proporcionando sensación de fondo y conciencia situacional. El bloqueo de la visión periférica proporciona al usuario una sensación de incomodidad y, en algunos casos, puede tener un impacto negativo en su seguridad.

El documento WO 2017/142480 desvela un sistema de visualización de realidad aumentada (RA) de visualización frontal modular que se fija de manera desmontable a una gafa de anfitrión o a un casco. El sistema incluye un módulo de procesador, un módulo de batería, un módulo troncal dispuesto entre el procesador y la batería, y un módulo de visualización (proyección). Los módulos del procesador y de la batería pueden fijarse a piezas de patillas separadas de la gafa de anfitrión, mientras que el módulo troncal puede fijarse a un miembro de la montura frontal del mismo y sirve para conectar la batería al procesador. Un cuerpo del módulo de proyección tiene un prisma transparente próximo a un ojo del usuario. Son conocidas disposiciones de RA adicionales a partir de los documentos US 2017/235161 A1, US 2016/223821 A1 y Tuceryan et al. ("Single-Point Active Alignment Method (SPAAM) for Optical See-Through HMD Calibration for Augmented Reality", ^p R^e SENCE, vol.11, n.° 3, 02/06/2002, págs.259-276).

Sumario de la invención

Para tratar al menos algunas de las limitaciones anteriores, la invención propone un módulo de RA desmontable, como se define por la reivindicación independiente 1, que está dimensionado para engancharse a la parte frontal de una montura de gafas.

La alineación izquierda y derecha del módulo en relación con el ojo del usuario se hace mediante un mecanismo compacto que forma parte del clip. Como resultado, la pantalla transparente se coloca con precisión frente al ojo del usuario y una caja de movimiento ocular de tamaño pequeño es suficiente, lo que permite un diseño de óptica compacta y de bajo coste. Esto se consigue sin limitar la visión periférica del usuario y sin necesidad de montar ni la óptica ni la electrónica de visualización en las patillas de las gafas del usuario, que pueden ser, por tanto, gafas convencionales ligeras cuyos oculares tienen lentes lisas o graduadas o incluso sin lentes. Además, la presente invención propone dos usos alternativos del módulo de RA desmontable, como se define por las reivindicaciones independientes 9 y 10.

Breve descripción de los dibujos

Para entender la invención y ver cómo puede llevarse a cabo en la práctica, se describirán ahora realizaciones, únicamente a modo de ejemplo no limitante, con referencia a los dibujos adjuntos, en los que:

La Figura 1 es una representación pictórica de un usuario que lleva puesto un dispositivo de acuerdo con la invención;

La Figura 2 es un diagrama de bloques que muestra la funcionalidad de un sistema de acuerdo con la invención; Las Figuras 3a y 3b son representaciones pictóricas del dispositivo desmontable visto desde la parte trasera y delantera, respectivamente;

La Figura 3c es una vista parcialmente recortada del dispositivo desmontable visto desde atrás que muestra detalles parciales de la óptica contenida en el mismo;

La Figura 3d es una representación esquemática de la óptica;

La Figura 4a y 4b muestran respectivamente vistas ensambladas y en despiece de una unidad de enganche usada para fijar el dispositivo a la parte frontal de las gafas de un usuario;

La Figura 5 muestra anotaciones ilustrativas que pueden aparecer en la pantalla de la micropantalla;

Las Figuras 6a y 6b son diagramas de bloques del dispositivo en configuraciones inalámbricas y alámbricas, respectivamente;

La Figura 7 representa el campo de visión (FOV) de la cámara del dispositivo;

La Figura 8 es un diagrama de flujo de un procedimiento llevado a cabo junto con una aplicación de teléfono inteligente para la alineación inicial entre la cámara del dispositivo y una pantalla de teléfono inteligente; y La Figura 9 es un diagrama de flujo de un procedimiento llevado a cabo junto con una aplicación de teléfono inteligente para transmitir una ubicación de un objeto de interés a un usuario remoto.

Descripción detallada de las realizaciones

En la siguiente descripción de algunas realizaciones, los componentes idénticos que aparecen en más de una figura o que comparten una funcionalidad similar se harán referencia mediante símbolos de referencia idénticos.

La Figura 1 muestra un dispositivo de RA 10 de acuerdo con la invención que se monta con clip de forma desmontable en la parte frontal de una montura de gafas 11 llevada por un observador que constituye un usuario local 12. De esta manera, el dispositivo se monta directamente frente a los ojos del usuario local, lo que le permite observar una escena a través de una ventana de salida 13. Además, el usuario local puede ver anotaciones gráficas proyectadas a su ojo por el dispositivo desmontable 10 y superpuestas en la escena real. No es necesario montar el dispositivo ni ninguno de sus componentes en las patillas (patas laterales) de las gafas del usuario.

La Figura 2 muestra esquemáticamente un sistema 20 que usa el dispositivo 10 en un escenario típico. El usuario local 12 está colocado en una estación local 15 que se comunica con una estación remota 16 a través de un canal de comunicación 17, tal como Internet. Con este fin, el dispositivo 10 se comunica de forma inalámbrica, por ejemplo, a través de Bluetooth™ o wifi o mediante una conexión alámbrica, tal como un cable USB, a un teléfono inteligente local 19. Un usuario remoto 21 ubicado en la estación remota 16 se comunica de forma inalámbrica con la estación local 15 usando un dispositivo de comunicación remota tal como un teléfono inteligente 22 o una PC que tiene una interfaz de comunicaciones tal como Internet.

El uso típico de esta configuración es el soporte remoto en el que, por ejemplo, el usuario local 12 es un técnico que repara equipos y el usuario remoto 21 es un ingeniero de nivel de soporte superior.

La Figura 3a es una representación pictórica que muestra una vista trasera del dispositivo 10. El usuario local 12 ve la escena real a través de una ventana de salida 30 y también ve una anotación gráfica superpuesta a esta escena. Estas anotaciones pueden incluir marcas, texto, formas gráficas, etc. El dispositivo desmontable tiene un alojamiento 31 en el que hay soportes de montaje fijos 32 para soportar una unidad de enganche que se describe a continuación con referencia a las Figuras 4a y 4b por medio de los cuales el dispositivo 10 se engancha en la parte frontal de las gafas del usuario. Opcionalmente, se proporciona un conector USB 34 para acoplar el dispositivo 10 al teléfono inteligente 19.

La Figura 3b muestra una vista frontal del dispositivo desmontable 10 visto desde el frente, es decir, mirando hacia el usuario local 12. Se proporciona una ventana 36 a través de la cual una cámara integrada 37 ubicada dentro del dispositivo y que se muestra esquemáticamente con una silueta de línea discontinua en la Figura 3c toma imágenes de la escena externa. También se muestra una ventana de entrada 30' a través de la cual la luz de la escena pasa a la ventana de salida 30, para ser observada por el usuario.

La Figura 3c muestra con más detalle la estructura interna del dispositivo 10. Una placa de circuito impreso (PCB) 38 soporta un circuito electrónico para la operación electrónica del dispositivo desmontable. También conectados a la PCB 38 están el conector USB 34, una micropantalla 39 y la cámara integrada 37. La cámara 37 está configurada para adquirir imágenes fijas o de vídeo de gran angular a través de la ventana de la cámara 36 de la vista observada por el usuario local 12. Su función se explicará adicionalmente a continuación con referencia a las Figuras 5, 6 y 7. En una realización reducida a la práctica, se usó un módulo de cámara digital a color de 1/6" Misumi MD-B31107U-77 con conexión USB integrada. Otras características de esta cámara son:

Tamaño del marco: 1920x1080 píxeles

Tamaño de píxel: 1,4 pm x 1,4 pm

Lente: f=1,83 mm, F/2

Campo de visión: H:70°, V:42,7°, D:77,3°

La micropantalla 39 es una pantalla monocromo de alto brillo que tiene las siguientes características principales:

Número de píxeles: 304x256

Tamaño de píxel: 12 pm x12 pm

Área activa: 3,648 mm x 3,972 mm

El dispositivo 10 aloja la óptica 40 mostrada en la Figura 3d, que incluye dos dobletes 41, 41' y un prisma combinado 42. Los dobletes 41, 41' crean un objetivo combinado con una distancia focal equivalente de 21 mm. El plano de emisión de luz de la micropantalla 39 está ubicado en el plano focal de este objetivo combinado de manera que se crea una imagen de la pantalla en el infinito, mediante la cual el usuario local 12 ve la imagen en la pantalla proyectada en la escena real. Una imagen típica de la pantalla incluye un marcador en forma de cruz que se muestra como "A" en la Figura 5, usado por el usuario local para designar un objeto en su campo de visión. La imagen se pliega aún más, como se ilustra por las flechas, en primer lugar por una superficie de espejo 45 del prisma combinado 42 y a continuación se dirige al ojo del usuario local 12 por una superficie de espejo parcial 46, que permite que la luz de la pantalla 39 alcance el ojo del usuario local y, al mismo tiempo, permite que el usuario local vea la escena real transmitida a través de la superficie de espejo parcial 46 a través de la ventana de salida 30 en la Figura 3b. Típicamente, la superficie de espejo parcial 46 tiene una reflexión de -50 % y una transmisión de -50 %. Dado que la distancia focal de los dobletes combinados es de 21 mm, la pantalla de visualización captura un campo de visión de H: 10 x V: 8,3 grados (13 grados en diagonal). El diseño óptico permite al usuario local una caja de movimiento ocular de 4,5 mm de diámetro.

Las Figuras 4a y 4b muestran respectivamente vistas ensambladas y de despiece de una unidad de enganche 50 por medio de la cual el dispositivo 10 se fija y se alinea con las gafas del usuario local 11. La unidad de enganche 50 comprende un soporte plano alargado 51 que tiene en sus lados opuestos articulaciones 52 y 53 respectivas, cada una de las cuales acomoda pasadores respectivos para formar juntas de bisagra respectivas. Las articulaciones 52 tienen la forma de un par de receptáculos cilíndricos en forma de C desplazados que tienen una ranura abierta 54 entre la cual está montado un tope 55 que se proyecta hacia arriba. El otro elemento de bisagra es un pasador alargado 56 al que se suelda a lo largo de su longitud una porción de base 57 que tiene un espesor ligeramente menor que la ranura 54 para permitir que el pasador 56 y la porción de base 57 se inserten desde un extremo en las articulaciones 52 formando por tanto una bisagra. En lados opuestos de las articulaciones 52, la porción de base 51 soporta un par de armaduras que se proyectan hacia abajo 58 cuyos extremos están cubiertos con un manguito protector 59 formado de plástico blando o caucho. Después de la inserción del pasador 56 y la porción de base fijada 57 en las articulaciones 52, se suelda un par de armaduras que se extienden hacia arriba 60 al pasador 56 en los extremos opuestos del mismo. Cada armadura 60 tiene aberturas 61 que permiten fijar el clip 50 mediante tornillos (no mostrados) a los soportes de montaje 32 del dispositivo 10 como se muestra en la Figura 3a.

Las articulaciones 53 soportan un brazo de clip 65 que tiene una porción recta alargada y brazos que cuelgan hacia abajo, cada uno de cuyos extremos está cubierto con un manguito protector 66 formado de plástico blando o caucho. El brazo de clip 65 está dimensionado de modo que cuando se monta en las articulaciones 53, los extremos 66 se encuentran y se apoyan contra los extremos protegidos 59 de las armaduras 58. La porción recta alargada del brazo de clip 65 soporta un elemento de resorte en forma de L 67 en forma de resorte helicoidal que tiene un núcleo hueco 68 y porciones laterales 69 y 70. Un asa que se proyecta hacia arriba 71 fijada a la porción recta sirve como soporte para la porción lateral 70 mientras que la otra porción lateral 69 está soportada por la porción de base 51. Para montar el brazo de clip 65 que forma el pasador de bisagra dentro de las articulaciones 53, puede insertarse antes de darle forma o las articulaciones pueden formarse solo después de colocar el brazo de clip.

En uso, después de fijar el dispositivo 10 a las armaduras que se extienden hacia arriba 60 como se ha descrito anteriormente, el conjunto se sujeta a las gafas del usuario local con la montura 11 sujeta bajo la fuerza elástica del resorte 67 entre las armaduras que se proyectan hacia abajo 58 en su parte trasera y el brazo de clip 65 en su parte frontal. Una vez montado en las gafas del usuario local de esta manera, el dispositivo 10 puede moverse lateralmente debido a la libertad de movimiento del pasador 56 dentro de las articulaciones 52. La porción lateral 69 del resorte 67 aplica una fuerza moderada a la porción de base 57 que, por un lado, combate la rotación no deseada y el movimiento lateral del pasador 56 mientras permite que el usuario local mueva el pasador de un lado a otro cuando así lo desee para desplazar el dispositivo 10 lateralmente con respecto a la montura de las gafas 11. Cabe señalar que, aunque las aberturas 61 se muestran redondas, pueden ser alargadas y las armaduras 60 pueden fijarse al dispositivo usando pernos accionados por resorte para permitir una pequeña cantidad de movimiento vertical hacia arriba y hacia abajo del dispositivo 10 con respecto a la montura de las gafas 11. Esto permite un ajuste apropiado para alinear el dispositivo con respecto a los ojos del usuario local como se explicará ahora con referencia a la Figura 5. La unidad de enganche puede ser desmontable del dispositivo o integral con el mismo. En cualquier caso, la unidad de enganche permite que el dispositivo se monte de forma desmontable delante de una montura de gafas y que sea desplazable lateralmente con respecto a la montura de gafas para alinear la ventana de salida del dispositivo con una línea de visión del usuario.

La Figura 5 muestra anotaciones ilustrativas que pueden aparecer en la pantalla de la micropantalla 39, que incluyen una cruz denominada "A" ubicada en el centro de la pantalla de la micropantalla, otra marca B y un garabato C. Un uso típico de tales anotaciones se detallará a continuación. Las anotaciones se muestran bajo el control de una aplicación de software ejecutada por el teléfono inteligente local 19, que está acoplado al dispositivo 10 como se describe a continuación con referencia a las Figuras 6a y 6b de los dibujos. La cruz A proporciona una indicación de que la micropantalla 39 está alineada centralmente de manera apropiada con respecto a la línea de visión del usuario local, de modo que cuando los ojos del usuario local se dirigen a un objeto remoto, la cruz A ubicada en el centro de la micropantalla aparece la pantalla en el centro del objeto remoto.

Las Figuras 6a y 6b son diagramas de bloques del dispositivo 10 en configuraciones inalámbricas y alámbricas, respectivamente.

Por tanto, con referencia a la Figura 6a, la óptica 40, como se ha descrito anteriormente, proyecta al ojo del usuario local 12 la micropantalla 39 cuya imagen de pantalla se superpone por tanto a la escena externa. Además de la cámara 37 a la que ya se ha hecho referencia, el dispositivo 10 también incluye una unidad magnética inercial (IMU) 70 para rastrear el movimiento del dispositivo y, de esta manera, el movimiento de la cabeza del usuario local. La micropantalla 39, la cámara 37 y la IMU 70 están conectadas a un concentrador USB 71 implementado en un microcontrolador 72. Con este fin, la cámara 37 tiene una interfaz USB convencional UVC 73. El microcontrolador 72 también procesa los datos para la comunicación bidireccional con una unidad de Bluetooth™ de baja energía (LE) 74 a través de una antena de RF 75. La unidad de Bluetooth™ 74 se comunica con una unidad de Bluetooth™ 76 en el teléfono inteligente local 19. Una batería integrada 77 proporciona alimentación a los componentes del dispositivo.

La Figura 6b muestra una realización alternativa que usa comunicación alámbrica USB. El microcontrolador 72 contiene controladores SPI (interfaz periférica en serie) y convertidores de USB a SPI 77, 77' que conectan la pantalla 39 y la IMU 70, respectivamente, al concentrador de USB 71. El concentrador de USB 71 se conecta al teléfono inteligente local 21 a través de un cable USB. Se puede usar un paquete de baterías opcional 77 para complementar la batería del teléfono inteligente.

Descripción de la operación

Como se explicó anteriormente, el dispositivo desmontable 10 combinado con el teléfono inteligente 19 permite que el usuario local 12, por ejemplo, un operador de equipo o un técnico para comunicarse con el usuario remoto 21 que puede ser un instructor o un ingeniero de nivel superior, usando información y guía visuales, además de la comunicación de audio habitual.

Para comunicarse de manera efectiva, el usuario remoto 21 debe saber con precisión qué punto u objeto está viendo el usuario local 12. Esto lo hace el usuario local 12 tomando una imagen (o vídeo) con la cámara 37 y enviándola al usuario remoto 21. Dado que el usuario local 12 ve el objeto directamente a través de la ventana de salida 30, mientras que la cámara 37 ve el objeto a través de la ventana 36, existe una necesidad de una alineación inicial, que consiste en alinear la cruz A (Figura 5), que está ubicada en el centro de la pantalla de visualización 39, con la línea de visión de la cámara 37 como se describe con mayor detalle a continuación con referencia a la Figura 8 de los dibujos.

La Figura 7 representa el campo de visión (FOV) 80 de la cámara que, como se indicó anteriormente, es de 70°x42°. Un área reducida del campo de visión de la cámara 80 se muestra realmente en la pantalla del teléfono inteligente 19. Nos referiremos a esta área reducida indicada como 81 en la figura como el FOV del teléfono inteligente. El proceso de alineación determina qué área del campo de visión de la cámara 80 se muestra en el teléfono inteligente. En este ejemplo, la parte del campo de visión de la cámara mostrado en el teléfono es de 35°x35°. El centro del área reducida mostrada en la pantalla del teléfono inteligente se indica por una cruz D. También se muestra una consola de equipo 82, que constituye un objeto que se encuentra completamente dentro del FOV 80 de la cámara pero que se ve solo parcialmente en el FOV 81 del teléfono inteligente. También se muestra un dial 83 y una cabeza de tornillo 84, siendo ambos parte de la consola de equipo 82.

Antes de comenzar la alineación, el área reducida 81 del FOV de la cámara mostrado en el teléfono inteligente se centra con el FOV 80 de la cámara como se muestra en la figura. Esto se hace bajo el control de la aplicación del teléfono inteligente, que conoce la resolución de píxeles y el centro de la pantalla del teléfono inteligente y también conoce la resolución de píxeles y el centro del FOV de la cámara. El usuario local inicia el proceso de alineación como se muestra en la Figura 8 dirigiendo la marca local A ubicada en el centro de la micropantalla 39 a un punto distinguible de la consola de equipo 82, tal como la cabeza del tornillo 84, y toma una imagen usando el teléfono inteligente.

El usuario local 12 mira la imagen de la cámara tal como aparece en la pantalla del teléfono inteligente y verifica que la marca D apunta al mismo punto distinguible. Si este no es el caso, el usuario arrastra la imagen en la pantalla con relación a la marca D hasta que se logre la alineación y guarda la alineación. Este proceso puede repetirse por sí mismo hasta que se logre una alineación satisfactoria. El proceso de alineación en efecto determina el desplazamiento x-y del centro del FOV de la cámara designado por la marca D al centro de la pantalla del teléfono inteligente que necesita aplicarse para garantizar que el teléfono inteligente local 19 esté alineado apropiadamente con la cámara 37 en el dispositivo 10.

Para demostrar una operación típica, supondremos que un usuario local 12 es un operador que necesita instrucciones relacionadas con un objeto observado, es decir, la consola de equipo 82. Para permitir la comunicación visual, el usuario remoto 21 necesita saber exactamente dónde está mirando el usuario local 12 y, a cambio, enviarle otras ubicaciones para mirar. Esto se hace de la siguiente manera:

El usuario local 12 dirige la marca local A a un punto distinguible de la consola del equipo 82, por ejemplo, el dial 83, toma una imagen y la envía, a través de la aplicación de teléfono inteligente local, al usuario remoto 21.

El usuario remoto 21 marca otro punto, por ejemplo, la cabeza del tornillo 84 en la imagen de la pantalla, ya sea en un teléfono inteligente remoto o en un PC. Esto se hace por el usuario remoto apuntando a la cabeza del tornillo 84 con un dedo o lápiz óptico en una pantalla táctil del teléfono inteligente remoto o usando un ratón en un PC en el que se muestra la imagen transmitida desde el teléfono inteligente local 19. Esta marca se denomina marca remota, cuya ubicación se envía de vuelta al usuario local 12 y se muestra en la micropantalla 39 (B en la Figura 5) si el objeto o característica al que se refiere aparece dentro del campo de visión de la micropantalla 39.

Si la marca remota está dentro del campo de visión (10°x8,3°) de la micropantalla 39, una vez que el usuario local dirige la marca local A a la cabeza del tornillo 84 desplazando su línea de visión, la marca remota aparecerá en la cabeza del tornillo 84 vista por el usuario local 12.

Si la ubicación en el FOV de la cámara a la que el usuario remoto desea dirigir la atención del usuario local está fuera del campo de visión de la micropantalla 39, la aplicación de software en el teléfono inteligente local 19 muestra una flecha o una ayuda de navegación equivalente en las micropantallas 39 para dirigir al usuario a la ubicación correcta.

El usuario local puede verificar aún más la ubicación que se le envió dirigiendo la marca local a la cabeza del tornillo 84. El usuario remoto puede enviar una confirmación o corrección, si fuera necesario.

Como alternativo, el usuario remoto 21 puede enviar marcas gráficas más detalladas que aparecerán en la pantalla en su ubicación correcta, tal como la marca C en la figura 5. Así, por ejemplo, el usuario remoto puede marcar la silueta o el contorno de una característica a la que desea dirigir la atención del usuario o puede esbozar información complementaria.

De manera alternativa o adicional, la realimentación requerida que confirma al usuario remoto que el usuario local ahora está alineado con el punto de interés correcto se puede lograr usando técnicas de seguimiento convencionales usando los sensores de IMU 70 o la imagen.

Como alternativa, los datos de la imagen se pueden usar para colocar la marca remota en la ubicación correcta.

Está claro que cualquier combinación de IMU y la imagen se puede usar para el seguimiento, es decir, solo IMU, solo imagen o ambos.

En ambos casos, el dispositivo realiza un seguimiento de la imagen de modo que en cada momento se proyecten marcas sobre sus correspondientes objetos.

Como alternativa, si el ancho de banda de comunicación lo permite, se puede usar la transmisión de vídeo en tiempo real.

El uso descrito anteriormente, es decir, la comunicación entre un usuario local y un usuario remoto con fines de mantenimiento, es solo un ejemplo. También son posibles muchas otras aplicaciones, tales como la navegación en exteriores (urbana o rural), RA en interiores para proyectar objetos virtuales en el entorno y juegos (tales como Pokémon). El procesamiento se puede realizar localmente o con el soporte de un servidor externo.

Independientemente de la naturaleza exacta de la comunicación entre los usuarios locales y remotos, el dispositivo debe estar alineado para garantizar que el usuario remoto vea la misma escena que el usuario local. Esto requiere que se establezca la línea de visión del usuario local y que un objeto de interés esté alineado con la línea de visión del usuario. En las realizaciones descritas, esto se hace usando la micropantalla que muestra una imagen tal como un punto de mira que se proyecta a una distancia sobre la escena observada por el usuario local. La micropantalla 39 constituye por tanto una unidad de guía de línea de visión para mostrar una marca en un centro del campo de visión del usuario para dirigir una línea de visión del usuario hacia la escena. La micropantalla también sirve para proyectar una imagen transmitida al teléfono inteligente local por el usuario remoto. Sin embargo, puede haber aplicaciones en las que no sea necesario recibir notas del usuario remoto. En tales casos, puede que no haya necesidad de que la micropantalla y la unidad de guía de línea de visión adopten otras formas, tal como una retícula que está grabada o formada de otro modo en el foco de la óptica 40 para ser vista por el usuario local en el infinito.

El dispositivo de comunicaciones portátil de acuerdo con la invención es típicamente un teléfono inteligente adecuadamente programado. Sin embargo, puede ser igualmente cualquier ordenador portátil, preferiblemente de mano, que tenga una interfaz de comunicaciones y una capacidad para mover la imagen de la cámara con respecto a la imagen de la micropantalla. Con este fin, el dispositivo de comunicaciones portátil típicamente tiene una pantalla táctil para arrastrar la imagen. Sin embargo, el dispositivo de comunicaciones portátil puede operar bajo un software adecuado para permitir que la imagen de la pantalla se mueva usando un ratón u otro dispositivo señalador. Por lo tanto, dentro del contexto de la invención y las reivindicaciones adjuntas, el término "ordenador" pretende abarcar cualquier dispositivo que tenga una CPU, una pantalla, una GUI (interfaz gráfica de usuario) y una interfaz de comunicaciones.

Sin embargo, no forma parte de la materia objeto reivindicada un programa informático que pueda ser leído por una unidad de procesamiento en el dispositivo de comunicaciones portátil para ejecutar el método de la invención. Una memoria legible por máquina que incorpore tangiblemente un programa de instrucciones ejecutable por la máquina para ejecutar el método de la invención también es factible, sin embargo, no forma parte de la invención reivindicada.

Claims (14)

REIVINDICACIONES

1. Un sistema (15) que comprende:

un dispositivo de realidad aumentada (RA) montado en gafas desmontable (10) y una unidad de enganche (50) fijada o que se puede fijar al dispositivo de RA, comprendiendo dicho dispositivo de rA:

un alojamiento (31) configurado para soportar la unidad de enganche,

una ventana de salida (30) y una ventana de entrada (30') en el alojamiento a través de las cuales el usuario observa una escena,

un dispositivo de comunicaciones portátil (19),

una interfaz de comunicaciones (71, 74) acoplada al dispositivo de comunicaciones portátil (19),

una micropantalla (39) dentro del alojamiento acoplada a la interfaz de comunicaciones (71, 74) para recibir desde el dispositivo de comunicaciones portátil (19) una imagen para mostrar en el campo de visión del usuario, y óptica (40) dentro del alojamiento, que incluye la ventana de entrada (30'), un elemento óptico transparente (46), la ventana de salida (30) y un objetivo (41,41') configurado para proyectar la imagen a distancia para superponerla sobre una escena externa vista por el usuario a través del elemento óptico transparente (46);

una cámara (37) dentro del alojamiento, acoplada a la interfaz de comunicaciones (71, 74) para obtener imágenes de la escena observada por el usuario a través de una ventana de cámara (36) y que está configurada para transmitir una imagen de dicha escena al dispositivo de comunicaciones portátil;

teniendo el dispositivo de comunicaciones portátil (19) una pantalla táctil configurada para mostrar una superposición de la imagen de la cámara y una marca digital y está configurado para proporcionar medios de entrada para arrastrar la imagen en la pantalla táctil con respecto a la marca digital para determinar el desplazamiento x-y del centro del campo de visión de la cámara; y

teniendo la unidad de enganche (50) una fijación (58) para montar de forma desmontable el dispositivo de RA delante de una montura de gafas (11) llevada por el usuario y que permite el desplazamiento lateral del dispositivo de RA (10) con respecto a la montura de gafas sin mover la fijación (58) para alinear la ventana de salida con una línea de visión del usuario.

2. El sistema de acuerdo con la reivindicación 1, en donde la unidad de enganche (50) está configurada para montarse en la parte frontal de la montura de las gafas (11) sin ninguna necesidad de montar el dispositivo o cualquiera de sus componentes en las patillas o brazos laterales de las gafas del usuario.

3. El sistema de acuerdo con la reivindicación 1, en donde:

el objetivo (41, 41') tiene un plano focal que está ubicado en un plano de la micropantalla (39), de manera que se crea una imagen de la micropantalla en el infinito, y

la ventana de salida (30) está acoplada ópticamente tanto a la micropantalla como a la ventana de entrada (30') a través del elemento óptico transparente (46) para transmitir la imagen proyectada sobre la escena al ojo del usuario; mediante lo cual, el usuario ve la escena real a través del elemento óptico transparente (46) con la imagen superpuesta sobre una característica en la escena real.

4. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde el alojamiento (31) está configurado de manera que la ventana de salida (31) está alineada con un solo ojo del usuario sin que el dispositivo dificulte la visión del otro ojo.

5. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, en donde la micropantalla (39) está configurada para mostrar la información transmitida a la misma desde un usuario remoto.

6. El sistema de acuerdo con la reivindicación 5, en donde la micropantalla está configurada para operar como una unidad de guía de línea de visión.

7. El sistema de acuerdo con la reivindicación 6, en donde la unidad de guía de línea de visión incluye una retícula.

8. El sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, que incluye además una IMU (unidad magnética inercial) (70) acoplada a la interfaz de comunicaciones (71, 74) para seguir el movimiento del dispositivo y, de esta manera, el movimiento de la cabeza del usuario.

9. Un método para usar el sistema de acuerdo con una cualquiera de las reivindicaciones anteriores, para alinear los respectivos campos de visión según los ven un usuario local (12) y la cámara del dispositivo de realidad aumentada (10) montada en una montura de gafas (11) llevada por el usuario (12), en donde la cámara (37) y el usuario ven una escena a través de diferentes ventanas y un ojo del usuario ve la escena en alineación con un marcador proyectado sobre la escena, para así dirigir una línea de visión del usuario hacia una primera característica de interés en la escena, comprendiendo el método:

desplazar lateralmente la unidad de enganche (50) del dispositivo con respecto a la montura de las gafas para alinear la ventana de salida con una línea de visión del usuario; capturar la escena observada por la cámara (37) como una primera imagen digital;

transmitir la primera imagen digital de la escena desde la cámara a un dispositivo de comunicaciones portátil (19) para mostrarla en una pantalla táctil del mismo; superponer sobre la pantalla táctil un indicador en alineación espacial correcta con la primera característica de interés; y

si es necesario, arrastrar la primera imagen digital hasta que el indicador esté alineado con la primera característica de interés;

mediante lo cual se alinean los respectivos campos de visión vistos por el usuario (12) y la cámara.

10. Un método para usar el sistema de acuerdo con una cualquiera de las reivindicaciones 1 a 8 para transmitir imágenes digitales de forma interactiva entre un usuario local (12) que lleva el dispositivo de RA y un usuario remoto (21), comprendiendo el método:

llevar a cabo el método de la reivindicación 9 para alinear los respectivos campos de visión según los ven un usuario local (12) y la cámara de dicho conjunto; y

transmitir la primera imagen digital a un dispositivo de visualización visto por el usuario remoto, de modo que el usuario remoto vea la escena y la primera característica de interés en una alineación espacial similar a la observada por el usuario local.

11. El método de acuerdo con la reivindicación 10, que incluye además recibir en el dispositivo de comunicaciones portátil (19) una ayuda de navegación para mostrarla en la micropantalla, para que así se superponga sobre la primera imagen digital de la escena para dirigir al usuario local a una segunda característica de interés en dicha escena.

12. El método de acuerdo con la reivindicación 11, en donde la ayuda de navegación es una marca que se superpone sobre la primera imagen digital en alineación con la segunda característica de interés.

13. El método de acuerdo con la reivindicación 11, en donde la ayuda de navegación dirige al usuario local para cambiar dicha línea de visión si la segunda característica de interés no está presente en la primera imagen digital.

14. El método de acuerdo con una cualquiera de las reivindicaciones 10 a 13, en donde se transmite una tercera imagen al dispositivo de comunicaciones portátil (19) desde un dispositivo de comunicaciones remoto (22) usado por el usuario remoto.