ES2976466T3 - Sistema de detección de defectos usando un UAV equipado con cámara para fachadas de edificios en geometría de inmuebles complejos con una trayectoria de vuelo óptima y desprovista automáticamente de conflictos con obstáculos - Google Patents

Abstract

En una realización descrita, se divulga un UAV y un método para controlar un UAV. El UAV se controla a lo largo de una trayectoria de vuelo predeterminada y la cámara del UAV se controla de manera que las imágenes adyacentes de las imágenes capturadas se superpongan en un rango predeterminado. En otra realización, se divulgan un dispositivo y un método para detectar defectos en datos de imagen de una cámara de UAV. También se divulgan un sistema de gestión de datos de imágenes para gestionar datos de imágenes de un UAV y una aplicación de software cliente para realizar escaneos de superficie con un UAV. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Sistema de detección de defectos usando un UAV equipado con cámara para fachadas de edificios en geometría de inmuebles complejos con una trayectoria de vuelo óptima y desprovista automáticamente de conflictos con obstáculos

El documento US 2014/168420 A1 muestra un conjunto de cámara dispuesto en un vehículo aéreo no tripulado y de navegación autónoma, que se emplea para inspeccionar un área superficial en busca de defectos del material.

El documento US 2017/337824 A1 también divulga un dron para tomar imágenes de una superficie. Preconiza un solapamiento lateral del 60% y un solapamiento frontal del 50% de imágenes tomadas sucesivamente.

El documento AU 2016 201 290 A1 se refiere a un vehículo aéreo no tripulado (UAV) para inspeccionar infraestructuras. El UAV incluye un dron y un sistema de navegación que incluye uno o más sensores para detectar la infraestructura. El sistema de navegación guía el dron con respecto a la infraestructura detectada. El UAV incluye, además, un sistema de inspección transportado por el dron guiado y destinado a inspeccionar la infraestructura.

En un primer aspecto, la presente memoria divulga un vehículo aéreo no tripulado (UAV) para detectar defectos (un defecto de construcción o un error de diseño que reduce el valor del edificio y causa un estado de peligro; la lista de defectos incluye pintura descascarillada, grietas en el hormigón, grietas en baldosas de pared, estancamiento de agua, manchas de agua, pandeo, desconchado del hormigón, impermeabilizante suelto, desprendimiento de baldosas, grietas en el vidrio, óxido, oquedades en las paredes, grietas en las paredes de bloques / ladrillos, decoloración de superficies, moho en las juntas de goma de la fachada, molduras, decoloración del impermeabilizante, etc., sin ser exhaustiva esta relación) en un muro exterior de un edificio. Preferiblemente, el UAV está constituido por un UAV de alas rotatorias accionado eléctricamente, que comprende hélices. El UAV se refiere, en particular, a drones o cajas de drones de pequeño tamaño como, por ejemplo, multicópteros de pequeño tamaño, o cuadricópteros.

El UAV comprende unos medios de propulsión para hacer volar el UAV, que pueden venir proporcionados por dos o más hélices y un motor eléctrico que está conectado a las hélices. Los medios de propulsión están conectados a una fuente de energía del UAV. En particular, la fuente de energía puede ser una fuente de energía eléctrica tal como una batería eléctrica, una pila de combustible, un híbrido de batería / pila de combustible o cualquier otro sistema / método generador de energía que produzca la energía eléctrica necesaria para impulsar / mover la plataforma del UAV.

Además, el UAV comprende una cámara digital para captar imágenes o vídeos de la pared y un dispositivo de almacenamiento de datos para almacenar las imágenes captadas por la cámara digital, que puede proporcionarse como parte de la cámara digital. El dispositivo de almacenamiento de datos puede ser proporcionado por una memoria de computadora, por ejemplo, una memoria magnética o basada en semiconductor o cualquier otro tipo de memoria de computadora. La cámara digital puede estar dotada de un sensor de luz visible, pero también de un sensor de radar, de un sensor de infrarrojos, de un transductor acústico o de cualquier otro tipo de sensor de imagen que pueda proporcionar una imagen o fotografía de una superficie.

En particular, la cámara digital puede comprender un sensor de imagen y un transmisor o emisor para irradiar la superficie de pared. Esto permite captar imágenes de la pared superficial incluso en condiciones de escasa iluminación. El emisor puede ser un emisor de ondas acústicas, de radar o infrarrojas, o también puede estar provisto de un emisor de luz.

Además, el UAV puede comprender otros sensores sin contacto que proporcionen información complementaria a los datos de imagen. Por ejemplo, un sensor de radar puede proporcionar información de profundidad para mejorar la identificación del defecto o proporcionar información más detallada sobre características específicas del defecto.

Un módulo de control de vuelo del UAV está operativo para controlar de forma autónoma los medios de propulsión basándose en datos de imagen o de vídeo de la al menos una cámara. En particular, un módulo del UAV puede funcionar mediante un programa informático dispuesto en un dispositivo de almacenamiento informático del UAV y/o mediante un circuito electrónico del UAV.

Además, el módulo de control de vuelo puede recibir otros datos de posición, por ejemplo, desde un sistema de navegación por satélite del UAV o desde un sistema de navegación de red inalámbrica. El módulo de vuelo controla los medios de propulsión de manera que el UAV vuele frente a la pared del edificio a lo largo de una trayectoria de vuelo predeterminada. En particular, los medios de propulsión pueden controlarse de manera que el UAV vuele a una distancia predeterminada y/o con una orientación predeterminada con respecto a la pared.

Un módulo de captación de imagen del UAV está operativo para enviar señales de control a la cámara digital que hacen que la cámara digital capte imágenes o vídeos de la pared.

El módulo de control de vuelo funciona para controlar los medios de propulsión, y el módulo de captación de imagen funciona para controlar la cámara digital de manera que las imágenes adyacentes captadas por la cámara digital tengan un solapamiento que sea un intervalo predeterminado; por ejemplo, un solapamiento puede estar comprendido en el intervalo del 5% al 10% o del 5% al 20%. En una realización, las imágenes adyacentes son adyacentes según una dirección de vuelo del UAV.

En una implementación sencilla, el módulo de control de vuelo controla los medios de propulsión para hacer volar el UAV a lo largo de la trayectoria de vuelo predeterminada, y el módulo de captación de imagen hace que la cámara digital tome fotografías o vídeos en posiciones de captación adecuadas.

Un algoritmo de trayectoria de vuelo recibe información de los sensores del dron y calcula la distancia óptima, el solapamiento de imágenes y los obstáculos de la compleja geometría del inmueble para proporcionar un vuelo seguro, así como una toma de imágenes precisa y consistente. El algoritmo localiza y recorta automáticamente la imagen para mayor claridad.

El algoritmo de trayectoria de vuelo también es capaz de generar múltiples trayectorias de vuelo optimizadas de una a muchas geometrías de inmueble complejas, lo que da como resultado la producción de un enjambre de trayectorias de vuelo por inmueble complejo o por múltiples inmuebles complejos.

El módulo de control de vuelo y el módulo de captación de imagen están conectados a una batería eléctrica o a cualquier otra fuente de energía adecuada situada en la plataforma del UAV. En una realización, los medios de propulsión comprenden motores eléctricos, y la batería eléctrica (u otra fuente de energía adecuada situada en el UAV) proporciona la fuente de energía a la que están conectados los medios de propulsión.

El control de los medios de propulsión puede basarse en una trayectoria de vuelo prevista / estimada, en un análisis en tiempo real de datos de imagen o datos de vídeo, o en una combinación de ambos. En el contexto de la presente memoria, una imagen se refiere especialmente a un área rectangular contigua de píxeles de imagen o de datos obtenidos de los mismos. Los píxeles de la imagen corresponden a señales de sensores de intensidad luminosa.

En una realización, el módulo de captación de imagen funciona controlando la al menos una cámara para captar imágenes de la pared desde posiciones de captación predeterminadas, especialmente para captar una sola imagen por posición de captación.

En una realización adicional, el módulo de control del motor funciona para ralentizar o incluso detener el movimiento del UAV en las posiciones predeterminadas de captación de imágenes.

En una realización específica, una distancia entre dos posiciones de captación adyacentes es igual a una extensión de un área de captación de una imagen captada en una dirección de vuelo del UAV, menos un solapamiento predeterminado en la dirección de vuelo, en donde el solapamiento predeterminado está dentro del intervalo predeterminado.

Según otra realización, el módulo de control del motor controla los medios de propulsión de tal manera que la trayectoria de vuelo predeterminada da como resultado una trayectoria de exploración correspondiente, que comprende una trayectoria sinuosa. La trayectoria sinuosa comprende, a su vez, segmentos de captación en una primera dirección y segmentos de unión en una segunda dirección, estando unidos los segmentos de captación mediante los segmentos de unión.

La trayectoria de exploración está formada por el lugar en la pared que corresponde a un lugar central de una superficie de obtención de imagen de la que sobresale una lente de cámara de la al menos una cámara.

En particular, la trayectoria de vuelo puede proporcionarse mediante una trayectoria sinuosa que comprende segmentos de captación en una primera dirección y segmentos de unión en una segunda dirección, de manera que los segmentos de captación se unen por los segmentos de unión.

Además, la presente memoria divulga un método implementado por computadora para controlar un UAV con al menos una cámara. Según este método, se controlan unos medios de propulsión del UAV para mover el UAV a lo largo de una trayectoria de vuelo predeterminada. Además, se controla la al menos una cámara para captar imágenes de una pared de un edificio en, o desde, posiciones de captación predeterminadas, de modo que las imágenes adyacentes a las imágenes captadas tengan un solapamiento que esté dentro de un intervalo predeterminado con respecto a una extensión de imagen.

De acuerdo con una realización adicional, el método comprende controlar los medios de propulsión para ralentizar o incluso detener el movimiento del UAV en las posiciones de captación predeterminadas.

Según una realización adicional, el método comprende controlar los medios de propulsión de manera que una distancia entre dos posiciones de captación adyacentes sea igual a una extensión de un área de captación de una imagen captada en una dirección de vuelo del UAV, menos un solapamiento predeterminado en la dirección de vuelo, en donde el solapamiento predeterminado está dentro del intervalo predeterminado.

Según otra realización más, el método comprende controlar los medios de propulsión de manera que la trayectoria de vuelo predeterminada dé como resultado una trayectoria de exploración correspondiente. La trayectoria de exploración comprende una trayectoria sinuosa, que a su vez comprende segmentos de captación en una primera dirección y segmentos de unión en una segunda dirección. Los segmentos de captación están unidos por los segmentos de unión.

Según un aspecto adicional, la presente memoria divulga un dispositivo para detectar defectos en datos de imagen de una cámara de un UAV con un primer dispositivo de almacenamiento de datos para almacenar los datos de imagen, unos medios de tratamiento para tratar los datos de imagen y un segundo dispositivo de almacenamiento de datos para almacenar los datos de imagen tratados.

Los medios de tratamiento funcionan para identificar un primer defecto en una primera imagen y para identificar un segundo defecto en una segunda imagen, en donde la primera imagen se solapa con la segunda imagen, y en donde los medios de tratamiento funcionan, además, identificando si el primer defecto y el segundo defecto forman parte del mismo defecto.

Además, la presente memoria divulga un método implementado por computadora para detectar defectos en los datos de imagen de una cámara de UAV. Los datos de imagen comprenden una pluralidad de imágenes captadas por la cámara del UAV.

Según este método, se detecta un primer defecto en una primera imagen de la pluralidad de imágenes, y se detecta un segundo defecto en una segunda imagen de la pluralidad de imágenes, siendo la segunda imagen adyacente a la primera imagen.

Además, el método comprende identificar si el primer defecto y el segundo defecto forman parte del mismo defecto.

De acuerdo con una realización, la detección del primer defecto y del segundo defecto comprende presentar la primera o segunda imagen respectiva a una red neuronal y deducir de la salida de la red neuronal si un conjunto de píxeles de la imagen respectiva corresponde a un defecto.

Según una realización adicional, la detección del primer defecto y del segundo defecto comprende introducir la primera o segunda imagen respectiva en una máquina de vectores de soporte y deducir de la salida de la máquina de vectores de soporte si un conjunto de píxeles de la imagen respectiva corresponde a un defecto.

Según una realización adicional, la detección del primer defecto y del segundo defecto comprende introducir la primera o segunda imagen respectiva en un clasificador de vecinos más cercanos y deducir de la salida del clasificador de vecinos más cercanos si un conjunto de píxeles de la imagen respectiva corresponde a un defecto.

En un aspecto adicional, la presente memoria divulga un sistema de gestión de datos de imagen para gestionar datos de imagen de un vehículo aéreo no tripulado. El sistema comprende tres componentes que están relacionados con la adquisición de datos, la gestión y la interfaz con el cliente, respectivamente.

En particular, la gestión de los datos de imagen comprende la optimización, adquisición, almacenamiento y distribución de los datos de imagen, en donde los datos de imagen se refieren a imágenes de una cámara digital del UAV, imágenes de un sensor de captación de imagen, o archivos de vídeo de un dispositivo de grabación de imagen. Más específicamente, el sistema de gestión de datos de imagen comprende un módulo de adquisición de datos, un módulo de optimización de datos, un módulo de tratamiento de datos, un módulo de compilación de datos y un módulo de cliente.

El módulo de tratamiento de datos y el módulo de compilación de datos se proporcionan en una o más computadoras de servidor, mientras que el módulo de cliente se proporciona en un dispositivo de cliente.

El módulo de cliente funciona para recibir datos de entrada del cliente relacionados con un objeto que se ha de explorar en busca de defectos, a un intervalo de tiempo entre exploraciones sucesivas del objeto y a un tipo de datos de salida, y para remitir los datos de entrada del cliente al módulo de compilación de datos.

El módulo de compilación de datos funciona almacenando los datos de entrada del cliente como datos de configuración. El módulo de adquisición de datos funciona activando un UAV para que realice exploraciones del objeto en tiempos predeterminados y para que transmita los datos de imagen de las exploraciones del objeto al módulo de adquisición de datos.

De acuerdo con una realización adicional, el módulo de cliente funciona, además, estableciendo un enlace de datos con la computadora de servidor y solicitando datos de salida del módulo de compilación de datos.

Además, la presente memoria divulga una aplicación de software de cliente para realizar exploraciones de superficies con un vehículo aéreo no tripulado (UAV). La aplicación de software puede materializarse en un conjunto de instrucciones legibles por computadora en un medio de almacenamiento legible por computadora. La aplicación de software de cliente funciona enviando una petición de exploración a través de una red de comunicación, que puede ser inalámbrica o por cable o una combinación de las mismas.

La solicitud de exploración comprende datos que especifican parámetros relacionados con la exploración de la superficie y con los datos recuperados, tales como una ubicación que explorar, un intervalo de exploración predeterminado y un tipo de datos que se recuperarán.

Además, la aplicación de software de cliente funciona recuperando datos de imagen de la exploración de superficie de acuerdo con una petición de exploración previa a través de la misma red de comunicación o de una diferente. La recuperación de datos puede ser una recuperación de tipo de introducción iniciada por una computadora distante o una recuperación de tipo de extracción iniciada por la aplicación de software de cliente. La presente solicitud también divulga un dispositivo de cliente portátil con una memoria legible por computadora, que comprende la aplicación de software de cliente.

A continuación, se explica con mayor detalle el objeto de la presente memoria con referencia a las figuras mencionadas en lo que sigue, en las cuales:

Figura 1 muestra un UAV de detección de defectos que vuela a lo largo de una trayectoria de calibración durante un procedimiento de calibración,

Figura 2 muestra el UAV de detección de defectos de la Figura 1 volando a lo largo de una trayectoria de vuelo durante un procedimiento de exploración,

Figura 3 muestra una sección ampliada de la trayectoria de vuelo de la Figura 2, que indica imágenes captadas de la fachada del edificio,

Figura 4 muestra una disposición esquemática del UAV de la Figura 1,

Figura 5 muestra un procedimiento de calibración del UAV de la Figura 1,

Figura 6 muestra un procedimiento de escaneo de pared del UAV de la Figura 1,

Figura 7 muestra un sistema para la adquisición, el almacenamiento y la distribución de datos de defectos, Figura 8 muestra un defecto vertical en un enlucido de pared,

Figura 9 muestra un defecto vertical y uno diagonal en un muro de hormigón,

Figura 10 muestra un defecto vertical y uno diagonal en un muro de mampostería,

Figura 11 muestra una curva de aprendizaje de un procedimiento de aprendizaje semisupervisado sobre la base de datos de defectos,

Figura 12 muestra una primera trayectoria de vuelo que está adaptada a las características de un edificio, y Figura 13 muestra una segunda trayectoria de vuelo que está adaptada a las características del edificio. La Figura 1 muestra un vehículo aéreo no tripulado (UAV) 10 de detección de defectos que vuela a lo largo de una trayectoria de calibración 11 durante un procedimiento de calibración. La trayectoria de calibración 11 del UAV 10 se ha indicado por flechas discontinuas. Las flechas discontinuas 12 indican una proyección vertical de segmentos de la trayectoria de vuelo 11 del UAV sobre una pared exterior 13 de un edificio 14 de varios niveles.

Durante el procedimiento de calibración, el UAV 10 se mueve frente a la pared exterior 13. Una cámara del UAV 10, que no se muestra en la Figura 1, se dirige hacia la pared 13 del edificio y capta un área rectangular 15 que se indica en Figura 1.

Una región punteada 16 de la pared 13 del edificio indica un área de exploración de la pared 13 del edificio que se va a explorar en busca de defectos. Una región rectangular 17 dentro de la región de puntos indica un área sin exploración que no requiere exploración en busca de defectos. Por ejemplo, el área sin exploración puede comprender una fachada de vidrio que no tiene defectos que investigar.

El área de exploración 16 y el área sin exploración 17 de la Figura 1 se calculan basándose en datos de imagen tomados durante el procedimiento de calibración de la Figura 1. Preferiblemente, el cálculo de las áreas de exploración y de las áreas sin exploración se lleva a cabo mediante un procesador del UAV 10. Además, el cálculo de las trayectorias de vuelo de la Figura 2 se lleva a cabo, preferentemente, por el procesador del UAV 10. De esta manera, el UAV 10 puede proceder directamente a la fase de exploración de la Figura 2 sin necesidad de una transferencia de datos a una estación terrestre.

En el ejemplo de la Figura 1, el UAV 10 se proporciona mediante un cuadricóptero como ejemplo preferido, aunque el objeto de la presente memoria no se limita a un tipo específico de UAV. El cuadricóptero está equipado con una cámara digital, componentes electrónicos para controlar la cámara digital y para controlar los motores eléctricos del cuadricóptero, y para evaluar los datos de imagen tomados por la cámara digital.

Los componentes antes mencionados del UAV 10 se ilustran con más detalle en la Figura 4. El procedimiento de calibración de la Figura 1 se ilustra con más detalle mediante el diagrama de flujo de la Figura 4.

La Figura 2 muestra el UAV 10 de detección de defectos de la Figura 1 volando a lo largo de una primera trayectoria de vuelo 20 durante un procedimiento de exploración. La primera trayectoria de vuelo 20, que está indicada en la pared 13 del edificio, tiene la forma de una línea sinuosa y consiste en segmentos de captación horizontales 21 unidos por segmentos de unión verticales 22.

Se ha indicado un área de captación rectangular 29 del UAV 10 sobre la pared 13 del edificio. La distancia del UAV 10 a la pared 13 del edificio durante el procedimiento de exploración, que se muestra en la Figura 2, es menor que la distancia del UAV 10 a la pared 13 del edificio durante el procedimiento de calibración, que se muestra en la Figura 1.

Una segunda trayectoria de vuelo 24, que tiene segmentos de captación verticales 25 unidos por segmentos de unión horizontales 26, se ha indicado en una segunda pared 27 del edificio mediante una línea sinuosa 24. De manera similar a la Figura 1, las líneas indican una proyección vertical de la trayectoria de vuelo del UAV en la pared 27 del edificio.

En muchas situaciones, una trayectoria de vuelo con segmentos de captación horizontales consume menos energía y es preferible a una trayectoria de vuelo con segmentos de captación verticales. Sin embargo, también hay situaciones en las que puede ser preferible una trayectoria de vuelo con segmentos de captación verticales, por ejemplo, cuando la altura del edificio es mucho mayor que el anchura. En general, una trayectoria de vuelo con segmentos horizontales y verticales alternos, como las trayectorias de vuelo que se muestran en la Figura 2, puede proporcionar una combinación o empalme conveniente de imágenes adyacentes.

Más en general, las trayectorias 11, 20 y 24 de las Figuras 1 y 2 también pueden referirse a una trayectoria de exploración, en lugar de a una trayectoria de vuelo. En el caso de que el UAV 10 se desvíe de una trayectoria de vuelo predeterminada, por ejemplo, debido a la influencia del viento o debido a la evitación de obstáculos, el UAV 10 puede compensar dichas desviaciones ajustando la alineación y la ampliación de la cámara de manera que se mantenga una trayectoria de exploración predeterminada dentro de una precisión dada. Además, se puede lograr una trayectoria de escaneo 20, 24 predeterminada mediante una combinación del movimiento del UAV 10 y de la cámara.

La Figura 3 muestra una ampliación en sección de la primera trayectoria de vuelo 20, en la que se indican áreas de captación de imagen 29 y las sucesivas posiciones de captación de imagen 30 del UAV. Además, la Figura 3 muestra regiones de solapamiento horizontal 23 y regiones de solapamiento vertical 33 entre las áreas de captación de imagen 29. Por razones de claridad, solo se ha etiquetado una de las áreas de captación 29 y de las regiones de solapamiento 32, 33.

Un defecto 35 de la pared 13 del edificio se extiende sobre una primera, una segunda y una tercera áreas de captación 29 y sobre una región de solapamiento horizontal 32, una región de solapamiento vertical 33 y una región de solapamiento horizontal adicional 32 entre áreas de captura adyacentes 29.

Los experimentos han demostrado que una solapamiento de entre el 5% y el 10% de la extensión respectiva de las áreas de captación puede ayudar a evitar que un defecto que aparece en más de una imagen sea identificado como defectos múltiples en comparación con una solapamiento mayor de más del 10%.

La Figura 4 muestra una disposición esquemática del UAV 10 de la Figura 1. Una batería 40 del UAV está conectada a un módulo 41 de control de motor y a un módulo de captación de imagen 42. Además, la batería 40 está conectada a un conector de carga 43 a través de un módulo de carga 44. Una línea de control 45 y una línea de datos 46 del módulo de captación de imagen 42 están conectadas a una cámara 47 del UAV 10, y una línea de datos 48 del módulo de captación de imagen 42 está conectada a una memoria de datos de imagen 49. A modo de ejemplo, la memoria de datos de imagen 49 puede estar proporcionada por una memoria de semiconductor o un disco magnético.

El módulo 41 de control de motor está conectado a cuatro motores 50 del UAV 10. Más específicamente, la electrónica de potencia del módulo de control de motor, que no se muestra en la Figura 4, está conectada a los motores 50. Además, el módulo 41 de control de motor comprende medios de procesamiento para computar señales de control de motor.

El módulo de captación de imagen 42 está conectado a un conector de transferencia de datos 51, por ejemplo, a un conector USB o cualquier otro tipo de conector que tenga capacidad funcional de transferencia de datos. El módulo de captación de imagen 42 y el módulo 41 de control de motor están conectados mediante una línea de datos adicional 53. El módulo de captación de imagen 42 comprende medios de procesamiento para derivar señales de control a la cámara y para evaluar y almacenar datos de la cámara 47.

Un módulo de detección de posición 54 está conectado al módulo 41 de control de motor y al módulo de captación de imagen 42. El módulo de detección de posición 54 comprende un sensor de posición, tal como un receptor GPS o cualquier otro tipo de sensor de posición, un sensor de orientación y medios de procesamiento para determinar una posición y una orientación del UAV 10. El sensor de posición también puede ser proporcionado por un sensor de imagen de la cámara digital.

En particular, el módulo de detección de posición puede venir proporcionado por un sensor que no dependa de un sistema de navegación por satélite, lo cual es ventajoso en zonas donde el acceso a un sistema de navegación por satélite no está disponible o está denegado, tal como un sensor de localización de red inalámbrica o un sensor de posición que comprenda un sensor de radar, un sensor de infrarrojos, un sensor acústico, un sensor de cámara o cualquier combinación de los mismos.

En zonas en las que el acceso al GPS o a otros sistemas de localización por satélite no está disponible o el acceso está denegado, es ventajoso proporcionar sensores de posición que puedan funcionar independientemente de un sistema de navegación por satélite. De manera similar, puede resultar ventajoso proporcionar sensores de posición que no dependan de la disponibilidad de un enlace de datos inalámbrico.

Los medios de procesamiento del módulo de captación de imagen, del módulo de detección de posición y del módulo de control de motor no se muestran en la Figura 4. A modo de ejemplo, los medios de procesamiento pueden implementarse mediante uno o más microprocesadores o uno o más chips integrados específicos de aplicación (ASICS).

La realización de la Figura 4 se proporciona a modo de ejemplo. El objeto de la presente memoria no está limitado por el ejemplo de la Figura 4. El número de motores se proporciona únicamente como ejemplo. Por ejemplo, el UAV puede estar provisto de un multicóptero que tenga dos, tres, cuatro, cinco o más motores. Además, la capacidad funcional del UAV puede proporcionarse mediante otras disposiciones de módulos que sean diferentes del ejemplo de la Figura 4.

En otra realización que no se muestra en la Figura 4, el UAV está provisto de un transmisor y un módulo de comunicación inalámbrica correspondiente para la transferencia de datos a través de un enlace de comunicación inalámbrica. De este modo, los datos de imagen se pueden transferir desde y hacia el UAV incluso cuando el UAV está volando. El módulo de comunicación inalámbrica también puede proporcionar funciones adicionales, tales como un control a distancia del UAV.

La Figura 5 muestra un procedimiento de calibración del UAV de la Figura 1.

En una primera etapa 60, el UAV 10 activa unos medios de detección de posición del módulo de detección de posición, tales como un receptor GPS.

En una siguiente etapa 61, el UAV 10 se mueve a un punto de inicio de calibración. En una etapa adicional 62, el UAV 10 se mueve a lo largo de una trayectoria de calibración 11. En el ejemplo de la Figura 1, la trayectoria de calibración 11 está alineada con los contornos y las esquinas de la pared del edificio y comprende cuatro segmentos 12 que son, cada uno de ellos, paralelos a los contornos o bordes de la pared del edificio.

En el diagrama de flujo de la Figura 5, la pared 13 del edificio se denomina "fachada del edificio", lo que tiene en cuenta una posible estructura tridimensional, tal como ventanas, columnas, salientes, balcones, tuberías, etc. La pared 13 del edificio es esencialmente plana, pero también puede comprender salientes, aberturas y rebajes.

En el ejemplo de la Figura 1, la trayectoria de calibración rectangular 11 es suficiente para cubrir una superficie requerida de la pared 13 del edificio con la cámara 47 a la distancia seleccionada de la pared 13 del edificio y para el tamaño dado de la pared 13 del edificio. En otras configuraciones, la trayectoria de calibración 11 puede incluir trayectorias rectangulares adicionales, que están encajadas dentro de la trayectoria rectangular exterior y que tienen diámetros sucesivamente más pequeños. Dependiendo de los ajustes de calibración, la superficie requerida de la pared 13 del edificio puede comprender la totalidad de la pared 13 del edificio o solo una franja exterior de una anchura predeterminada.

En una etapa adicional 63, que puede llevarse a cabo durante y/o después de la etapa de desplazarse a lo largo de la trayectoria de calibración, el módulo de captación de imagen 42 determina cero o más zonas sin exploración 17 en la pared del edificio, que no necesitan ser exploradas en busca de defectos.

En una etapa adicional 64, que puede llevarse a cabo durante y/o después de la etapa de desplazarse a lo largo de la trayectoria de calibración 11, el módulo de captación de imagen 42 determina las dimensiones y la posición de la pared 13 del edificio.

En una etapa adicional 65, el módulo de captación de imagen calcula una trayectoria de vuelo del UAV 10 para detectar defectos en la pared 13 del edificio a lo largo de la trayectoria de vuelo. En una etapa de decisión 66, el UAV 10 decide, basándose en los datos de configuración o en la entrada del usuario a través de un mando a distancia, si iniciar o no una exploración de fachada.

Si no se inicia ninguna exploración de fachada ulterior, el UAV 10 calibra la siguiente trayectoria de vuelo o se mueve hasta una posición de estacionamiento en la etapa 67. En caso contrario, el UAV 10 se mueve a una posición inicial de la trayectoria de vuelo en la etapa 68.

La Figura 6 muestra un procedimiento de exploración del UAV 10 de la Figura 1, en el que el UAV 10 sigue una trayectoria de vuelo que se ha establecido basándose en un procedimiento de calibración anterior, por ejemplo, un procedimiento de calibración según el diagrama de flujo de la Figura 5.

En una primera etapa 68, el UAV se desplaza a una posición inicial de la trayectoria de vuelo. En una siguiente etapa 70, el módulo de captación de imagen 42 envía una señal de control a la cámara 47 para tomar o captar una primera imagen. En una etapa adicional 71, el módulo 41 de control de motor envía señales de control a los motores 50 del UAV 10 para mover el UAV 10 en una primera dirección.

En el caso de la trayectoria de vuelo 20 mostrada en la superficie frontal 13 del edificio 14 de varios niveles de la Figura 2, la primera dirección es una dirección horizontal. En el caso de la trayectoria de vuelo mostrada en la superficie lateral del edificio 14 de varios niveles de la Figura 2, la primera dirección es una dirección vertical.

En una etapa de decisión 72, el módulo de captación de imagen determina el tamaño del solapamiento entre áreas de captación de imagen adyacentes en la primera dirección, y si el solapamiento ha alcanzado el 5% de la extensión de un área de captación de imagen rectangular 29 en la primera dirección. Si este es el caso, el módulo 41 de control de motor controla los motores eléctricos 50 del UAV 10 para ralentizar o detener el UAV 10 en una posición de captación de imagen 30. En una etapa 73, el módulo de captación de imagen 42 controla la cámara 47 para que capte la siguiente imagen de la pared 13 del edificio, almacenándose los datos de imagen de la cámara 47 en la memoria de datos de imagen 49.

En una etapa de decisión 74, el módulo 41 de control de motor del UAV 10 compara la posición en ese momento del UAV 10 con la trayectoria predeterminada y determina si se ha alcanzado un final del segmento de trayectoria horizontal o vertical en curso. Si no es así, se controla el UAV 10 para que continúe moviéndose en la primera dirección.

Si se determina que se ha llegado al final del segmento de trayectoria en curso, el módulo 41 de control de motor determina, en una etapa de decisión 75, si se ha llegado a un final de la trayectoria de vuelo. Si no es el caso, el UAV 10 se mueve, en una etapa 76, en la segunda dirección una extensión de imagen, que en el caso de un segmento de trayectoria horizontal es una altura de imagen.

En caso contrario, el UAV 10 selecciona la siguiente trayectoria de vuelo disponible en una etapa 77 y el procedimiento regresa a la etapa 68, en la que el UAV 10 se mueve a la posición inicial de la trayectoria de vuelo seleccionada.

La Figura 7 muestra un sistema 80 para la adquisición, almacenamiento y distribución de datos de defectos que se han adquirido con el UAV 10 de la Figura 1. El sistema 80 de adquisición, almacenamiento y distribución de datos comprende un módulo de adquisición de datos 82, que es proporcionado por una primera aplicación de software o "aplicación" 83, un módulo de tratamiento de datos 84 y un módulo de compilación de datos 85, que son proporcionados por una segunda aplicación de software 86, y un módulo de cliente 87, que es proporcionado por una tercera aplicación de software 88.

El módulo de tratamiento de datos 84 recibe datos de entrada del módulo de adquisición de datos 82 y de una fuente de datos externos 89 y almacena datos procesados usando el módulo de compilación de datos 85. El módulo de cliente 87 recupera información seleccionada por un cliente usando el módulo de compilación de datos 85.

En una realización, el sistema 80 comprende una red de dispositivos robóticos que se conectan a una nube de microservicios.

En una realización adicional, un cliente puede comprar una suscripción utilizando el módulo de cliente 87. Como resultado de ello, el módulo de compilación de datos 85 actualiza los datos de configuración específicos del cliente, lo que hace que un UAV 10 inspeccione un edificio seleccionado 14 en un intervalo de tiempo predeterminado, por ejemplo mensualmente, para generar una petición e indicar cualquier cambio en los resultados de inspecciones anteriores. El procedimiento de inspección se activa automáticamente y se realiza de forma autónoma sin necesidad de intervención humana.

Las Figuras 8 a 10 muestran, a modo de ejemplo, varios tipos diferentes de defectos en las paredes exteriores de edificios que pueden detectarse con un sistema de detección de defectos según la presente memoria.

La Figura 8 muestra un defecto vertical 92 en un enlucido 93 de pared de una casa unifamiliar 94.

La Figura 9 muestra un defecto vertical 95 y un defecto diagonal 96 en un muro de hormigón 97 de un bungalow 98.

La Figura 10 muestra un defecto vertical 100 y un defecto diagonal 102 en una pared de mampostería 103 de una casa, que no se muestra en la Figura 10. A diferencia de los defectos diagonales de los dos ejemplos anteriores, el defecto diagonal de la Figura 10 sigue la estructura de los ladrillos y comprende segmentos verticales y horizontales.

La Figura 11 muestra un aumento de la precisión en función de etapas de aprendizaje repetidas en un procedimiento de aprendizaje semisupervisado de una red neuronal.

En el ejemplo de la Figura 11, el entrenamiento se realiza sobre falsos resultados positivos, o, en otras palabras, las imágenes en las que una característica superficial se detecta erróneamente como un defecto. El falso positivo puede deberse a restos de pintura, ramitas, sombras u otras características. En la Figura 11, una precisión del 0% significa que todos los falsos positivos se siguen detectando erróneamente y una precisión del 100% significa que todos los falsos positivos se rechazan.

A modo de ejemplo, una tasa de falsos negativos, en los que está presente un defecto pero no se detecta, puede ser del 15%; una tasa de falsos positivos, en los que no hay defecto pero se detecta erróneamente, puede ser del 20%.

En general, el entrenamiento de un modelo se puede realizar descartando primero las imágenes defectuosas en una etapa de tratamiento previo, entrenando el modelo con las imágenes previamente tratadas y, en una etapa de tratamiento ulterior, descartando los valores atípicos que no encajan en el modelo.

En una realización, un modelo está representado por números que definen los pesos de conexión de una red neuronal y que se modifican durante el procedimiento de entrenamiento. Una red neuronal puede ser una red en la que se fijan de antemano conexiones, un número de capas y un número de nodos. O, de acuerdo con un modelo más complejo, estos son parámetros variables de la red neuronal. En otra realización, el modelo está representado por parámetros de un modelo estadístico que se modifican durante el procedimiento de entrenamiento. En una realización, el modelo estadístico comprende una máquina de vectores de soporte; de acuerdo con otra realización, el modelo estadístico comprende un clasificador de vecinos más cercanos.

Según una realización adicional, el UAV comprende una cámara estereoscópica y el tratamiento de imagen y el reconocimiento de defectos comprenden una evaluación de información de profundidad.

Las Figuras 12 y 13 muestran unas primera y segunda trayectorias de vuelo que están adaptadas a las características de un edificio. Más específicamente, las trayectorias de vuelo están adaptadas a una configuración que es similar a la de la Figura 1 y en la que hay un área rectangular sin exploración 17.

La trayectoria de vuelo de la Figura 12 comprende una primera porción 104 debajo de un área sin exploración 17, en la que la trayectoria de vuelo se extiende sustancialmente sobre toda la anchura de la pared 13, una segunda porción 105 en la que la trayectoria de vuelo se extiende desde la izquierda de la región excluida hasta el contorno izquierdo de la pared 13, una tercera porción 106 por encima del área sin exploración 17, en la que la trayectoria de vuelo se extiende desde el contorno izquierdo de la pared hasta la extensión virtual del contorno derecho del área sin exploración 17, y una cuarta porción 107 en la que la trayectoria de vuelo se extiende entre el contorno derecho de la pared y la extensión virtual del contorno derecho del área sin exploración 17.

En las trayectorias de vuelo de las Figuras 12 y 13, el UAV se desplaza adelante y atrás a lo largo de uno de los segmentos horizontales de la trayectoria de vuelo. En tal caso, el UAV sólo puede tomar imágenes durante el vuelo en una dirección. O puede tomar imágenes en ambas direcciones, lo que puede implicar tomar las mismas imágenes dos veces en los mismos lugares de captación o tomar las imágenes solo una vez en lugares de captación alternativos.

En una realización, un procedimiento de detección de defectos es similar a un procedimiento para el reconocimiento óptico de caracteres y comprende una reducción de la escala de colores o escala de grises de una imagen a píxeles blancos y negros, que pueden representarse como los números binarios 0 y 1.

Se puede llevar a cabo un tratamiento de las imágenes captadas en unos medios de tratamiento del UAV 10, en una computadora terrestre o parcialmente en el UAV 10 y parcialmente en la computadora terrestre. Este tratamiento puede implicar una etapa de tratamiento previo de la imagen en la que se eliminan las distorsiones de la imagen resultantes de la forma de la lente y/o de una orientación oblicua del plano de imagen de la cámara con respecto a la pared explorada.

En una realización, el tratamiento de imagen implica la computación de características específicas del defecto tales como una dirección general o "esqueleto" del defecto y una anchura del defecto.

La Figura 13 muestra una trayectoria de vuelo que es similar a la trayectoria de vuelo de la Figura 12 pero en la que una tercera porción 106' situada por encima de la región sin exploración se extiende sustancialmente sobre toda la anchura de la pared. Como consecuencia, la trayectoria de vuelo del UAV tiene menos cambios de dirección y movimientos arriba y abajo en comparación con la trayectoria de vuelo de la Figura 12. Como consecuencia adicional, la trayectoria de vuelo de la Figura 13 tiene un segmento de unión vertical que se extiende desde el contorno superior de la pared hasta la extensión virtual del contorno superior del área sin exploración 17 y que es sustancialmente más alta que la altura del área de captación 29.

Números de referencia

Claims (13)

REIVINDICACIONES

1. Un UAV (10) para detectar grietas (35) en una pared (13) de un edificio (14), comprendiendo el UAV (10):

- unos medios de propulsión (50) para hacer volar el UAV (10),

- una cámara digital (47) para captar imágenes de la pared (13),

- un módulo de control de vuelo (41), siendo operativo el módulo de control de vuelo (41) para controlar los medios de propulsión (50) basándose en datos de imagen de la cámara digital (47), de manera que el UAV (10) vuela a lo largo de la pared (13) del edificio a lo largo de una trayectoria de vuelo predeterminada (20,24),

- un módulo de captación de imagen (42), en el que el módulo de control de vuelo (41) funciona controlando los medios de propulsión (50) y en el que el módulo de captación de imagen (42) es operativo para controlar la cámara digital (47) de manera que las imágenes adyacentes captadas por la cámara digital (47) tengan un solapamiento dentro de un intervalo predeterminado,

comprendiendo el UAV (10), además, un procesador para identificar al menos un área sin exploración (17) de la pared (13) para determinar la trayectoria de vuelo predeterminada (20, 24),

caracterizado por que

el solapamiento de las imágenes adyacentes está entre el 5% y el 10%.

2. El UAV (10) de acuerdo con la reivindicación 1, en el que el módulo de captación de imagen (42) funciona controlando la cámara digital (47) para captar imágenes de la pared (13) desde posiciones de captación predeterminadas (30).

3. El UAV (10) de acuerdo con la reivindicación 2, en el que un módulo (41) de control de motor funciona ralentizando el movimiento del UAV (10) en las posiciones de captación predeterminadas (30).

4. El UAV (10) de acuerdo con la reivindicación 2 o la reivindicación 3, en el que una distancia entre dos posiciones de captación adyacentes es igual a una extensión de un área de captación de una imagen captada en una dirección de vuelo del UAV (10), menos un solapamiento predeterminado (23, 33) en la dirección de vuelo, en donde el solapamiento predeterminado (23, 33) está dentro del intervalo predeterminado.

5. El UAV (10) de acuerdo con la reivindicación 4, en el que el módulo (41) de control de motor controla los medios de propulsión (50) de tal manera que la trayectoria de vuelo predeterminada (20, 24) da como resultado una trayectoria de exploración correspondiente, comprendiendo la trayectoria de exploración una trayectoria sinuosa, comprendiendo la trayectoria sinuosa segmentos de captación en una primera dirección y segmentos de unión en una segunda dirección, estando unidos los segmentos de captación por los segmentos de unión.

6. El UAV (10) de acuerdo con una de las reivindicaciones anteriores, en el que la cámara digital (47) comprende un sensor de luz visible.

7. El UAV (10) de acuerdo con una de las reivindicaciones anteriores, en el que la cámara digital (47) comprende un sensor de radar.

8. El UAV (10) de acuerdo con una de las reivindicaciones anteriores, en el que la cámara digital (47) comprende un sensor de infrarrojos.

9. El UAV (10) de acuerdo con una de las reivindicaciones anteriores, en el que la cámara digital (47) comprende un transductor acústico.

10. Un método para controlar un UAV (10) con una cámara digital (47), comprendiendo el método:

- identificar al menos un área sin exploración (17) de la pared (13) para determinar una trayectoria de vuelo predeterminada (20, 24),

- controlar unos medios de propulsión (50) del UAV (10) para mover el UAV (10) a lo largo de la trayectoria de vuelo predeterminada (20, 24),

- controlar la cámara digital (47) para captar imágenes de una pared (13) de un edificio en posiciones de captación predeterminadas (30), de modo que las imágenes adyacentes de las imágenes captadas se solapen en un intervalo predeterminado,

caracterizado por que el solapamiento de las imágenes adyacentes está entre el 5% y el 10%.

11. El método de acuerdo con la reivindicación 10, que comprende:

- controlar los medios de propulsión (50) para ralentizar el movimiento del UAV (10) en las posiciones de captación predeterminadas (30).

12. El método de acuerdo con la reivindicación 10, que comprende controlar los medios de propulsión (50) de manera que una distancia entre dos posiciones de captación adyacentes sea igual a una extensión de un área de captación de una imagen captada en una dirección de vuelo del UAV (10), menos un solapamiento predeterminado (23, 33) en la dirección de vuelo, en donde el solapamiento predeterminado (23, 33) está dentro del intervalo predeterminado.

13. El método de acuerdo con una de las reivindicaciones 10 a 12, que comprende controlar los medios de propulsión (50) de manera que la trayectoria de vuelo predeterminada (20, 24) dé como resultado una trayectoria de exploración correspondiente, comprendiendo la trayectoria de exploración una trayectoria sinuosa, de modo que la trayectoria sinuosa comprende segmentos de captación en una primera dirección y segmentos de unión en una segunda dirección, uniéndose los segmentos de captación mediante los segmentos de unión.