RU198460U1 - DEVICE FOR TECHNICAL VISION OF A SMALL UNMANNED AIRCRAFT - Google Patents
DEVICE FOR TECHNICAL VISION OF A SMALL UNMANNED AIRCRAFT Download PDFInfo
- Publication number
- RU198460U1 RU198460U1 RU2019143465U RU2019143465U RU198460U1 RU 198460 U1 RU198460 U1 RU 198460U1 RU 2019143465 U RU2019143465 U RU 2019143465U RU 2019143465 U RU2019143465 U RU 2019143465U RU 198460 U1 RU198460 U1 RU 198460U1
- Authority
- RU
- Russia
- Prior art keywords
- microcontroller
- image
- marks
- module
- usb
- Prior art date
Links
- 238000013139 quantization Methods 0.000 claims abstract description 3
- RWIUTHWKQHRQNP-NQLNTKRDSA-N Melinamide Chemical compound CCCCC\C=C/C\C=C/CCCCCCCC(=O)NC(C)C1=CC=CC=C1 RWIUTHWKQHRQNP-NQLNTKRDSA-N 0.000 abstract description 11
- 238000010191 image analysis Methods 0.000 abstract description 2
- 230000005855 radiation Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 208000035051 Malignant migrating focal seizures of infancy Diseases 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 208000012054 malignant migrating partial seizures of infancy Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Robotics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Полезная модель относится к устройствам для анализа изображений, а именно для определения положения и ориентации объектов на изображении для осуществления пространственной ориентации МБЛА. Технический результат полезной модели заключается в обеспечении возможности распознавания светотехнических меток на неподвижных элементах базовой станции. Устройство технического зрения малого беспилотного летательного аппарата, содержащее корпус, с закрепленной на его внешней поверхности видеокамерой с USB-выходом, совмещенной с дальномером, подключенной с помощью USB-кабеля к видеовходу блока управления, размещенному внутри корпуса, выполненного на основе микроконтроллера, отличающееся тем, что микроконтроллер выполнен с возможностью выполнять бинарное квантование изображения, для которого применяется фильтр Гаусса, позволяющий автоматически удалить шумы на исходном изображении, выполнять преобразование полученного изображения в оттенки серого, применять оператор Собеля для выделения границ светотехнических меток, определять координаты и площади найденных меток, вычислять выборочные характеристики найденных меток и идентифицировать метки путем сравнения их выборочных характеристик с параметрами объектов-эталонов изображений светотехнических меток; при этом микроконтроллер содержит микропроцессорное ядро, соединенное с помощью системной шины с FLASH-памятью программ, SRAM-памятью данных, USB-контроллером, Ethernet-контроллером, модулем LCD-интерфейса, интерфейсом ввода-вывода общего назначения, сгруппированного в восьмиразрядный GPI/0-порт ввода-вывода, и модулем подключения SD-карты; при этом видеокамера выполнена с возможностью получения видеопотока сверхвысокой четкости. 5 з.п. ф-лы, 4 ил.The utility model relates to devices for image analysis, namely, for determining the position and orientation of objects on the image to implement the spatial orientation of MBLA. The technical result of the utility model is to provide the possibility of recognizing lighting marks on the fixed elements of the base station. A technical vision device for a small unmanned aerial vehicle, containing a housing, with a video camera with a USB output attached to its outer surface, combined with a rangefinder, connected with a USB cable to the video input of the control unit located inside the housing, made on the basis of a microcontroller, characterized in that, that the microcontroller is capable of performing binary quantization of the image, for which a Gaussian filter is applied, which allows to automatically remove noise in the original image, convert the resulting image to grayscale, use the Sobel operator to highlight the boundaries of light technical marks, determine the coordinates and areas of the found marks, calculate sample characteristics of the found tags and identify tags by comparing their sample characteristics with the parameters of reference objects of images of lighting marks; at the same time, the microcontroller contains a microprocessor core connected via a system bus with a FLASH program memory, a SRAM data memory, a USB controller, an Ethernet controller, an LCD interface module, a general purpose input / output interface grouped into an eight-bit GPI / 0- I / O port, and an SD card connection module; while the video camera is configured to receive an ultra-high definition video stream. 5 p.p. f-ly, 4 dwg
Description
Полезная модель относится к устройствам для анализа изображений, а именно для определения положения и ориентации объектов на изображении, и может применяться в качестве системы технического зрения малых беспилотных летательных аппаратов для их пространственной ориентации по светотехническим меткам на неподвижных элементах базовой станции.The utility model relates to devices for image analysis, namely, to determine the position and orientation of objects in an image, and can be used as a technical vision system for small unmanned aerial vehicles for their spatial orientation according to lighting marks on the fixed elements of the base station.
Из уровня техники известно устройство для технического зрения (RU 83132U1, МПК G01B 11/00, опубл. 20.05.2009), включающее кольцевой источник излучения, образованный расположенными по окружности светодиодами, видеокамеру с объективом, установленную соосно с кольцевым источником излучения, и схему управления и обработки информации, связанную с видеокамерой и источником излучения. К отличительным признакам устройства относится то, что схема управления и обработки информации содержит блок преобразования изображения в цифровую форму, управляемое ключевое устройство, блок обработки изображения, устройство сравнения, ключевое устройство и устройство управления.A device for technical vision is known from the prior art (RU 83132U1, IPC G01B 11/00, published May 20, 2009), including an annular radiation source formed by circumferential LEDs, a video camera with a lens mounted coaxially with the annular radiation source, and a control circuit and processing information associated with the video camera and the radiation source. The distinctive features of the device include the fact that the control and information processing circuitry includes a digital image conversion unit, a controlled key device, an image processing unit, a comparison device, a key device and a control device.
Недостатком известного технического решения является его низкая технологичность, связанная с наличием в конструкции схемы управления и обработки информации большого количества сложных в изготовлении блоков.A disadvantage of the known technical solution is its low manufacturability, associated with the presence in the design of the control and information processing scheme of a large number of blocks difficult to manufacture.
Наиболее близким к заявленной полезной модели техническим решением, выбранным в качестве прототипа, признано устройство технического зрения (RU 184765 U1, МПК G06T 7/70, B25J 19/04, опубл. 08.11.2018). Устройство содержит RGB-камеру, определитель расстояния до объекта и устройство обработки данных. При этом устройство дополнительно содержит подвижный кронштейн, содержащий два сервопривода и установленный на устройстве обработки данных, выполненном в виде логического блока, включающего микрокомпьютер с SD-картой и микроконтроллер, выполненный с возможностью приводить в движение сервоприводы перемещая камеру.The closest to the claimed utility model technical solution, selected as a prototype, is recognized as a technical vision device (RU 184765 U1, IPC G06T 7/70, B25J 19/04, published 08.11.2018). The device contains an RGB camera, an object distance detector and a data processing device. Moreover, the device further comprises a movable bracket containing two servos and mounted on a data processing device made in the form of a logical unit including a microcomputer with an SD card and a microcontroller configured to drive the servos by moving the camera.
Недостатком известного устройства является сложность его адаптации для крепления на корпусе беспилотного летательного аппарата в связи с наличием громоздкого логического блока. Кроме того применение в устройстве обычной RGB-камеры не обеспечивает режимы видеосъемки с повышенным разрешением и частотой кадров, что ухудшает качество распознавания образов.A disadvantage of the known device is the difficulty of its adaptation for mounting on the body of an unmanned aerial vehicle in connection with the presence of a bulky logical unit. In addition, the use of a conventional RGB camera in the device does not provide video modes with increased resolution and frame rate, which affects the quality of pattern recognition.
Технической задачей, на решение которой направлена заявленная полезная модель, является разработка устройства технического зрения с возможностью его крепления на корпусе малого беспилотного летательного аппарата.The technical problem, the solution of which the claimed utility model is aimed at, is the development of a technical vision device with the possibility of its mounting on the body of a small unmanned aerial vehicle.
Указанная задача решена тем, устройство технического зрения малого беспилотного летательного аппарата содержит корпус, с закрепленной на его внешней поверхности видеокамерой с USB-выходом, совмещенной с дальномером, подключенной с помощью USB-кабеля к видеовходу блока управления, размещенному внутри корпуса, выполненного на основе микроконтроллера. Отличает устройство от известных аналогов то, что микроконтроллер содержит микропроцессорное ядро, соединенное с помощью системной шины с FLASH-памятью программ, SRAM-памятью данных, USB-контроллером, Ethernet-контроллером, модулем LCD-интерфейса, интерфейсом ввода-вывода общего назначения, сгруппированного в восьмиразрядный GPI/0-порт ввода-вывода, и модулем подключения SD-карты. Видеокамера выполнена с возможностью получения видеопотока сверхвысокой четкости, к USB-контроллеру подключен видеовход блока управления, Ethernet-контроллер подключен к WiFi-модулю, к модулю LCD-интерфейса электрически подключен TFT-дисплей, к восьмиразрядному GPI/O-порту ввода-вывода подключена кнопочная клавиатура, а в слот модуля подключения SD-карты вставлена и электрически соединена с модулем SD-карта.This problem is solved by the fact that the technical vision device of a small unmanned aerial vehicle contains a housing, with a video camera with a USB output fixed to its external surface, combined with a range finder, connected via a USB cable to the video input of the control unit located inside the housing, made on the basis of a microcontroller . The device differs from its known analogues in that the microcontroller contains a microprocessor core connected via a system bus with program FLASH memory, data SRAM memory, USB controller, Ethernet controller, LCD interface module, general purpose input-output interface, grouped into an eight-bit GPI / 0 input / output port, and an SD card connection module. The camcorder is capable of receiving an ultra-high-definition video stream, a video input of the control unit is connected to a USB controller, an Ethernet controller is connected to a WiFi module, a TFT display is electrically connected to the LCD interface module, and a button-type GPI / O input / output port is connected a keyboard, and is inserted into the slot of the SD card connection module and is electrically connected to the SD card module.
Положительным техническим результатом, обеспечиваемым раскрытой выше совокупностью признаков устройства, является возможность распознавания с его помощью светотехнических меток на неподвижных элементах базовой станции, обеспечивая тем самым возможность пространственной ориентации малого беспилотного летательного аппарата (МБЛА).A positive technical result provided by the set of features of the device disclosed above is the possibility of recognizing lighting marks on the fixed elements of the base station with its help, thereby providing the possibility of spatial orientation of a small unmanned aerial vehicle (MBA).
Конструкция устройства поясняется чертежами, где на фиг. 1 показан внешний вид устройства; на фиг. 2 приведена упрощенная структурная схема блока управления; на фиг. 3 приведен пример светотехнических меток, которые могут использоваться при взлете и посадке МБЛА на малых высотах; на фиг. 4 приведен внешний вид светодиодной панели, которая может быть применена для формирования сложных динамически изменяемых светотехнических меток.The design of the device is illustrated by drawings, where in FIG. 1 shows the appearance of a device; in FIG. 2 shows a simplified block diagram of a control unit; in FIG. Figure 3 shows an example of lighting tags that can be used when taking off and landing MBLA at low altitudes; in FIG. Figure 4 shows the appearance of the LED panel, which can be used to form complex dynamically changing lighting labels.
Устройство технического зрения малого беспилотного летательного аппарата имеет следующую конструкцию.The technical vision device of a small unmanned aerial vehicle has the following design.
Его основой является корпус 1, с закрепленной на его внешней поверхности видеокамерой 2 с USB-выходом, совмещенной с дальномером (на фигурах условно не показан), подключенной с помощью USB-кабеля к видеовходу 3 блока управления, размещенному внутри корпуса 1, выполненного на основе микроконтроллера 4, содержащего микропроцессорное ядро 5, соединенное с помощью системной шины с FLASH-памятью программ 6, SRAM-памятью данных 7, USB-контроллером 8, Ethernet-контроллером 9, модулем LCD-интерфейса 10, интерфейсом ввода-вывода общего назначения, сгруппированного в восьмиразрядный GPI/O-порт ввода-вывода 11, и модулем подключения SD-карты 12. Видеокамера 2 выполнена с возможностью получения видеопотока сверхвысокой четкости, к USB-контроллеру 8 подключен видеовход блока управления 3, Ethernet-контроллер 9 подключен к WiFi-модулю 13, к модулю LCD-интерфейса 10 электрически подключен TFT-дисплей 14, к восьмиразрядному GPI/O-порту ввода-вывода 11 подключена кнопочная клавиатура 15, а в слот модуля подключения 12 SD-карты вставлена и электрически соединена с модулем SD-карта 16.Its basis is the
В качестве видеокамеры, выполненной с возможностью получения видеопотока сверхвысокой четкости, может быть применена «экшн камера» модели YI4K+(Экшн камера YI 4К+ // YI. URL: http://www.yitechnology.ru/yi-4k-plus-action-camera-specs (дата обращения: 12.12.2019).; в качестве дальномера может быть использован лазерный датчик расстояния VL53L0X(Датчик расстояния лазерный VL53L0X // MCU Store. URL: https://mcustore.ru/store/datchiki-i-sensory/datchik-rasstovaniva-lazernyj-vl53l0x-gy-530/?gclid=Cj0KCQiA89zvBRDoARIsAOIePbAKYLBUlgBsvSS-4FmwgHK5KG8k2w9CO0-86m76K25SK7HJMBKzRFgaAoVHEALw wcB) подключенный к микроконтроллеру посредством интерфейса I2C; в качестве микроконтроллера может быть использована любая известная микросхема на микропроцессорном ядре Cortex-M4F/R, ориентированном на создание высокопроизводительных систем реального времени для авиации и других ответственных применений. В качестве такой микросхемы может быть применен отечественный микроконтроллер K1921BK01T(Практический курс микропроцессорной техники на базе процессорных ядер ARM-Cortex-M3/M4/M4F [электронный ресурс]: учебное пособие - электрон. текстовые дан. (12 Мб) / В.Ф. Козаченко, А.С. Анучин, Д.И. Алямкин и др.; под общ. ред. В.Ф. Козаченко. - М.: Издательство МЭИ, 2019. - 543 с. Режим доступа: http://motorcontrol.ru/wp-content/uploads/2019/04/Практический курс микропроцессор.pdf.); в качестве WiFi-модуля может быть использована сборка ESP8266-01(Модуль ESP8266-01 WiFi // MCU Store. URL: https://mcustore.ru/store/moduli-svyazi/modul-wifi-esp8266/?gclid=CjwKCAiA58fvBRAzEiwAOW-hzezFoQo60DEhZStdn7fMT-5DeNRZ2oJB f8dkNm5re0i2KG bfe3YFBoCu08QAvD BwE.), а в качестве TFT-дисплея модель RPI LCD(3.2 inch RPi LCD// ChipDip.ru URL: https://www.chipdip.ru/product/3.2inch-rpi-lcd-b (дата обращения: 12.12.2019). с резистивным сенсорным экраном и диагональю 8,1 см.As a video camera configured to receive an ultra-high-definition video stream, an “action camera” of the YI4K + model can be used (YI 4K + // YI action camera. URL: http://www.yitechnology.ru/yi-4k-plus-action -camera-specs (accessed 12.12.2019) .; as a range finder, a laser distance sensor VL53L0X (Laser distance sensor VL53L0X // MCU Store. URL: https://mcustore.ru/store/datchiki-i- sensory / datchik-rasstovaniva-lazernyj- vl53l0x-gy- 530 / gclid = Cj0KCQiA89zvBRDoARIsAOIePbAKYLBUlgBsvSS-4FmwgHK5KG8k2w9CO0-86m76K25SK7HJMBKzRFgaAoVHEALw wcB) connected to the microcontroller via an interface I 2 C;? as a microcontroller can be used on any known chip Cortex-M4F / R microprocessor core , focused on the creation of high-performance real-time systems for aviation and other critical applications, the domestic microcontroller K1921BK01T can be used as such a chip (Practical course microprocessor technology based on ARM-Cortex-M3 / M4 / M4F processor cores [electronic resource]: a tutorial - electron. text data (12 Mb) / V.F. Kozachenko, A.S. Anuchin, D.I. Alyamkin et al .; under the general. ed. V.F. Kozachenko. - M.: Publishing House MPEI, 2019 .-- 543 p. Access mode: http://motorcontrol.ru/wp-content/uploads/2019/04/Practical course microprocessor.pdf.); As a WiFi module, the assembly ESP8266-01 can be used (ESP8266-01 WiFi module // MCU Store. URL: https://mcustore.ru/store/moduli-svyazi/modul-wifi-esp8266/?gclid=CjwKCAiA58fvBRAzEiwAOW- hzezFoQo60DEhZStdn7fMT-5DeNRZ2oJB f8dkNm5re0i2KG bfe3YFBoCu08QAvD BwE.), and as a TFT-display model RPI LCD (3.2 inch RPi LCD // ChipDip.ru URL: https://www.chduct-chipdip (accessed date: 12/12/2019) .with a resistive touch screen and a diagonal of 8.1 cm.
Устройство технического зрения малого беспилотного летательного аппарата применяют следующим образом.The technical vision device of a small unmanned aerial vehicle is used as follows.
Первоначально корпус устройства закрепляют на кронштейне 17 малого беспилотного летательного аппарата 18. После активации блока управления с помощью кнопочной клавиатуры 15 и TFT-дисплея 14 производят калибровку устройства, заключающуюся в настройке режимов видеосъемки видеокамеры 2, конфигурировании параметров Ethernet-контроллера 9 и WiFi-модуля 13, для осуществления обмена данными между микроконтроллером 4 системой управления МБЛА и удаленной системой управления универсальной роботизированной платформы базирования беспилотных летательных аппаратов. Конфигурирование параметров Ethernet-контроллера 9 и WiFi-модуля 13 включает в себя выбор способа шифрования данных (предпочтительным является шифрование WPA2) и ввод ключа безопасности сети. В SD-карту 16 записывают изображения-эталоны светотехнических меток, нанесенных на поверхность универсальной роботизированной платформы базирования МБЛА, после чего SD-карту 16 устанавливают в гнездо модуля интерфейса подключения 12 SD-карты. После выполнение указанных действий устройство готово к работе в составе МБЛА.Initially, the device’s body is mounted on the
Отсутствие естественного ориентира при осуществлении маневров взлета и посадки с универсальной роботизированной платформы делает возможным столкновение малого беспилотного летательного аппарата с близко расположенными деревьями, мачтами и зданиями, поэтому одной из основных задач взлета является обеспечение вертикального перемещения МБЛА на безопасную высоту в условиях воздействия ветра и отсутствия ярко выраженных ориентиров с применением системы технического зрения на основе светотехнических меток.The absence of a natural reference point when taking off and landing maneuvers from a universal robotic platform makes it possible for a small unmanned aerial vehicle to collide with closely located trees, masts and buildings, therefore one of the main tasks of takeoff is to ensure vertical movement of the MBLA to a safe altitude in the presence of wind and the absence of bright expressed landmarks using a vision system based on lighting tags.
Метки могут быть нескольких типов. Для взлета на высоту от одного до пяти метров могут использоваться небольшие метки, выполненные в виде хорошо различимых геометрических фигур, например крестов, наносимых непосредственно на поверхность платформы, а для взлета на большую высоту могут использоваться более сложные динамически изменяемые метки, формируемые специализированным устройством.Tags can be of several types. For takeoff to a height of one to five meters, small marks can be used made in the form of clearly distinguishable geometric figures, for example crosses, applied directly to the surface of the platform, and for takeoff to a greater height, more complex dynamically changeable marks formed by a specialized device can be used.
В качестве такого специализированного устройства может использоваться светодиодная панель с микроконтроллерным блоком управления, снабженным шиной адреса с дешифратором, подключенным к катодам светодиодов, обеспечивающим формирование на панели растрового изображения, силовым выходом с ШИМ-модулятором, подключенным к анодам светодиодов, обеспечивающим плавное регулирование яркости свечения панели, и измерительным входом с фоторезистивным датчиком, обеспечивающим измерение уровня естественного освещения.As such a specialized device, an LED panel can be used with a microcontroller control unit equipped with an address bus with a decoder connected to the LED cathodes, providing a raster image on the panel, a power output with a PWM modulator connected to the LED anodes, providing smooth control of the panel brightness , and a measuring input with a photoresistive sensor that measures the level of natural light.
Специализированное устройство для формирования сложных светотехнических меток, охарактеризованное выше, позволит формировать метки любой геометрической формы с регулируемой яркостью, в зависимости от интенсивности естественного освещения, позволяя корректировать траекторию взлета и посадки малого беспилотного летательного аппарата на большой высоте.The specialized device for the formation of complex lighting tags, described above, will allow you to create tags of any geometric shape with adjustable brightness, depending on the intensity of natural light, allowing you to adjust the trajectory of take-off and landing of a small unmanned aerial vehicle at high altitude.
Во время взлета и посадки МБЛА видеокамера 2 устройства технического зрения выполняет непрерывную съемку взлетно-посадочной площадки с заданной частотой кадров и разрешением, передавая видеопоток через видеовход 3 и USB-контроллер 8 микроконтроллеру 4 для обработки изображений и распознавания светотехнических меток на основе управляющей программы, хранящейся во FLASH-памяти программ 6. Процедура распознавания меток выполняется в несколько этапов.During the take-off and landing of the MBLA, the
На первом этапе выполняется бинарное квантование изображения, для которого применяется фильтр Гаусса, позволяющий автоматически удалить шумы на исходном изображении, и выполняется преобразование полученного изображения в оттенки серого. Далее к полученному черно-белому видеофрагменту применяется оператор Собеля, представляющий собой дискретный дифференциальный оператор, вычисляющий приближенное значение градиента яркости изображения. Результатом применения оператора Собеля в каждой точке изображения является вектор градиента яркости в этой точке. Оператор использует матрицы размером 3×3 для свертки исходного изображения и вычисления приближенных значений производных по горизонтали и вертикали. Результатом выполнения свертки являются выделенные границы светотехнических меток.At the first stage, binary quantization of the image is performed, for which a Gaussian filter is used, which automatically removes noise in the original image, and the resulting image is converted to shades of gray. Next, the Sobel operator, which is a discrete differential operator that calculates the approximate value of the image brightness gradient, is applied to the resulting black and white video fragment. The result of applying the Sobel operator at each point in the image is the luminance gradient vector at that point. The operator uses 3 × 3 matrices to convolve the original image and calculate the approximate horizontal and vertical derivatives. The result of the convolution is the selected boundaries of lighting labels.
На втором этапе выполняется логическая обработка изображения, заключающаяся в определении координат и площади найденных меток. Учитывая, что обрабатывается плоское изображение, задача может быть решена с применением известных алгоритмов кластеризации и классификации. Наиболее простым из них является алгоритм k-means, хорошо применимый в случае, когда объекты имеют хорошо разнесенные центры масс. Для выделения объектов могут быть применены и более сложные алгоритмы, например AdaBoost или SVM.At the second stage, logical image processing is performed, which consists in determining the coordinates and area of the found marks. Given that a flat image is being processed, the problem can be solved using well-known clustering and classification algorithms. The simplest of these is the k-means algorithm, which is well applicable when objects have well-spaced centers of mass. More sophisticated algorithms, such as AdaBoost or SVM, can also be used to select objects.
Для каждого найденного на изображении объекта вычисляются его выборочные характеристики, к которым относятся средние значения гистограммы яркости (математического ожидания}, а также дисперсия и среднеквадратическое отклонение для упомянутого параметра.For each object found in the image, its selective characteristics are calculated, which include the average values of the histogram of brightness (mathematical expectation}, as well as the variance and standard deviation for the mentioned parameter.
На последнем этапе осуществляется идентификация объектов путем сравнения их выборочных характеристик с параметрами объектов-эталонов изображений светотехнических меток, хранящихся в памяти SD-карты 16.At the last stage, objects are identified by comparing their selective characteristics with the parameters of standard objects of images of lighting labels stored in the memory of the SD card 16.
Полученные данные о координатах и типе светотехнических меток, а также о расстоянии от беспилотного летательного аппарата до взлетно-посадочной площадки, полученные от дальномера, по беспроводной локальной сети с помощью WiFi-модуля 13 передаются системе управления универсальной роботизированной платформы и системе управления МБЛА.The obtained data on the coordinates and type of lighting marks, as well as on the distance from the unmanned aerial vehicle to the runway, received from the range finder, are transmitted via a wireless LAN using the
Система управления МБЛА сравнивает положение вертикальной оси аппарата с истинной вертикалью, определяемой с помощью его гироскопа и, на основании данных, полученных от устройства технического зрения о положении светотехнических меток, выдает управляющие сигналы на входы сервоприводов винтомоторной группы МБЛА. Соответствующим изменением скорости вращения винтов указанные отклонения автоматически устраняются. Одновременно система управления МБЛА аналогичным образом устраняет выявленные отклонения между текущим углом рыскания МБЛА и курсом, заданным в полетном задании.The MBLA control system compares the position of the vertical axis of the apparatus with the true vertical determined using its gyroscope and, based on the data received from the technical vision device on the position of the lighting marks, gives control signals to the inputs of the servo drives of the propeller-driven MBLA group. By a corresponding change in the speed of rotation of the screws, these deviations are automatically eliminated. At the same time, the MBLA control system similarly eliminates the identified deviations between the current MBL yaw angle and the course set in the flight task.
Таким образом, рассмотренное в настоящей заявке устройство является эффективным узлом контроля вертикального взлета малого беспилотного летательного аппарата. Дополнительным техническим результатом от применения устройства, является возможность создания на его основе системы бинокулярного стереоскопического зрения, на основе двух устройств технического зрения, работающих синхронно и передающих видеопоток по радиоканалу на сервер, выполняющий вычисление карты глубины изображения и распознавание трехмерных объектов в реальном времени.Thus, the device described in this application is an effective unit for controlling the vertical take-off of a small unmanned aerial vehicle. An additional technical result from the use of the device is the possibility of creating on its basis a binocular stereoscopic vision system, based on two technical vision devices working synchronously and transmitting the video stream over the air to a server that performs the calculation of the image depth map and recognition of three-dimensional objects in real time.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019143465U RU198460U1 (en) | 2019-12-24 | 2019-12-24 | DEVICE FOR TECHNICAL VISION OF A SMALL UNMANNED AIRCRAFT |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2019143465U RU198460U1 (en) | 2019-12-24 | 2019-12-24 | DEVICE FOR TECHNICAL VISION OF A SMALL UNMANNED AIRCRAFT |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU198460U1 true RU198460U1 (en) | 2020-07-10 |
Family
ID=71510689
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2019143465U RU198460U1 (en) | 2019-12-24 | 2019-12-24 | DEVICE FOR TECHNICAL VISION OF A SMALL UNMANNED AIRCRAFT |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU198460U1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2749538C1 (en) * | 2020-10-20 | 2021-06-15 | Задорожный Артем Анатольевич | Method for controlling unmanned aerial vehicle |
| RU2750007C1 (en) * | 2020-10-14 | 2021-06-21 | Задорожный Артем Анатольевич | Method for convoying ground object by unmanned aerial vehicle |
| RU2785076C1 (en) * | 2022-06-30 | 2022-12-02 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Method for autonomous landing of unmanned aircraft |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100842104B1 (en) * | 2007-06-15 | 2008-06-30 | 주식회사 대한항공 | Automatic Landing Guidance Control Method of Unmanned Aerial Vehicle Using ADDS |
| RU164139U1 (en) * | 2015-12-22 | 2016-08-20 | Общество с ограниченной ответственностью "ПАВЛИН Технологии" | INTELLIGENT AUTOMOTIVE CONTROL SYSTEM FOR UNMANNED AIRCRAFT |
| US20170036771A1 (en) * | 2015-04-21 | 2017-02-09 | Gopro, Inc. | Aerial Capture Platform |
| RU2615587C9 (en) * | 2016-03-18 | 2017-08-02 | Общество с ограниченной ответственностью "ЛЕ ТАЛО РОБОТИКС" | Method of accurate landing of unmanned aircraft |
| US20170320570A1 (en) * | 2016-05-06 | 2017-11-09 | SKyX Limited | Unmanned aerial vehicle (uav) having vertical takeoff and landing (vtol) capability |
| RU184765U1 (en) * | 2018-01-31 | 2018-11-08 | Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" | DEVICE FOR TECHNICAL VISION |
-
2019
- 2019-12-24 RU RU2019143465U patent/RU198460U1/en active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100842104B1 (en) * | 2007-06-15 | 2008-06-30 | 주식회사 대한항공 | Automatic Landing Guidance Control Method of Unmanned Aerial Vehicle Using ADDS |
| US20170036771A1 (en) * | 2015-04-21 | 2017-02-09 | Gopro, Inc. | Aerial Capture Platform |
| RU164139U1 (en) * | 2015-12-22 | 2016-08-20 | Общество с ограниченной ответственностью "ПАВЛИН Технологии" | INTELLIGENT AUTOMOTIVE CONTROL SYSTEM FOR UNMANNED AIRCRAFT |
| RU2615587C9 (en) * | 2016-03-18 | 2017-08-02 | Общество с ограниченной ответственностью "ЛЕ ТАЛО РОБОТИКС" | Method of accurate landing of unmanned aircraft |
| US20170320570A1 (en) * | 2016-05-06 | 2017-11-09 | SKyX Limited | Unmanned aerial vehicle (uav) having vertical takeoff and landing (vtol) capability |
| RU184765U1 (en) * | 2018-01-31 | 2018-11-08 | Федеральное государственное бюджетное учреждение "Национальный исследовательский центр "Курчатовский институт" | DEVICE FOR TECHNICAL VISION |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2750007C1 (en) * | 2020-10-14 | 2021-06-21 | Задорожный Артем Анатольевич | Method for convoying ground object by unmanned aerial vehicle |
| RU2749538C1 (en) * | 2020-10-20 | 2021-06-15 | Задорожный Артем Анатольевич | Method for controlling unmanned aerial vehicle |
| RU2785076C1 (en) * | 2022-06-30 | 2022-12-02 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Method for autonomous landing of unmanned aircraft |
| RU2795344C1 (en) * | 2022-12-23 | 2023-05-02 | Автономная некоммерческая организация высшего образования "Университет Иннополис" | Method for selecting a safe landing area |
| RU2802978C1 (en) * | 2023-02-02 | 2023-09-05 | Общество с ограниченной ответственностью "ПЛАЗ" | Unmanned aircraft video surveillance device, video camera assembly for such video surveillance device |
| RU2813215C1 (en) * | 2023-05-11 | 2024-02-08 | Общество С Ограниченной Ответственностью "Авиационные Вспомогательные Системы" | Complex of autonomous landing aids for unmanned aircraft |
| RU225357U1 (en) * | 2023-05-23 | 2024-04-17 | Общество с ограниченной ответственностью "Куликов Вижн" | Technical vision device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11915502B2 (en) | Systems and methods for depth map sampling | |
| US11748898B2 (en) | Methods and system for infrared tracking | |
| US20230360230A1 (en) | Methods and system for multi-traget tracking | |
| US10861302B2 (en) | Robust motion filtering for real-time video surveillance | |
| JP6496323B2 (en) | System and method for detecting and tracking movable objects | |
| CN108229366B (en) | Deep Learning Vehicle Obstacle Detection Method Based on Radar and Image Data Fusion | |
| EP3420428B1 (en) | Systems and methods for visual target tracking | |
| CN107589758A (en) | A kind of intelligent field unmanned plane rescue method and system based on double source video analysis | |
| WO2018214078A1 (en) | Photographing control method and device | |
| CN109923583A (en) | A kind of recognition methods of posture, equipment and moveable platform | |
| US20210009270A1 (en) | Methods and system for composing and capturing images | |
| WO2016015546A1 (en) | System and method for aircraft docking guidance and aircraft type identification | |
| WO2020211427A1 (en) | Segmentation and recognition method, system, and storage medium based on scanning point cloud data | |
| RU198460U1 (en) | DEVICE FOR TECHNICAL VISION OF A SMALL UNMANNED AIRCRAFT | |
| CN106973221A (en) | Unmanned plane image capture method and system based on aesthetic evaluation | |
| KR20170022872A (en) | Unmanned aerial vehicle having Automatic Tracking | |
| Shen et al. | Person tracking and frontal face capture with UAV | |
| CN113031462A (en) | Port machine inspection route planning system and method for unmanned aerial vehicle | |
| US10721404B1 (en) | Configuring imaging devices based on control signals | |
| CN116402859A (en) | A Moving Target Detection Method Based on Aerial Image Sequence | |
| CN112529917A (en) | Three-dimensional target segmentation method, device, equipment and storage medium | |
| CN116243725A (en) | Substation drone inspection method and system based on visual navigation | |
| CN115202395B (en) | UAV landing control method, control device and storage medium | |
| Kovács et al. | Real-time foreground segmentation for surveillance applications in NRCS LiDAR sequences | |
| RU2735196C1 (en) | Control method of landing of small unmanned aerial vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| QB9K | Licence granted or registered (utility model) |
Free format text: LICENCE FORMERLY AGREED ON 20201215 Effective date: 20201215 |