KR102483714B1 - 이미지 센서 기반 자율 착륙 - Google Patents
이미지 센서 기반 자율 착륙 Download PDFInfo
- Publication number
- KR102483714B1 KR102483714B1 KR1020197014660A KR20197014660A KR102483714B1 KR 102483714 B1 KR102483714 B1 KR 102483714B1 KR 1020197014660 A KR1020197014660 A KR 1020197014660A KR 20197014660 A KR20197014660 A KR 20197014660A KR 102483714 B1 KR102483714 B1 KR 102483714B1
- Authority
- KR
- South Korea
- Prior art keywords
- aircraft
- image
- landing
- tdp
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000013459 approach Methods 0.000 claims abstract description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 8
- 238000001514 detection method Methods 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004590 computer program Methods 0.000 description 3
- 230000000750 progressive effect Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/654—Landing
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D45/00—Aircraft indicators or protectors not otherwise provided for
- B64D45/04—Landing aids; Safety measures to prevent collision with earth's surface
- B64D45/08—Landing aids; Safety measures to prevent collision with earth's surface optical
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/042—Control of altitude or depth specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/04—Control of altitude or depth
- G05D1/06—Rate of change of altitude or depth
- G05D1/0607—Rate of change of altitude or depth specially adapted for aircraft
- G05D1/0653—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
- G05D1/0676—Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing specially adapted for landing
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/40—Control within particular dimensions
- G05D1/46—Control of position or course in three dimensions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- B64C2201/141—
-
- B64C2201/187—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2201/00—UAVs characterised by their flight controls
- B64U2201/10—UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U70/00—Launching, take-off or landing arrangements
- B64U70/60—Take-off or landing of UAVs from a runway using their own power
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2101/00—Details of software or hardware architectures used for the control of position
- G05D2101/10—Details of software or hardware architectures used for the control of position using artificial intelligence [AI] techniques
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/20—Aircraft, e.g. drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
도 1은 본 발명의 특정 예에 따른 자율 착륙 시 항공기를 제어하기 위한 시스템의 기능 블록도를 도시한다.
도 2는 본 발명의 특정 예에 따른 자율 착륙 시 항공기를 제어하는 방법의 일반화된 흐름도를 도시한다.
도 3은 본 발명의 특정 예에 따른 이미지 파라미터 편차를 계산하기 위한 방법의 흐름도를 도시한다.
도 4는 본 발명의 특정 예에 따른 항공기에 탑재된 카메라에 의해 촬영된 이미지를 개략적으로 도시한다.
도 5는 본 발명의 특정 예에 따른 착륙 회랑에 대한 항공기 위치의 오프셋을 계산하는 방법의 흐름도를 도시한다.
도 6은 본 발명의 특정 예에 따른 이미지 센서의 시야를 개략적으로 도시한다.
Claims (29)
- 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법에 있어서,
컴퓨터를 이용하여:
활주로에 접근하는 동안 상기 항공기에 탑재된 카메라에 의해 캡쳐된 이미지에 이미지 프로세싱을 적용하여 상기 이미지에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계;
상기 이미지의 중심에 대한 TDP의 이미지 파라미터의 편차를 계산하는 단계 - 상기 이미지 파라미터의 편차를 계산하는 단계는
상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계로서, 상기 수평 y-축 및 상기 수직 z-축은 상기 이미지의 한 점을 통해 교차하는 것인, 상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계;
상기 이미지의 수평 y-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 횡방향 편차를 계산하는 단계; 및
상기 이미지의 세로 z-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 종방향 편차를 계산하는 단계를 포함 - ;
미리 정해진 비율에 기초하여 이미지 파라미터의 편차를 각도 및 거리 편차 값으로 변환하는 단계;
상기 식별된 TDP에서 끝나는 착륙 회랑의 파라미터, 카메라 파라미터 및 하나 이상의 항공기 파라미터를 획득하는 단계 - 상기 하나 이상의 항공기 파라미터는 항공기의 고도, 항공기의 자세, 및 항공기의 속도 중 적어도 하나를 포함하고, 상기 착륙 회랑은 복수의 활주 다리를 포함- ;
계산된 각도 및 거리 편차, 상기 착륙 회랑의 파라미터, 상기 카메라 파라미터 및 상기 하나 이상의 항공기 파라미터에 기초하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계; 및
상기 항공기를 제어하기 위한 명령을 제공하도록 구성된 항공기 제어 시스템으로 계산된 오프셋을 전송하는 단계를
수행하는 단계를 포함하고,
상기 오프셋은 착륙을 가능하게 하기 위해 상기 착륙 회랑을 향해 상기 항공기를 안내하도록 상기 항공기를 제어하기 위해 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법. - 제 1 항에 있어서, 상기 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계는:
상기 착륙 회랑에 대한 상기 항공기의 횡방향 오프셋을 계산하는 단계; 및
상기 착륙 회랑에 대한 상기 항공기의 종방향 오프셋을 계산하는 단계를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법. - 제 1 항 또는 제 2 항에 있어서, 상기 착륙 회랑을 향해 상기 항공기를 안내하도록 상기 항공기를 제어하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 하나 이상의 카메라 파라미터는 상기 항공기의 축에 대한 항공기에 탑재된 카메라의 포지셔닝의 하나 이상의 카메라 파라미터를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 항공기가 안전하게 착륙할 때까지 프로세스를 반복하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
- 제 1 항 또는 제 2 항에 있어서, TDP가 식별될 때까지 이미지를 지속적으로 획득하는 단계를 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 이미지에서 활주로의 TDP를 식별하는 단계는:
상기 이미지 내에서 활주로의 위치를 찾는 단계;
활주로의 시작과 끝을 식별하는 단계; 및
활주로의 시작과 끝을 기준으로 TDP의 위치를 식별하는 단계를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법. - 제 1 항 또는 제 2 항에 있어서, 상기 항공기는 무인 항공기(UAV)인 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
- 제 1 항 또는 제 2 항에 있어서, 상기 카메라의 시야(FOV)는 상기 항공기의 노즈 전방 영역의 이미지를 캡쳐할 수 있게 하는 방향을 가리키는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법.
- 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템으로서,
카메라; 및
상기 카메라에 동작 가능하게 연결된 프로세서를 포함하고,
상기 프로세서는:
상기 카메라로부터 캡쳐된 이미지를 획득하는 단계;
상기 이미지 내에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계;
상기 이미지의 중심에 대하여 상기 TDP의 이미지 파라미터의 편차를 계산하는 단계 - 상기 이미지 파라미터의 편차를 계산하는 단계는
상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계로서, 상기 수평 y-축 및 상기 수직 z-축은 상기 이미지의 한 점을 통해 교차하는 것인, 상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계;
상기 이미지의 수평 y-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 횡방향 편차를 계산하는 단계; 및
상기 이미지의 세로 z-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 종방향 편차를 계산하는 단계를 포함 -;
미리 정해진 비율을 기초로 이미지 파라미터의 편차를 각도 및 거리 편차로 변환하는 단계;
상기 식별된 TDP에서 끝나는 착륙 회랑의 파라미터, 카메라 파라미터 및 하나 이상의 항공기 파라미터를 획득하는 단계 - 상기 하나 이상의 항공기 파라미터는 항공기의 고도, 항공기의 자세, 및 항공기의 속도 중 적어도 하나를 포함하고, 상기 착륙 회랑은 복수의 활주 다리를 포함 - ;
계산된 각도 및 거리 편차, 상기 착륙 회랑의 파라미터, 상기 카메라 파라미터 및 상기 하나 이상의 항공기 파라미터에 기초로 하여 식별된 TDP에서 끝나는 상기 착륙 회랑에 대한 상기 항공기의 위치의 오프셋을 계산하는 단계; 및
계산된 오프셋을 상기 항공기를 제어하기 위한 명령을 제공하도록 구성된 항공기 제어 시스템으로 전송하는 단계를 수행하도록 구성되며;
상기 오프셋은 착륙 시 상기 항공기를 제어하기 위해 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템. - 제 10 항에 있어서, 상기 프로세서는 또한:
상기 착륙 회랑에 대한 상기 항공기의 횡방향 오프셋을 계산하는 단계; 및
상기 착륙 회랑에 대한 상기 항공기의 종방향 오프셋을 계산하는 단계를 수행하도록 구성되어 있는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템. - 제 10 항 또는 제 11 항에 있어서, 상기 항공기 제어 시스템으로부터의 하나 이상의 커맨드에 기초하여 상기 착륙 회랑을 향해 상기 항공기를 안내하도록 상기 항공기를 제어하는 비행 제어 시스템을 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 10 항 또는 제 11 항에 있어서, 항공기 파라미터를 감지하기 위한 하나 이상의 항공기 파라미터 센서를 더 포함하고, 상기 항공기 파라미터는 또한 상기 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는데 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 10 항 또는 제 11 항에 있어서, 상기 프로세서는 또한:
상기 항공기가 안전하게 착륙할 때까지 반복적으로 프로세스를 반복하도록 구성된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템. - 제 10 항 또는 제 11 항에 있어서, 상기 시스템은 또한:
TDP가 식별될 때까지 이미지를 지속적으로 캡쳐하도록 구성된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템. - 제 10 항 또는 제 11 항에 있어서, 상기 프로세서는 또한:
상기 이미지 내에서 활주로의 위치를 찾는 단계;
활주로의 시작과 끝을 식별하는 단계; 및
활주로의 시작과 끝을 기준으로 TDP의 위치를 식별하는 단계를 수행하도록 구성된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템. - 제 10 항 또는 제 11 항에 있어서, 상기 카메라는 파노라마 카메라; 중파장 적외선 카메라; 단파장 적외선 카메라; 광 검출 및 거리 측정 카메라; 및 합성 개구 레이더 카메라로 이루어진 그룹에서 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 10 항 또는 제 11 항에 있어서, 상기 하나 이상의 항공기 파라미터 센서는 고도 센서; 각도 센서; 및 속도 센서로 이루어진 그룹으로부터 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 18 항에 있어서, 상기 고도 센서는 고도계; 레이더 고도계; 및 기압계로 이루어진 그룹으로부터 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 18 항에 있어서, 상기 각도 센서는 관성 항법 시스템; 자이로스코프; 나침반; 및 자력계로 이루어진 그룹으로부터 선택된 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 10 항 또는 제 11 항에 있어서, 상기 항공기는 무인 항공기(UAV)인 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 10 항 또는 제 11 항에 있어서, 상기 카메라의 시야(FOV)는 상기 항공기의 노즈 전방 영역의 이미지를 캡쳐할 수 있게 하는 방향을 가리키는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 제 10 항 또는 제 11 항에 있어서, 엔진; 비행 제어 표면 및 랜딩 기어로 이루어진 그룹 중 하나 이상에 동작 가능하게 연결된 비행 제어 시스템을 더 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템.
- 자율 착륙 시 항공기를 제어하기 위한 방법을 수행하기 위한, 기계에 의해 실행 가능한 명령어들의 프로그램을 실재적으로 내장한, 기계 판독 가능한 비일시적 프로그램 저장 장치로서, 상기 방법은:
활주로에 접근하는 동안 상기 항공기에 탑재된 카메라에 의해 캡쳐된 이미지를 획득하는 단계;
상기 이미지 내에서 활주로의 터치다운 포인트(TDP)를 식별하는 단계;
식별된 TDP에 대한 상기 이미지의 중심으로부터의 이미지 파라미터의 편차를 계산하는 단계 - 상기 이미지 파라미터의 편차를 계산하는 단계는
상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단계로서, 상기 수평 y-축 및 상기 수직 z-축은 상기 이미지의 한 점을 통해 교차하는 것인, 상기 이미지에서 수평 y-축 및 수직 z-축을 정의하는 단 계;
상기 이미지의 수평 y-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 횡방향 편차를 계산하는 단계; 및
상기 이미지의 세로 z-축으로부터 상기 이미지 내의 식별된 TDP까지의 픽셀의 종방향 편차를 계산하는 단계를 포함 - ;
미리 정해진 비율에 기초하여 이미지 파라미터의 편차를 각도 및 거리 편차로 변환하는 단계;
상기 식별된 TDP에서 끝나는 착륙 회랑의 파라미터, 카메라 파라미터 및 하나 이상의 항공기 파라미터를 획득하는 단계 - 상기 하나 이상의 항공기 파라미터는 항공기의 고도, 항공기의 자세, 및 항공기의 속도 중 적어도 하나를 포함하고, 상기 착륙 회랑은 복수의 활주 다리를 포함 - ;
계산된 각도 및 거리 편차, 상기 착륙 회랑의 파라미터, 상기 카메라 파라미터 및 상기 하나 이상의 항공기 파라미터에 기초하여 식별된 TDP에서 끝나는 착륙 회랑에 대한 상기 항공기 위치의 오프셋을 계산하는 단계; 및
항공기를 제어하기 위한 명령을 제공하도록 구성된 항공기 제어 시스템으로 계산된 오프셋을 전송하는 단계를
수행하는 단계를 포함하고,
상기 오프셋은 착륙 시 상기 항공기를 제어하기 위해 사용되는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 방법을 수행하기 위한, 기계에 의해 실행 가능한 명령어들의 프로그램을 실재적으로 내장한, 기계 판독 가능한 비일시적 프로그램 저장 장치. - 제 1 항에 있어서,
상기 착륙 회랑은 상이한 거리 및 상이한 각도로 연장되는 복수의 활주 다리를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하는 컴퓨터 구현 방법. - 제 10 항에 있어서,
상기 착륙 회랑은 상이한 거리 및 상이한 각도로 연장되는 복수의 활주 다리를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 항공기 상에 장착 가능한 시스템. - 제 24 항에 있어서,
상기 착륙 회랑은 상이한 거리 및 상이한 각도로 연장되는 복수의 활주 다리를 포함하는 것을 특징으로 하는 자율 착륙 시 항공기를 제어하기 위한 방법을 수행하기 위한, 기계에 의해 실행 가능한 명령어들의 프로그램을 실재적으로 내장한, 기계 판독 가능한 비일시적 프로그램 저장 장치. - 삭제
- 삭제
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IL249870A IL249870B (en) | 2016-12-29 | 2016-12-29 | Autonomous landing with the help of an image |
IL249870 | 2016-12-29 | ||
PCT/IL2017/051357 WO2018122836A1 (en) | 2016-12-29 | 2017-12-18 | Image sensor based autonomous landing |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190101961A KR20190101961A (ko) | 2019-09-02 |
KR102483714B1 true KR102483714B1 (ko) | 2023-01-02 |
Family
ID=62454692
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020197014660A Active KR102483714B1 (ko) | 2016-12-29 | 2017-12-18 | 이미지 센서 기반 자율 착륙 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11126201B2 (ko) |
EP (1) | EP3563293A4 (ko) |
KR (1) | KR102483714B1 (ko) |
IL (1) | IL249870B (ko) |
WO (1) | WO2018122836A1 (ko) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109562844B (zh) * | 2016-08-06 | 2022-03-01 | 深圳市大疆创新科技有限公司 | 自动着陆表面地形评估以及相关的系统和方法 |
IL249870B (en) * | 2016-12-29 | 2022-02-01 | Israel Aerospace Ind Ltd | Autonomous landing with the help of an image |
JP7022559B2 (ja) * | 2017-10-17 | 2022-02-18 | 株式会社トプコン | 無人航空機の制御方法および無人航空機の制御用プログラム |
DE102018120198A1 (de) * | 2018-08-20 | 2020-02-20 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Luftfahrzeug |
CN110569838B (zh) * | 2019-04-25 | 2022-05-24 | 内蒙古工业大学 | 一种基于视觉定位的四旋翼无人机自主降落方法 |
FR3103178B1 (fr) * | 2019-11-20 | 2022-12-30 | Thales Sa | Procede d'aide a l'atterrissage d'un aeronef sur une piste d'atterrissage |
CN110908403A (zh) * | 2019-12-09 | 2020-03-24 | 国家电网有限公司 | 一种用于电力巡线无人机的自动定点降落装置及方法 |
KR102280753B1 (ko) * | 2020-02-28 | 2021-07-21 | 세종대학교산학협력단 | 무인 비행체의 마커 기반 착륙 기법 |
CN111413708A (zh) * | 2020-04-10 | 2020-07-14 | 湖南云顶智能科技有限公司 | 基于激光雷达的无人机自主识别着陆选址方法 |
JP2022074981A (ja) * | 2020-11-06 | 2022-05-18 | 株式会社豊田自動織機 | 自律移動体 |
CN112882498B (zh) * | 2021-01-12 | 2024-04-16 | 湖南宇正智能科技有限公司 | 具有抑制图像旋转功能的三轴光电搜索跟踪装置及方法 |
US11479365B2 (en) * | 2021-01-22 | 2022-10-25 | Honeywell International Inc. | Computer vision systems and methods for aiding landing decision |
US11753181B2 (en) * | 2021-03-30 | 2023-09-12 | Honeywell International Inc. | System and method for visual aided landing |
CN113608542B (zh) * | 2021-08-12 | 2024-04-12 | 山东信通电子股份有限公司 | 一种无人机自动降落的控制方法以及设备 |
KR20230140336A (ko) | 2022-03-29 | 2023-10-06 | 현대자동차주식회사 | 비행체 제어 장치 및 방법 |
US20240300666A1 (en) * | 2023-03-07 | 2024-09-12 | Xwing Inc. | Sidestripe identification, estimation and characterization for arbitrary runways |
CN118012120B (zh) * | 2024-02-27 | 2024-09-20 | 山东电友电力科技有限公司 | 一种无人机自主降落控制方法及系统 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160026189A1 (en) * | 2014-07-25 | 2016-01-28 | Airbus Operations (S.A.S.) | Method and system for automatic autonomous landing of an aircraft |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB1523887A (en) * | 1974-10-22 | 1978-09-06 | Basov N G | Aircraft take-off and landing system and method for using same |
US5716032A (en) | 1996-04-22 | 1998-02-10 | United States Of America As Represented By The Secretary Of The Army | Unmanned aerial vehicle automatic landing system |
FR2835314B1 (fr) | 2002-01-25 | 2004-04-30 | Airbus France | Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant |
US8812181B2 (en) | 2005-06-29 | 2014-08-19 | Honeywell International Inc. | Methods and systems to accurately display lateral deviation symbology in offset approaches to runways |
CN101109640A (zh) | 2006-07-19 | 2008-01-23 | 北京航空航天大学 | 基于视觉的无人驾驶飞机自主着陆导航系统 |
US20090306840A1 (en) | 2008-04-08 | 2009-12-10 | Blenkhorn Kevin P | Vision-based automated landing system for unmanned aerial vehicles |
KR101008259B1 (ko) | 2008-09-03 | 2011-01-13 | 한국항공우주연구원 | 영상신호를 이용한 항공기의 자동착륙 시스템 및 그 제어방법 |
CN101504287B (zh) | 2009-01-22 | 2011-01-05 | 浙江大学 | 基于视觉信息的无人飞行器自主着陆的姿态参数估算方法 |
CN104006790A (zh) * | 2013-02-21 | 2014-08-27 | 成都海存艾匹科技有限公司 | 基于视觉的飞机降落辅助装置 |
AU2014253606A1 (en) | 2013-04-16 | 2015-11-05 | Bae Systems Australia Limited | Landing system for an aircraft |
FR3009117B1 (fr) | 2013-07-24 | 2016-11-25 | Airbus Operations Sas | Procede et systeme d'atterrissage automatique autonome |
GR20130100620A (el) * | 2013-10-25 | 2015-05-18 | Ιωαννης Γεωργιου Μικρος | Συστημα και μεθοδος ηλεκτρονικης καθοδηγησης κηφηνων για απογειωση-προσγειωση και για απονηωση-προσνηωση |
WO2015180180A1 (en) * | 2014-05-30 | 2015-12-03 | SZ DJI Technology Co., Ltd. | Systems and methods for uav docking |
CN113581464A (zh) * | 2015-09-11 | 2021-11-02 | 深圳市大疆灵眸科技有限公司 | 用于无人飞行器的载体 |
US10921610B2 (en) * | 2015-10-23 | 2021-02-16 | SZ DJI Technology Co., Ltd. | Imaging system |
IL242790B (en) * | 2015-11-26 | 2018-11-29 | Israel Aerospace Ind Ltd | Aerial photography system |
FR3050291B1 (fr) * | 2016-04-15 | 2020-02-28 | Thales | Procede d'affichage de donnees pour la gestion du vol d'un aeronef, produit programme d'ordinateur et systeme associes |
US10684756B2 (en) * | 2016-04-27 | 2020-06-16 | Rockwell Collins, Inc. | Avionics picture-in-picture display |
US10170011B2 (en) * | 2016-07-26 | 2019-01-01 | International Business Machines Corporation | Guide drones for airplanes on the ground |
EP3855270A1 (en) * | 2016-11-14 | 2021-07-28 | SZ DJI Technology Co., Ltd. | Flight path determination |
IL249870B (en) * | 2016-12-29 | 2022-02-01 | Israel Aerospace Ind Ltd | Autonomous landing with the help of an image |
GB2575029B (en) * | 2018-06-22 | 2022-12-28 | Ge Aviat Systems Ltd | Landing on emergency or unprepared landing strip in low visibility condition |
IL267356B2 (en) * | 2019-06-12 | 2024-05-01 | Israel Aerospace Ind Ltd | Autonomous three-dimensional navigation of aircraft under constraints |
US11315433B2 (en) * | 2019-06-25 | 2022-04-26 | Honeywell International Inc. | Systems and methods for providing a terrain and runway alerting service over a secured data link |
-
2016
- 2016-12-29 IL IL249870A patent/IL249870B/en unknown
-
2017
- 2017-12-18 US US16/334,418 patent/US11126201B2/en active Active
- 2017-12-18 KR KR1020197014660A patent/KR102483714B1/ko active Active
- 2017-12-18 WO PCT/IL2017/051357 patent/WO2018122836A1/en not_active Application Discontinuation
- 2017-12-18 EP EP17885518.5A patent/EP3563293A4/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20160026189A1 (en) * | 2014-07-25 | 2016-01-28 | Airbus Operations (S.A.S.) | Method and system for automatic autonomous landing of an aircraft |
Also Published As
Publication number | Publication date |
---|---|
US20190235523A1 (en) | 2019-08-01 |
WO2018122836A1 (en) | 2018-07-05 |
EP3563293A4 (en) | 2020-08-19 |
EP3563293A1 (en) | 2019-11-06 |
US11126201B2 (en) | 2021-09-21 |
IL249870A0 (en) | 2017-06-29 |
IL249870B (en) | 2022-02-01 |
KR20190101961A (ko) | 2019-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102483714B1 (ko) | 이미지 센서 기반 자율 착륙 | |
US8996207B2 (en) | Systems and methods for autonomous landing using a three dimensional evidence grid | |
EP2118713B1 (en) | Precision approach control | |
US9939819B2 (en) | System and methods for automatically landing aircraft | |
Kong et al. | Autonomous landing of an UAV with a ground-based actuated infrared stereo vision system | |
Strydom et al. | Visual odometry: autonomous uav navigation using optic flow and stereo | |
Laiacker et al. | Vision aided automatic landing system for fixed wing UAV | |
US20160093225A1 (en) | Landing system for an aircraft | |
KR20150019771A (ko) | 무인 항공기의 착륙 방법 및 시스템 | |
US20150192928A1 (en) | Method for the acquisition and processing of geographical information of a path | |
RU2703412C2 (ru) | Способ обеспечения автоматической посадки летательного аппарата | |
EP2933603B1 (en) | Navigation based on at least one sensor and a 3d map | |
Hecker et al. | Optical aircraft positioning for monitoring of the integrated navigation system during landing approach | |
Jantawong et al. | Automatic landing control based on GPS for fixed-wing aircraft | |
CN116430901A (zh) | 一种基于移动停机坪的无人机返航控制方法及系统 | |
Morais et al. | Trajectory and Guidance Mode for autonomously landing an UAV on a naval platform using a vision approach | |
Barber et al. | Vision-based landing of fixed-wing miniature air vehicles | |
Andert et al. | Improving monocular SLAM with altimeter hints for fixed-wing aircraft navigation and emergency landing | |
Trittler et al. | Autopilot for landing small fixed-wing unmanned aerial vehicles with optical sensors | |
Al-Kaff | Vision-based navigation system for unmanned aerial vehicles | |
Zahran et al. | Augmented radar odometry by nested optimal filter aided navigation for UAVS in GNSS denied environment | |
Conte | Vision-based localization and guidance for unmanned aerial vehicles | |
Carnes | A low cost implementation of autonomous takeoff and landing for a fixed wing UAV | |
Pieniazek | Investigation of image based measurement for aircraft approach | |
RU2578202C1 (ru) | Способ навигации, посадки и взлета вертолета |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PA0105 | International application |
Patent event date: 20190522 Patent event code: PA01051R01D Comment text: International Patent Application |
|
PG1501 | Laying open of application | ||
A201 | Request for examination | ||
PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20201215 Comment text: Request for Examination of Application |
|
E902 | Notification of reason for refusal | ||
PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220408 Patent event code: PE09021S01D |
|
E701 | Decision to grant or registration of patent right | ||
PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20221124 |
|
GRNT | Written decision to grant | ||
PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20221228 Patent event code: PR07011E01D |
|
PR1002 | Payment of registration fee |
Payment date: 20221229 End annual number: 3 Start annual number: 1 |
|
PG1601 | Publication of registration |