EP1505556B1

EP1505556B1 - Method and apparatus for flight obstacle recognition

Info

Publication number: EP1505556B1
Application number: EP04018510A
Authority: EP
Inventors: Holger Dr. Voos; Rene Dr. Koch; Claus Dr. Dähne; Martin Dr. Arndt; Michael Dr. Gross
Original assignee: Diehl BGT Defence GmbH and Co KG
Current assignee: Diehl Defence GmbH and Co KG
Priority date: 2003-08-07
Filing date: 2004-08-05
Publication date: 2005-10-05
Anticipated expiration: 2024-08-05
Also published as: US7061401B2; US20050109872A1; EP1505556A1; DE502004000085D1; ATE306112T1

Abstract

The method involves recording at least two images of at least part of the surroundings of the flying machine, detecting the obstruction from the images, providing the obstruction with an identifier and outputting an associated signal in a base station. The detection and identifier allocation are conducted on board the flying machine and the identifier is transmitted to the base station. An independent claim is also included for a device for detecting a flight obstruction.

Description

Die Erfindung geht aus von einem Verfahren zur Erkennung eines Flughindernisses in einer Umgebung eines Fluggeräts, insbesondere eines unbemannten Fluggeräts, bei dem mindestens zwei Bilder jeweils zumindest eines Teils der Umgebung aufgenommen werden, aus den Bildern das Flughindernis erkannt und mit einer Kennung versehen wird und ein der Kennung zugeordnetes Signal in einer Bodenstation ausgegeben wird.The invention is based on a method for detecting a flying obstacle in an environment of an aircraft, in particular an unmanned aerial vehicle, at least two images each of at least a portion of the environment be recorded from the images the obstacle detected and with a Identification is provided and one of the identifier associated signal in a ground station is issued.

Die Erfindung geht außerdem aus von einer Vorrichtung zur Erkennung eines Flughindernisses in einer Umgebung eines Fluggeräts, insbesondere eines unbemannten Fluggeräts, mit mindestens einer Kameraeinheit zur Aufnahme zumindest eines Teils der Umgebung und einer Auswertevorrichtung zur Erkennung des Flughindernisses und einer Zuordnung einer Kennung zum Flughindernis.The invention is also based on a device for detecting a Flight obstacle in an environment of an aircraft, in particular an unmanned aerial vehicle Aircraft, with at least one camera unit for recording at least a part of the environment and an evaluation device for detecting the Flight obstacle and an assignment of an identifier to the obstacle.

Aus der EP 1 296 213 A1 ist ein Verfahren zur Darstellung eines Flugobjekts bekannt, bei dem eine Umgebung eines unbemannten Fluggeräts mit einer Anzahl von Kameras aufgenommen wird und die Bilder zu einer Bodenstation gesendet und für einen Bodenpiloten auf einer Anzeige dargestellt werden. Der Bodenpilot kann das Fluggerät anhand der dargestellten Bilder steuern, wobei er auf Flugobjekte in der Nähe des Fluggeräts durch Hilfsmittel, wie beispielsweise blinkende Symbole im dargestellten Bild, hingewiesen wird. Das ständige aktive Beobachten von elektronisch erzeugten Bildern, in denen nur gelegentlich ein Flugobjekt erkennbar wird, ist jedoch für einen Bodenpiloten sehr ermüdend, wodurch er seiner Verantwortlichkeit für die Sicherheit des Fluggeräts bezüglich einer Kollisionswamung nur mit erheblicher Konzentration über eine lange Zeitdauer Rechnung tragen kann.From EP 1 296 213 A1 a method for displaying a flying object is known, in which an environment of an unmanned aerial vehicle with a number is captured by cameras and the images are sent to a ground station and be displayed on a display for a ground pilot. The ground pilot can control the aircraft based on the images shown, looking for flying objects near the aircraft by aids, such as flashing Symbols in the picture shown, is pointed. The constant active observation from electronically generated images in which only occasionally a flying object is recognizable, but is very tiring for a ground pilot, which he his responsibility for the safety of the aircraft with regard to a collision warning only with considerable concentration over a long period of time bill can carry.

Der Erfindung liegt daher die Aufgabe zugrunde, ein insbesondere bezüglich der Handhabbarkeit verbessertes Verfahren zur Darstellung eines Flughindernisses anzugeben. Der Erfindung liegt außerdem die Aufgabe zugrunde, eine Vorrichtung anzugeben, mit der ein solches Verfahren in einfacher Weise eingeleitet werden kann.The invention is therefore based on the object, in particular with respect to the Handleability improved method for representing a flying obstacle specify. The invention is also based on the object, a device indicate that such a procedure can be initiated in a simple manner can.

Die erstgenannte Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei dem erfindungsgemäß die Erkennung und die Vergabe der Kennung an Bord des Fluggeräts vorgenommen werden und die Kennung an die Bodenstation gesendet wird.The former object is achieved by a method of the type mentioned solved, according to the invention to the detection and the assignment of the identifier Board of the aircraft are made and the identifier to the ground station is sent.

Durch die Übersendung der Kennung und gegebenenfalls weiterer Detailinformationen an die Bodenstation wird die dem Bodenpiloten zur Verfügung gestellte Information auf ein notwendiges und sinnvolles Minimum reduziert. Der Bodenpilot steht somit nicht mehr vor der Aufgabe, einen Luftraum um das Fluggerät anhand von Bildern aktiv beobachten zu müssen. Hiermit kann die Effizienz der Arbeit des Bodenpiloten gesteigert und somit die Sicherheit erhöht werden. Durch den Verzicht auf die Übersendung von bewegten Bildern aus der gesamten Umgebung des Fluggeräts wird außerdem die vom Fluggerät an die Bodenstation übermittelte Datenmenge gering gehalten. Die Datenfernübertragung kann somit mit geringer Kapazität und kostengünstig erfolgen.By sending the ID and possibly further detailed information to the ground station will be provided to the ground pilot Information reduced to a necessary and reasonable minimum. The ground pilot is therefore no longer the task, an airspace around the aircraft to actively observe images. This can increase the efficiency of Work of the ground pilot increased and thus increased safety. By the renunciation of the transmission of moving images from the entire environment the aircraft is also transmitted by the aircraft to the ground station Data volume kept low. The remote data transmission can thus with low capacity and cost-effective.

Als Flughindernisse können Flugobjekte wie Flugzeuge, Helikopter, Ballone oder dergleichen und bodengebundene Gegenstände wie Türme, Gebäude, Brücken, Masten, Kabel usw. erkannt werden. Es ist ausreichend, wenn die Flughindernisse als solche erkannt werden. Die Flughindernisse sollen erkannt werden, wenn sie sich in der Umgebung des Fluggeräts befinden, mithin in einer Entfernung bis maximal 3 km, vorteilhafterweise bis zu 5 km und insbesondere bis zu 8 km, beispielsweise je nach Sichtbedingungen und/oder Größe und Sichtbarkeit des Flughindemisses. Hierzu werden Bilder der Umgebung des Fluggeräts aufgenommen, innerhalb der Flughindernisse vorrangig erwartet werden, beispielsweise in einem Raumwinkelbereich von mindestens 110° in horizontaler Richtung beidseitig einer Längsachse des Fluggeräts und mindestens 30° in vertikaler Richtung beidseitig der Längsachse. Die Bilder werden vorzugsweise von einer passiven Weitwinkelsensorik mit einer hohen Auflösung aufgenommen. Die Sensorik ist so konzipiert, dass in der Umgebung befindliche Flughindernisse in ausreichendem Umfang und in ausreichender Entfernung und mit einer möglichst geringen Falschalarmrate erkannt werden können, um ausreichend Zeit für ein Ausweichmanöver zur Verfügung stellen zu können. Die Auflösung dieser Bilder beträgt zweckmäßigerweise mindestens 2 mrad, insbesondere mindestens 0,3 mrad, was der maximalen fovealen Auflösung des menschlichen Auges entspricht.Airborne obstacles can be flying objects such as airplanes, helicopters, balloons or similar and ground-based objects such as towers, buildings, bridges, Masts, cables, etc. are detected. It is sufficient if the flight obstacles be recognized as such. The flight obstacles should be recognized, if they are in the vicinity of the aircraft, thus at a distance to maximum 3 km, advantageously up to 5 km and in particular up to 8 km, for example depending on visibility conditions and / or size and visibility of the hoverfly. For this, images of the surroundings of the aircraft are taken, are expected to be prioritized within the flight obstacles, for example in one Solid angle range of at least 110 ° in the horizontal direction on both sides Longitudinal axis of the aircraft and at least 30 ° in the vertical direction on both sides the longitudinal axis. The images are preferably from a passive wide-angle sensor recorded with a high resolution. The sensors are designed that there are sufficient environmental obstacles in the area and at a sufficient distance and with the lowest possible false alarm rate can be detected to allow sufficient time for an evasive maneuver to make available. The resolution of these pictures is expediently at least 2 mrad, in particular at least 0.3 mrad, which is the maximum corresponds to the foveal resolution of the human eye.

Die Bilder, aus denen eine Auswertevorrichtung das Flughindernis erkennt, können durch eine kontinuierliche Aufzeichnung von Bildinformationen entstanden sein. Es ist auch möglich, Bilder in einer beliebigen oder vorgegebenen zeitlichen Taktung aufzunehmen. Dabei können die Bildrate, das Sehfeld und die Auflösung so ausgelegt sein, dass entweder mit einer oder wenigen starr angeordneten Kameras hoher Pixelzahl oder mit einer oder mehreren Kameras mit kleinerer aber ausreichender Pixelzahl und einem zusätzlichen Scannersystem die gewünschte Umgebung abgedeckt wird.The images, from which an evaluation device detects the obstacle, can created by a continuous recording of image information be. It is also possible to take pictures in any or given temporal Record timing. At the same time, the frame rate, the field of view and the resolution be designed so that either with one or a few rigidly mounted cameras high pixel count or with one or more cameras with smaller but sufficient Pixel count and an additional scanner system the desired environment is covered.

Zur Erkennung des Flughindernisses können zwei oder mehr zeitlich hintereinander aufgenommene Bilder mit Hilfe einer Bildverarbeitungseinheit an Bord des Fluggeräts verarbeitet, beispielsweise miteinander verglichen, werden. Eine Bildverarbeitung an sich, die eine solche Erkennung eines Objekts aus Bildern erlaubt, ist beispielsweise bekannt aus Görz, Rollinger, Schneeberger:"Handbuch der Künstlichen Intelligenz", Oldenbourg Verlag, 2000, Kapitel 21.4. Es können zur Erkennung auch zwei oder mehr Bilder, die in einem unterschiedlichen Spektralbereich aufgenommen wurden, beispielsweise im visuellen Bereich und im infraroten Bereich, miteinander verglichen werden. Nach der Erkennung wird dem Flughindernis eine Kennung zugeordnet. Eine solche Kennung kann ein Signal, beispielsweise eine Zeichenkette sein. Die Kennung wird anschließend an eine Sendeeinrichtung weitergegeben, die die Kennung an die Bodenstation sendet. Hierbei ist es nicht notwendig, dass die Sendeeinrichtung die Kennung unmittelbar an diejenige Bodenstation sendet, in der ein der Kennung zugeordnetes Signal ausgegeben wird. Die Kennung kann mittelbar über eine weitere Bodenstation, einen Satelliten, oder über ein als Relaisstation dienendes Flugzeug zur ausgebenden Bodenstation übermittelt werden. Dort wird das zugeordnete Signal so ausgegeben, dass der Bodenpilot es wahrnehmen kann, beispielsweise als visuelles Objekt auf einem Anzeigemittel wie einem Bildschirm oder Projektionsgerät, oder als ein akustisches Signal oder beides zusammen. Das Verfahren ist besonders geeignet als Kollisionswarnverfahren einsetzbar.To detect the obstacle, two or more can be consecutive taken pictures with the help of an image processing unit aboard the Processed aircraft, for example, compared to each other. An image processing in itself, which allows such recognition of an object from images, is known for example from Görz, Rollinger, Schneeberger: "Handbuch der Artificial Intelligence ", Oldenbourg Verlag, 2000, chapter 21.4 Detecting two or more images in a different spectral range recorded, for example in the visual and infrared Area, compared with each other. After detection, the Obstacle assigned an identifier. Such an identifier can be a signal for example, be a string. The ID is then sent to a Transmitter passed, which sends the identifier to the ground station. In this case, it is not necessary for the transmitting device to transmit the identifier directly sends to that ground station in which a signal associated with the identifier is issued. The identifier can indirectly via another ground station, a satellite, or via an aircraft serving as a relay station for issuing Ground station to be transmitted. There, the assigned signal is output, that the ground pilot can perceive it, for example as a visual one Object on a display means such as a screen or projection device, or as an acoustic signal or both together. The procedure is special suitable for use as a collision warning method.

In einer vorteilhaften Ausgestaltung der Erfindung wird eine Klassifizierung eines Gefahrenpotentials des Flughindernisses an Bord des Fluggeräts vorgenommen. Eine solche Klassifizierung kann einer Steuerungsvorrichtung an Bord des Fluggeräts als Entscheidungsgrundlage dienen, ob ein Eingriff in den momentan geflogenen Kurs ohne einen entsprechenden Befehl eines Bodenpiloten durchgeführt werden soll. Zweckmäßigerweise wird die Klassifizierung des Gefahrenpotentials an die Bodenstation gesendet. Ein Bodenpilot kann auf diese Weise schnell erkennen, ob ein zügiges Eingreifen aufgrund einer Gefahrensituation notwendig ist. Das Gefahrenpotential kann sich aus der Sichtliniendrehgeschwindigkeit, der scheinbaren Größe des Flughindernisses, dessen Veränderungsgeschwindigkeit in den aufgenommenen Bildern, dem Elevationswinkel oder Höhenwinkel, der relative Höhe zum Fluggerät oder einer verbleibenden Reaktionszeit bis zu einer errechneten Kollision ergeben. Auch eine unsichere Erkennung kann eine oder mehrere Kategorien in der Klassifizierung bilden, so dass unsicher erkannte Flughindernisse nur dann an die Bodenstation gemeldet werden, wenn sie ein signifikantes Gefahrenpotential für das Fluggerät darstellen. Hierdurch können Fehlalarme gering gehalten werden. Die Klassifizierung kann in die Klassen "hoch", "mittel" und "gering", in eine feinere oder kontinuierliche Einteilung oder, noch differenzierter, nach unterschiedlichen Arten von Gefahren erfolgen. In an advantageous embodiment of the invention, a classification of a Danger potential of the flying obstacle on board the aircraft made. Such a classification may be a control device on board the aircraft serve as a basis for decision whether an intervention in the currently flown Course carried out without a corresponding command of a ground pilot shall be. Conveniently, the classification of the risk potential sent to the ground station. A ground pilot can quickly identify in this way whether a rapid intervention is necessary due to a dangerous situation. The danger potential can be determined from the visual line rotation speed, the apparent size of the obstacle, its rate of change in the recorded images, the elevation angle or elevation angle, the relative Height to the aircraft or a remaining response time up to a calculated Collision result. Even an unsafe detection can be one or more Categories in the classification form, so that uncertain recognized Obstacles are only reported to the ground station if they are a significant Pose danger potential for the aircraft. This can cause false alarms be kept low. The classification can be in the classes "high", "medium" and "low", in a finer or continuous division or, still more differentiated, according to different types of dangers.

Wichtige Informationen zu einem erkannten Flughindernis können gewonnen werden, indem eine Messung mit Bezug auf das Flughindernis mit einem aktiven Messsignal durchgeführt wird. Ein solches Messsignal kann vom Fluggerät ausgesendet werden und ist beispielsweise ein Laserstrahl oder ein Radarsignal. Das Messsignal kann zu einer Entfernungsmessung oder zu einer Messung der Differenzgeschwindigkeit zwischen dem Flughindernis und dem Fluggerät verwendet werden. Solche Messungen können zur Berechnung einer verbleibenden Reaktionszeit bis zu einer möglichen Kollision herangezogen werden. Die gewonnene Information kann an den Bodenpiloten weitergegeben und/oder zur Klassifizierung des Gefahrenpotentials herangezogen werden. Die Durchführung der Messung mit dem aktiven Messsignal kann vom Bodenpiloten gesteuert oder automatisch durchgeführt werden, beispielsweise bei Überschreitung eines vorgegebenen Gefahrenpotentials. Es ist auch möglich, zu jedem erkannten Flughindernis grundsätzlich eine aktive Messung, beispielsweise eine Entfernungsmessung, durchzuführen, wobei diese Art von Messungen zur Nichtberücksichtigung von beispielsweise sich entfernenden Flughindernissen dienen kann, die für einen Bodenpiloten nur von geringem oder keinem Interesse sind. Eine aktive Sensorik hat üblicherweise einen eingeschränkten Sichtbereich, weshalb sie zweckmäßigerweise eigenständig bewegbar und auf ein interessierendes Flughindernis einschwenkbar ist.Important information about a detected obstacle can be obtained by making a measurement with respect to the flight obstacle with an active Measurement signal is performed. Such a measurement signal can be emitted by the aircraft be and is for example a laser beam or a radar signal. The Measurement signal can be used for a distance measurement or for a measurement of the differential speed between the flight obstacle and the aircraft used become. Such measurements may be used to calculate a remaining reaction time be used up to a possible collision. The won Information can be passed on to the ground pilot and / or for classification the danger potential are used. Carrying out the measurement with the active measuring signal can be controlled by the ground pilot or automatically be performed, for example, when exceeding a predetermined Hazard potential. It is also possible for any detected flight obstacle basically an active measurement, for example a distance measurement, perform these types of measurements for disregard of For example, can serve to remove flying obstacles for a ground pilots are of little or no interest. An active sensor has usually a limited field of view, which is why they expediently independently movable and swiveled to an interesting obstacle is.

Als weitere Ausgestaltung der Erfindung wird vorgeschlagen, dass an Bord eine Ausweichtrajektorie ermittelt wird und insbesondere der Ausweichtrajektorie zugeordnete Daten an die Bodenstation übermittelt werden. Durch die Ermittlung der Ausweichtrajektorie an Bord des Fluggeräts entfällt nicht nur die Berechnung einer entsprechenden Ausweichtrajektorie in der Bodenstation, sondern es wird die Grundvoraussetzung für einen Flug des Fluggeräts mit Autopilot ohne einen zwingend notwendigen Funkkontakt zur Bodenstation geschaffen. Hierdurch kann die Sicherheit des Fluggeräts wesentlich erhöht werden, da bei einem Ausfall eines Funkkontakts zwischen einer Bodenstation und dem Fluggerät die Fähigkeit des Fluggeräts erhalten bleibt, selbständig eine Ausweichtrajektorie zu ermitteln und entlang dieser Ausweichtrajektorie zu fliegen. Eine Steuerung des Fluggeräts mit Hilfe eines Autopiloten selbständig um ein Hindernis herum kann dann sinnvoll sein, wenn die Reaktionszeit bis zu einer berechneten Kollision nicht mehr ausreicht, um dem Bodenpiloten die Entscheidungsverantwortung für ein Ausweichmanöver zu übergeben. Bei einer ausreichenden Reaktionszeit werden der Ausweichtrajektorie zugeordnete Daten zweckmäßigerweise an die Bodenstation übermittelt. Einem Bodenpiloten kann die Ausweichtrajektorie als Ausweichvorschlag angezeigt werden.As a further embodiment of the invention it is proposed that on board a Ausweichtrajektorie is determined and in particular the evasion trajectory associated Data is transmitted to the ground station. By the determination the avoidance trajectory on board the aircraft not only eliminates the calculation a corresponding evasion trajectory in the ground station, but it will the basic requirement for a flight of the aircraft with autopilot without one absolutely necessary radio contact to ground station created. This can The safety of the aircraft can be substantially increased, as in case of failure of a Radio contact between a ground station and the aircraft's capability of the aircraft is maintained to independently determine an evasion trajectory and fly along this evasion trajectory. A control of the aircraft With the help of an autopilot independently around an obstacle around then can make sense be when the reaction time to a calculated collision is no longer sufficient to give the ground pilot the decision-making responsibility for an evasive maneuver to hand over. With a sufficient reaction time of the Ausweichtrajektorie expediently to the ground station transmitted. For a ground pilot, the avoidance trajectory can be used as an alternative are displayed.

Vorteilhafterweise wird die Ausweichtrajektorie unter Einbeziehung von an Bord ermittelten Informationen über die Umgebung und/oder die Flugsituation des Fluggeräts ermittelt. Informationen über die Umgebung können weitere erkannte Flughindernisse und insbesondere deren Gefahrenpotential sein oder die das Fluggerät umgebende Landschaft, wie beispielsweise Berge und Täler. Informationen über die Flugsituation können die Geschwindigkeit des Fluggeräts, dessen Lage im Raum, dessen Entfernung von einem Flugziel oder die Stellung von Flugaktuatoren zur Beeinflussung der Flugbahn sein. Auf diese Weise kann verhindert werden, dass das Fluggerät beim Führen entlang der Ausweichtrajektorie in die Gefahr eines Zerschellens, beispielsweise an einem Berg oder an einem weiteren Flughindernis gebracht wird. Informationen über die Umgebung und insbesondere über die Flugsituation des Fluggeräts liegen üblicherweise in einer Bodenstation in nur geringerem Umfang als im Fluggerät vor. Das Berechnen der Ausweichtrajektorie an Bord des Fluggeräts ermöglicht somit die Einbeziehung wesentlich vollständigerer Informationen, als dies üblicherweise bei einer Berechnung in der Bodenstation möglich wäre.Advantageously, the avoidance trajectory is included with on board determined information about the environment and / or the flight situation of Aircraft detected. Information about the environment can be further recognized Obstacles and in particular their potential danger or be the Aircraft surrounding landscape, such as mountains and valleys. information about the flight situation, the speed of the aircraft, whose Location in space, its distance from a destination or the position of Be Flugaktuatoren to influence the trajectory. In this way can be prevented be that flying the aircraft while guiding along the avoidance trajectory in danger of being crushed, for example on a mountain or on a mountain Another obstacle is brought. Information about the environment and in particular about the flight situation of the aircraft are usually in one Ground station to a lesser extent than in the aircraft before. Calculating the Evasion trajectory aboard the aircraft thus allows for inclusion much more complete information than is usually the case in a calculation would be possible in the ground station.

Üblicherweise wird ein Bodenpilot über den Flug auf einer Ausweichtrajektorie entscheiden und ein solches Ausweichmanöver einleiten. Bei einer sehr geringen Reaktionszeit kann es jedoch der Sicherheit des Fluggerät dienlich sein, dass eine Entscheidung, ob das Fluggerät auf einer Ausweichtrajektorie fliegen soll, von einer Steuerungsvorrichtung an Bord des Fluggeräts getroffen wird. Außerdem kann die Handlungsfähigkeit des Fluggeräts bei einer gestörten Kommunikation zwischen dem Fluggerät und der Bodenstation in einer Gefahrensituation erhalten bleiben. Zweckmäßigerweise ist eine solche Automatik vom Bodenpiloten manuell ausschaltbar, damit das Fluggerät nicht unvorhergesehene Ausweichmanöver durchführt, die vom Bodenpiloten explizit nicht gewollt sind.Typically, a ground pilot will fly over on an evasion trajectory decide and initiate such an evasive maneuver. At a very low Reaction time, however, may be beneficial to the safety of the aircraft Decide if the aircraft should fly on an evasion trajectory a control device is taken on board the aircraft. Furthermore can the ability to act of the aircraft in a disturbed communication between the aircraft and the ground station in a dangerous situation stay. Conveniently, such automatic from ground pilots manual disengageable, so that the aircraft does not have unforeseen evasive maneuvers performs, which are explicitly not wanted by the ground pilot.

Dem Bodenpiloten kann als Entscheidungsgrundlage, ob ein Ausweichmanöver eingeleitet werden soll, sinnvolle Zusatzinformation angeboten werden, indem ein das Flughindernis darstellendes Detailbild zur Bodenstation gesendet und dort angezeigt wird. Ein solches Detailbild zeigt nur ein Detail des Gesamtbilds des überwachten Raums. Dem Bodenpiloten wird anhand dieses Detailbilds zusätzlich zur Information in Form eines Symbols ein Realbild, beispielsweise im infraroten oder im visuellen Spektralbereich, gezeigt, anhand dessen er das vom Flughindernis ausgehende Gefahrenpotential besser einschätzen kann. Dieses Detailbild, das das Flughindernis und vorzugsweise einen kleinen Ausschnitt der Umgebung des Flughindernisses darstellt, kann auf Anforderung des Bodenpiloten oder automatisch mit der Kennung zur Bodenstation gesendet werden. Es ist auch möglich, dass das Detailbild ab einem voreingestellten Gefahrenpotential automatisch vom Fluggerät zur Bodenstation übermittelt wird.The ground pilot can as a basis for decision, whether an evasive maneuver should be initiated, meaningful additional information offered by a sent the flying obstacle performing detail image to the ground station and there is shown. Such a detail picture shows only a detail of the overall picture of the monitored room. The ground pilot will also use this detail image for information in the form of a symbol a real image, for example in the infrared or in the visual spectral range, by which it detects the object of the flight outgoing danger potential can better estimate. This detail picture, the the obstacle and preferably a small section of the environment of Flying obstacle represents, at the request of the ground pilot or automatically be sent with the identifier to the ground station. It is also possible, that the detail image automatically starts from a preset hazard potential of Aircraft is transmitted to the ground station.

Das Detailbild kann durch eine im Fluggerät beweglich angeordnete und auf das Flughindernis richtbare Detailkamera aufgenommen werden. In diesem Fall ist das Detailbild zweckmäßigerweise optisch zoombar, wodurch dem Bodenpiloten das einfache Erkennen des Flughindernisses erleichtert wird. In einer weiteren Ausgestaltung der Erfindung ist das Detailbild ein Bildausschnitt eines zur Erkennung des Flughindernisses verwendeten Bilds. Es kann auf eine zusätzliche Aufnahme des Detailbilds verzichtet und das Detailbild sehr schnell aus vorhandenem Datenmaterial ausgesucht und an die Bodenstation übermittelt werden. Es ist auch möglich, dass das Detailbild zuerst aus vorhandenem Bildmaterial ausgesucht und an die Bodenstation gesendet wird, beispielsweise automatisch mit der Kennung, und auf eine spezielle Anforderung des Bodenpiloten hin zusätzlich eine Detailkamera auf das angegebene Flughindernis gerichtet wird. The detail image can be arranged by a movable in the aircraft and on the Airborne detectable detail camera be recorded. In this case is the detail image expediently optically zoomable, causing the ground pilots the easy recognition of the flying obstacle is facilitated. In another Embodiment of the invention, the detail image is a picture detail of a recognition of the obstacle used. It may be on an additional shot the detail image is omitted and the detail image very quickly from existing Data are selected and transmitted to the ground station. It is also possible that the detail image first selected from existing artwork and is sent to the ground station, for example automatically with the identifier, and in addition to a special request of the ground pilot in addition a detail camera directed to the specified obstacle.

Ein weiterer Vorteil kann erzielt werden, indem Bilder, aus denen das Flughindernis erkannt wird, im infraroten Spektralbereich aufgenommen werden. Es können Flughindernisse, die aufgrund von schlechter Sicht oder Dunkelheit für das menschliche Auge nicht zu erkennen wären, erkannt werden. Eine Infrarot-Kameraeinheit kann auf der Basis eines Zeilenscanners oder eines Weitwinkelscanverfahrens konzipiert werden.Another advantage can be achieved by adding images that make up the flight obstacle is detected, are recorded in the infrared spectral range. It can Obstacles due to poor visibility or darkness for the human eye could not be recognized. An infrared camera unit can be based on a line scanner or a wide-angle scanning method be conceived.

Für die Einschätzung des Gefahrenpotentials wichtige Zusatzinformation für den Bodenpiloten kann gewonnen werden, indem das Detailbild in einem Spektralbereich aufgenommen wird, der sich von dem Spektralbereich der zur Erkennung des Flughindernisses verwendeten Bilder unterscheidet. Bei Dunkelheit oder Dämmerung können beispielsweise die zur Erkennung des Flughindernisses verwendeten Bilder im infraroten Spektralbereich aufgenommen sein, wobei das Detailbild zur leichteren Interpretierung im sichtbaren Spektralbereich aufgenommen wird. Umgekehrt ist es auch möglich, dass die zur Erkennung des Flughindernisses verwendeten Bilder im sichtbaren Spektralbereich aufgenommen wurden und der Bodenpilot ein Detailbild im infraroten Spektralbereich anfordert, beispielsweise zur Einschätzung des Gefahrenpotentials des Flughindernisses.For the estimation of the danger potential important additional information for the Ground pilots can be obtained by taking the detail image in a spectral range which is different from the spectral range for detection of the obstacle used distinguishes images. In the dark or Twilight, for example, used to detect the obstacle Be included in the infrared spectral range, the Detail image taken for easier interpretation in the visible spectral range becomes. Conversely, it is also possible that the detection of the flying obstacle taken pictures in the visible spectral range and the ground pilot requests a detail image in the infrared spectral range, for example, to assess the risk potential of the flying obstacle.

Das Detailbild kann ein Einzelbild sein, das das Flughindernis ähnlich wie ein Foto zeigt. Ebenfalls möglich ist ein durch Bildverarbeitung aufbereitetes Bild mit z.B. nur Konturen. Zweckmäßigerweise wird ein Bewegtbild des Flughindernisses zur Bodenstation gesendet, beispielsweise in der Art eines Videos, wodurch dem Bodenpiloten zusätzliche Information über die Bewegung des Flughindernisses geliefert werden kann.The detail image may be a single image that is similar to the flying obstacle Photo shows. Also possible is an image processed by image processing e.g. only contours. Appropriately, a moving image of the flying obstacle sent to the ground station, for example in the manner of a video, whereby the Ground pilots additional information about the movement of the flying obstacle can be delivered.

Die auf die Vorrichtung bezogene Aufgabe wird durch eine Vorrichtung der eingangs genannten Art gelöst, bei der erfindungsgemäß die Auswertevorrichtung elektrisch mit der Kamera und einer Sendeeinrichtung zur Sendung der Kennung an eine Bodenstation verbunden ist. Durch die elektrische Verbindung der Auswertevorrichtung mit der Kamera und der Sendeeinrichtung entfällt die Notwendigkeit der Datenübertragung vollständiger Bilder und damit großer Datenmengen vom Fluggerät zur Bodenstation. Außerdem kann das Fluggerät in einer Gefahrensituation unabhängig von einem Funkkontakt zur Bodenstation geführt werden. Zusätzlich wird die dem Bodenpiloten angebotene Information auf ein wesentliches Minimum beschränkt. Die elektrische Verbindung kann beispielsweise über einen Draht oder mittelbar über eine elektrische Schaltung erreicht werden. Anstelle der elektrischen Verbindung ist ebenso eine mechanische Verbindung zwischen der Auswertevorrichtung und der Kamera und Sendeeinrichtung möglich, beispielsweise indem diese Geräte zur gemeinsamen Anordnung im Fluggerät vorgesehen sind.The object related to the device is achieved by a device of the initially solved type mentioned, in the present invention, the evaluation device electrically with the camera and a transmitting device for sending the identifier connected to a ground station. By the electrical connection of the evaluation device with the camera and the transmitting device eliminates the need the data transmission of complete images and thus large amounts of data from the aircraft to the ground station. In addition, the aircraft may be in a dangerous situation be guided independently of a radio contact to the ground station. In addition, the information offered to the ground pilot is essential Minimum limited. The electrical connection can, for example via a wire or indirectly via an electrical circuit can be achieved. Instead of The electrical connection is also a mechanical connection between the evaluation device and the camera and transmitting device possible, for example, by these devices for common arrangement in the aircraft are provided.

Ein Detailbild kann einem Bodenpiloten schnell und mit wenig Aufwand übermittelt werden, wenn die Vorrichtung eine Detailbildeinheit zur Extraktion eines das Flughindernis abbildenden Detailbilds und zur Weitergabe des Detailbilds zur Sendeeinrichtung aufweist.A detail image can be transmitted to a ground pilot quickly and with little effort be when the device is a detail image unit for the extraction of a the flight obstacle imaging detail image and passing on the detail image to Transmitting device has.

Zweckmäßigerweise umfasst die Vorrichtung eine erste Kameraeinheit zur Aufnahme eines Gesamtbilds in einem ersten Spektralbereich und eine zweite Kameraeinheit zur Aufnahme eines Bilds, insbesondere eines Detailbilds, in einem vom ersten unterschiedlichen Spektralbereich. Das Bild kann ein Gesamtbild oder ein Detailbild sein, wobei die zweite Kameraeinheit zur Aufzeichnung im visuellen oder infraroten Spektralbereich oder zur Aufzeichnung von reflektierten Laser-oder Radarstrahlen vorgesehen ist.The device expediently comprises a first camera unit for recording an overall image in a first spectral range and a second camera unit for capturing an image, in particular a detail image, in one of first different spectral range. The picture can be a full picture or a Detail picture, wherein the second camera unit for recording in the visual or infrared spectral range or for recording reflected laser or Radar beams is provided.

drawing

Weitere Vorteile ergeben sich aus der folgenden Zeichnungsbeschreibung. In der Zeichnung ist ein Ausführungsbeispiel der Erfindung dargestellt. Die Zeichnung, die Beschreibung und die Ansprüche enthalten zahlreiche Merkmale in Kombination. Der Fachmann wird die Merkmale zweckmäßigerweise auch einzeln betrachten und zu sinnvollen weiteren Kombinationen zusammenfassen. Further advantages emerge from the following description of the drawing. In the Drawing is an embodiment of the invention shown. The drawing, the description and claims contain numerous features in combination. The expert will expediently also consider the features individually and summarize to meaningful further combinations.

Es zeigen:

Fig. 1: ein schematisches Blockdiagramm einer Vorrichtung zur Erkennung und zum Führen eines Fluggeräts,
Fig. 2: eine schematische Darstellung einer Umgebung eines Fluggeräts und
Fig. 3: eine Bildschirmdarstellung der Umgebung aus Fig. 2.

Show it:

Fig. 1: a schematic block diagram of an apparatus for detecting and guiding an aircraft,
Fig. 2: a schematic representation of an environment of an aircraft and
Fig. 3: a screen representation of the environment of FIG. 2.

Description of the embodiments

Figur 1 zeigt in einer Blockdarstellung eine Vorrichtung 2 zur Erkennung und zur Führung eines Fluggeräts 4 (Figur 2), die vollständig an Bord des Fluggeräts 4 angeordnet ist. Das Fluggerät 4 ist ein unbemanntes Fluggerät 4, beispielsweise ein Aufklärungsflugzeug oder Transportflugzeug. In einer Bodenstation 6 sind eine Vorrichtung 8 zur graphischen Darstellung und eine Vorrichtung 10 zur Kommunikation mit einem Bodenpiloten zur Zusammenarbeit mit der Vorrichtung 2 angeordnet. Die Vorrichtung 10 zur Kommunikation mit einem Bodenpiloten umfasst ein Anzeigemittel 12 in Form eines Bildschirms, zwei weitere Bildschirme zur Anzeige von Detailbildern 38, einen weiteren Bildschirm 13 zur schriftlichen Anzeigen von Zusatzinformationen und eine Reihe von Steuermitteln 14 zur Eingabe von Steuerbefehlen.FIG. 1 shows a block diagram of a device 2 for detecting and for guiding an aircraft 4 (FIG. 2) completely on board the aircraft 4 is arranged. The aircraft 4 is an unmanned aerial vehicle 4, for example a reconnaissance plane or transport plane. In a ground station 6 are a device 8 for graphical representation and a device 10 for Communication with a ground pilot to work with the device 2 arranged. The device 10 for communication with a ground pilot comprises a display means 12 in the form of a screen, two further screens for displaying detail images 38, another screen 13 for written advertisements of additional information and a number of tax credits 14 for input of control commands.

Durch die gestrichelten Pfeile 16 ist ein Funkkontakt zwischen der Bodenstation 6 und einer Steuerungsvorrichtung 18 der Vorrichtung 2 angedeutet. Zur Kommunikation über Datenfernübertragung mit der Bodenstation 6 umfasst die Steuerungsvorrichtung 18 eine Sendeeinrichtung zur Sendung von Kennungen und eine Empfangseinrichtung. Die Steuerungsvorrichtung 18 ist elektrisch verbunden mit einer Einheit 20 zur Aussendung und zum Empfang von Laserlicht und einer Einheit 22 zur Entfernungsberechnung. Ebenfalls mit der Steuerungsvorrichtung 18 elektrisch verbunden ist eine Kameraeinheit 24 zur Aufnahme eines Gesamtbilds im Spektralbereich des sichtbaren Lichts. Zwischen der Kameraeinheit 24 und der Steuerungsvorrichtung 18 ist eine Auswertevorrichtung 26 angeordnet, die eine Bildverarbeitungseinheit umfasst. Die Auswertevorrichtung 26 ist zur Erkennung eines Flughindernisses 28, 30, 32, 34 (Figur 2) und zur Zuordnung einer Kennung zum Flughindernis 28, 30, 32, 34 vorgesehen. Außerdem umfasst die Vorrichtung 2 eine zweite Kameraeinheit 36, die zur Aufnahme eines Detailbilds 38 vorgesehen ist.By the dashed arrows 16 is a radio contact between the ground station. 6 and a control device 18 of the device 2 indicated. To communication via remote data transmission with the ground station 6 comprises the control device 18 a transmitting device for the transmission of identifiers and a Receiving device. The control device 18 is electrically connected to a unit 20 for emitting and receiving laser light and a unit 22 for distance calculation. Also with the control device 18 electrically connected is a camera unit 24 for recording an overall image in the spectral range of visible light. Between the camera unit 24 and the Control device 18, an evaluation device 26 is arranged, which is a Image processing unit includes. The evaluation device 26 is for detection an obstacle 28, 30, 32, 34 (Figure 2) and to assign an identifier to the obstacle 28, 30, 32, 34 is provided. In addition, the device includes 2, a second camera unit 36, which is provided for receiving a detail image 38 is.

Die Steuerungsvorrichtung 18 ist unter anderem für die Berechnung einer Ausweichtrajektorie 42 (Figur 3) vorgesehen und steht hierzu in einer Datenverbindung mit einer Fluginformationseinheit 44. Die Fluginformationseinheit 44 umfasst Daten über die direkte Umgebung des Fluggeräts 4, wie beispielsweise die landschaftliche Umgebung und Daten über die Flugsituation des Fluggeräts 4, wie beispielsweise die momentane Fluggeschwindigkeit und die Ausrichtung des Fluggeräts 4 im Raum. Ebenfalls mit der Steuerungsvorrichtung 18 elektrisch verbunden ist eine Flugregeleinheit 46, die zur Steuerung einer Flugaktorik 48 mit Motoren und Hydraulikeinrichtungen vorgesehen ist.The control device 18 is, inter alia, for the calculation of an evasion trajectory 42 (Figure 3) and is for this purpose in a data connection with a flight information unit 44. The flight information unit 44 comprises Data about the immediate environment of the aircraft 4, such as the Scenic environment and data about the flight situation of the aircraft 4, such as For example, the current airspeed and the orientation of the Aircraft 4 in the room. Also electrically with the control device 18 connected to a flight control unit 46, which is used to control a Flugaktorik 48 with Engines and hydraulic devices is provided.

Ein Verfahren zur Darstellung von Flughindernissen 28, 30, 32, 34 in der Umgebung des Fluggeräts 4 und zur Führung des Fluggeräts 4 wird anhand der schematischen Darstellung in den Figuren 2 und 3 im Folgenden näher erläutert. Mit der Kameraeinheit 24 zur Aufnahme eines Gesamtbilds wird eine Umgebung 50 des Fluggeräts 4 in einem oder mehreren Bildern aufgenommen. Dieses Gesamtbild ist symmetrisch um die Flugrichtung 52 des Fluggeräts 4 angeordnet und überdeckt einen Raumwinkelbereich von 220° in der Horizontalen und 60° in der Vertikalen. Zur Aufnahme des Gesamtbilds umfasst die Kameraeinheit 24 vier Kameras mit jeweils einem Sensor-Array mit einer Bildauflösung von 1 mrad. Nach der Aufnahme eines ersten Gesamtbilds der Umgebung 50 wird von der Kameraeinheit 24 ein zweites und gegebenenfalls weitere Gesamtbilder der Umgebung 50 aufgenommen. Die Gesamtbilder werden der Auswertevorrichtung 26 übergeben und dort mit Hilfe von Bildverarbeitungsmethoden auf Flughindernisse 28, 30, 32, 34 in der Umgebung 50 untersucht. Hierbei werden zwei Flughindernisse 28, 30 direkt erkannt und zwei weitere Objekte werden als mögliche Kandidaten für weitere Flughindernisse 32, 34 erkannt. Anhand der nachfolgend von der Kameraeinheit 24 aufgenommenen und von der Auswertevorrichtung 26 verarbeiteten Bilder werden die Flughindernisse 28, 30, 32, 34 weiter verarbeitet und Informationen über sie in der Auswertevorrichtung 26 abgelegt. Außerdem werden die Flughindernisse 28, 30, 32, 34 jeweils mit einer Kennung versehen und diese Gesamtinformation wird an die Steuerungsvorrichtung 18 weitergegeben. Die Steuerungsvorrichtung 18 errechnet ein aus den Bildern erschließbares Gefahrenpotential der Flughindernisse 28, 30, 32, 34 für das Fluggerät 4 mit Hilfe der Sichtliniendrehgeschwindigkeit und Entfernung der Flughindernisse 28, 30, 32, 34, einer sich von Bild zu Bild verändernden Form und Größe sowie der relativen Höhe der Flughindernisse 28, 30, 32, 34.A method for visualizing flight obstacles 28, 30, 32, 34 in the environment of the aircraft 4 and for guiding the aircraft 4 is based on the schematic Representation in Figures 2 and 3 explained in more detail below. With The camera unit 24 for capturing an overall image becomes an environment 50 of the aircraft 4 recorded in one or more images. This overall picture is arranged symmetrically about the direction of flight 52 of the aircraft 4 and covers a solid angle range of 220 ° in the horizontal and 60 ° in the Vertical. To capture the overall picture, the camera unit 24 comprises four Cameras, each with a sensor array with an image resolution of 1 mrad. After taking a first overall picture of the environment 50 is of the Camera unit 24 a second and possibly other overall images of the environment 50 recorded. The overall images become the evaluation device 26 passed and there with the help of image processing methods on flying obstacles 28, 30, 32, 34 in the environment 50 examined. Here are two obstacles 28, 30 are recognized directly and two more objects are considered as possible candidates detected for further flight obstacles 32, 34. Based on the following from the Camera unit 24 recorded and processed by the evaluation device 26 Images, the flight obstacles 28, 30, 32, 34 further processed and Information about them stored in the evaluation device 26. In addition, will the flight obstacles 28, 30, 32, 34 each provided with an identifier and This total information is forwarded to the control device 18. The control device 18 calculates a danger potential that can be developed from the images the flight obstacles 28, 30, 32, 34 for the aircraft 4 with the help of Line of sight rotation speed and distance of the flying obstacles 28, 30, 32, 34, a shape and size changing from image to image, as well as the relative Height of flight obstacles 28, 30, 32, 34.

Durch das Zusammenwirken der Steuerungsvorrichtung 18 und der Auswertevorrichtung 26 werden die beiden Flughindernisse 28, 30 als sich auf einer Flugbahn 54 bzw. 56 bewegende Luftfahrzeuge erkannt. Hierbei stellt das Flughindernis 28 keine Gefahr für das Fluggerät 4 dar, weil das Flughindernis 28 wesentlich tiefer fliegt als das Fluggerät 4. Das Gefahrenpotential des Flughindernisses 28 wird daher als gering eingestuft. Das Flughindernis 30 wird allerdings als auf Kollisionskurs mit dem Fluggerät 4 fliegend berechnet. Hierbei kann auch ein voraussichtlicher Kollisionspunkt 60 ermittelt werden. Das Gefahrenpotential des Flughindemisses 30 wird daher als sehr hoch eingestuft. Durch diese hohe Einklassifizierung wird automatisch eine Berechnung der Ausweichtrajektorie 42 angestoßen. Die Berechnung wird durch die Steuerungsvorrichtung 18 unter Einbeziehung von Informationen über die Umgebung 50 und die Flugsituation des Fluggeräts 4, die in der Fluginformationseinheit 44 abgelegt sind, durchgeführt.By the interaction of the control device 18 and the evaluation device 26, the two flying obstacles 28, 30 are considered to be on a trajectory 54 or 56 moving aircraft detected. Here is the obstacle obstacle 28th No danger to the aircraft 4, because the flying obstacle 28 much lower flies as the aircraft 4. The danger potential of the flying obstacle 28 is therefore classified as low. However, the obstacle 30 is considered to be on a collision course calculated with the aircraft 4 flying. This can also be an expected Collision point 60 are determined. The danger potential of the flying matter 30 is therefore classified as very high. Due to this high classification a calculation of the avoidance trajectory 42 is automatically initiated. The calculation is included by the control device 18 of information about the environment 50 and the flight situation of the aircraft 4, which are stored in the flight information unit 44 performed.

Die den Flughindernissen 28, 30 zugeordnete Kennung wird zusammen mit der ermittelten Klassifizierung des Gefahrenpotentials der Flughindernisse 28, 30 der Bodenstation 6 per Funk übermittelt, wo diese Daten mit Hilfe der Vorrichtung 8 zur graphischen Darstellung aufbereitet und auf dem Anzeigemittel 12 dargestellt werden. Eine mögliche Darstellung auf dem Anzeigemittel 12 ist in Figur 3 gezeigt. Das Anzeigemittel 12 umfasst einen Bildschirm 62 auf dem ein Fluggerätsymbol 64 gezeigt ist, mit dem die Position des Fluggeräts 4 dargestellt werden soll. Auf dem Bildschirm 62 ist außerdem das Flughindernis 28 durch ein Objekt 66 dargestellt und die Flugbahn 54 des Flughindernisses 28. In einer anderen und auffälligeren Farbe und/oder Form ist ein Objekt 68 dargestellt, das die Position des Flughindernisses 30 wiedergibt. Die Objekte 66, 68 sind übliche, in TCAS (Traffic Collision Avoiding System) verwendete Symbole. Zusätzlich wird der Bodenpilot durch eine synthetische Stimme auf alle Flughindernisse 30, 34 aufmerksam gemacht, die eine vorgegebene Gefahrenklasse überschreiten. Es ist auch möglich, die vom Fluggerät 4 übermittelte Kennung nur in Form eines akustischen Signals wie einer Stimme oder einer Tonfolge auszugeben.The ID associated with the flight obstacles 28, 30 is used together with the determined classification of the hazard potential of the flight obstacles 28, 30 of the Ground station 6 transmitted by radio, where these data using the device. 8 prepared for graphical representation and displayed on the display means 12 become. A possible representation on the display means 12 is shown in FIG. The display means 12 comprises a screen 62 on which an aircraft icon 64 is shown, with which the position of the aircraft 4 are shown should. On screen 62 is also the obstacle 28 through an object 66 and the trajectory 54 of the flying obstacle 28. In another and more conspicuous color and / or shape is an object 68 that represents the position of the flying obstacle 30. The objects 66, 68 are common, in TCAS (Traffic Collision Avoiding System) used symbols. In addition, the Ground pilot with a synthetic voice on all flight obstacles 30, 34 attentive made that exceed a given hazard class. It is also possible, the transmitted from the aircraft 4 identifier only in the form of an acoustic Output signals such as a voice or a tone sequence.

Aus den Farben und/oder Formen der Objekte 66, 68 und/oder einem akustischen Signal kann ein Bodenpilot unmittelbar das Gefahrenpotential der Flughindernisse 28, 30 erkennen. Als zusätzliche Information dienen ihm die Flugbahnen 54, 56 sowie der mögliche Kollisionspunkt 60. Außerdem sind auf dem Bildschirm 13 (Figur 1) weitere Zusatzinformationen, wie beispielsweise die verbleibende Reaktionszeit bis zum Erreichen des Kollisionspunkts 60 sowie Informationen über die Flugsituation des Fluggeräts sowie gegebenenfalls über die Umgebung des Fluggeräts 4, angezeigt.From the colors and / or shapes of the objects 66, 68 and / or an acoustic Signal, a ground pilot can directly detect the potential danger of flight obstacles 28, 30 recognize. As additional information, the trajectories 54, 56 serve him and the possible collision point 60. In addition, on the screen 13 (Figure 1) further additional information, such as the remaining reaction time until reaching the collision point 60 and information about the Flight situation of the aircraft and possibly on the environment of the aircraft 4, displayed.

Liegt die verbleibende Reaktionszeit oberhalb eines vorbestimmten Zeitwerts, so kann der Bodenpilot ein Ausweichmanöver einleiten, wobei er frei ist, dem Ausweichvorschlag entlang der Ausweichtrajektorie 42 zu folgen oder eine andere Route zu wählen. Liegt die verbleibende Reaktionszeit unter dem voreingestellten Zeitwert, so wird das Fliegen eines Ausweichmanövers automatisch von der Steuerungsvorrichtung 18 eingeleitet. Hierbei wirken die Steuerungsvorrichtung 18, die Fluginformationseinheit 44, die Flugregeleinheit 46 und die Flugaktorik 48 in der Weise zusammen, dass das Fluggerät 4 entlang der Ausweichtrajektorie 42 geführt wird.If the remaining reaction time is above a predetermined time value, then The ground pilot can initiate an evasive maneuver, whereby he is free, the fallback proposal to follow along evasion trajectory 42 or another Route to choose. If the remaining reaction time is below the preset one Time value, then the flying of an evasive maneuver is automatically by the Control device 18 initiated. In this case, the control device act 18, the flight information unit 44, the flight control unit 46 and the flight actuator 48 in such a way that the aircraft 4 along the evasion trajectory 42 to be led.

Die beiden von der Auswertevorrichtung 26 nicht als Luftfahrzeuge identifizierten Flughindernisse 32, 34 werden anhand weiterer Bilder untersucht. Hierbei wird von der Auswertevorrichtung 26 erkannt, dass das Flughindernis 32 eine sehr geringe Fluggeschwindigkeit auf einer Flugbahn 72 hat. Diese Flugbahn 72 kommt nicht in die Nähe der Flugbahn 58 des Fluggeräts 4. Außerdem wird erkannt, dass das Flughindernis 32 weit vom Fluggerät 4 entfernt ist. Das dem Flughindernis 32 zugeordnete Gefahrenpotential wird daher von der Steuerungsvorrichtung 18 als so niedrig klassifiziert, dass die dem Flughindernis 32 zugeordnete Kennung nicht der Bodenstation 6 übermittelt wird. Die Entscheidung, ab welchem Gefahrenpotential Flughindernisse auf dem Anzeigemittel 12 der Bodenstation 6 angezeigt werden, kann von einem Bodenpiloten mit Hilfe der Steuermittel 14 eingestellt werden.The two of the evaluation device 26 not identified as aircraft Flight obstacles 32, 34 are examined on the basis of further pictures. This is detected by the evaluation device 26 that the flying obstacle 32 a very small Airspeed on a trajectory 72 has. This trajectory 72 is coming not near the trajectory 58 of the aircraft 4. In addition, it is recognized that the obstacle 32 is far away from the aircraft 4. The obstacle 32 associated hazard potential is therefore used by the control device 18 as classified so low that the ID assigned to the flight obstacle 32 is not the ground station 6 is transmitted. The decision as to the potential danger Flight obstacles displayed on the display means 12 of the ground station 6 can be set by a ground pilot by means of the control means 14 become.

Das ebenfalls nicht als Luftfahrzeug identifizierbare Flughindernis 34 weist eine sehr geringe Sichtliniendrehgeschwindigkeit auf, so dass dem Flughindernis 34 ein Gefahrenpotential zugeordnet wird, das die vom Bodenpiloten eingestellte Anzeigeschwelle überschreitet. Dadurch, dass die Objektgröße in der Folge der aufgenommenen Bilder nicht wächst, kann dem Flughindernis 34 jedoch keine mehr oder minder exakte Entfernung zugeordnet werden, wobei lediglich feststellbar ist, dass sich das Flughindernis durch die nicht wachsende Objektgröße in einer relativ großen Entfernung befindet. Die dem Flughindernis 34 zugeordnete Kennung wird somit der Bodenstation 6 übermittelt und es wird ein möglicher Aufenthaltsbereich 74 des Flughindernisses 34 auf dem Bildschirm 62 angezeigt.The also not identifiable as aircraft aircraft obstacle 34 has a very low visual line rotation speed, so that the flying obstacle 34 a hazard potential is assigned, which is set by the ground pilot Display threshold exceeds. Because the object size in the sequence of recorded images does not grow, but the obstacle 34 can not be assigned more or less exact distance, with only detectable is that the flight obstacle is due to the non-growing object size in a relatively large distance. The the obstacle 34 associated Identification is thus transmitted to the ground station 6 and it becomes a possible Stay area 74 of the flying obstacle 34 34 displayed on the screen.

Um zusätzliche Informationen zu erhalten, kann der Bodenpilot die zweite Kameraeinheit 36 zur Aufnahme eines Detailbilds, die im sichtbaren Spektralbereich empfindlich ist, auf die Flughindernisse 28, 30, 34 richten. Durch die Kameraeinheit 36 wird ein optisch zoombares bis maximal 10° mal 10° großes Detailbild mit einer Auflösung von maximal 0,1 mrad aufgezeichnet, der Steuerungsvorrichtung 18 übergeben, der Bodenstation 6 übermittelt und auf der Vorrichtung 10 (Figur 1). Der Bodenpilot kann auf diesen Detailbildern 38 erkennen, dass es sich bei dem Flughindernis 30 um eine Verkehrsmaschine und bei dem Flughindernis 28 um einen Helikopter handelt. Die Detailbilder 38 werden laufend aktualisiert, so dass dem Bodenpiloten jeweils ein Bewegtbild von den Flughindernissen 28, 30 angezeigt wird.For additional information, the ground pilot can use the second camera unit 36 for taking a detail image in the visible spectral range sensitive to the obstacles 28, 30, 34. Through the camera unit 36 is an optically zoomable to a maximum of 10 ° by 10 ° detail image with a resolution of not more than 0.1 mrad recorded, the control device 18 passed, the ground station 6 transmitted and on the device 10 (FIG 1). The ground pilot can see on these detail images 38 that it is at the obstacle 30 to a traffic machine and the obstacle 28 is about a helicopter. The detail screens 38 are constantly updated, so that the ground pilot in each case a moving image of the flight obstacles 28, 30 is shown.

Im Fall eines Fehlens der zweiten Kameraeinheit 36 kann ein entsprechender Steuerbefehl des Bodenpiloten über die Steuerungsvorrichtung 18 zur Auswertevorrichtung 26 gesendet werden, die ein die Flughindernisse 28, 30 jeweils zeigendes Detailbild aus einem zuvor aufgenommenen Gesamtbild extrahiert und der Steuerungsvorrichtung 18 zur Übersendung an die Bodenstation 6 übergibt. Hierzu umfasst die Auswertevorrichtung 26 eine Detailbildeinheit zur Extraktion eines ein Flughindernis 28, 30, 34 abbildenden Detailbilds 38 und zur Weitergabe des Detailbilds 38 zur Sendeeinrichtung. In the case of a lack of the second camera unit 36, a corresponding Control command of the ground pilot via the control device 18 to the evaluation device 26 are sent, the one the flying obstacles 28, 30 respectively Detail image extracted from a previously taken whole picture and the Control device 18 for transmission to the ground station 6 passes. For this the evaluation device 26 comprises a detail image unit for extracting a an obstacle obstacle 28, 30, 34 depicting detail image 38 and for passing the Detail picture 38 to the transmitting device.

Da die Objektgröße des Flughindernisses 34 als sehr klein angegeben ist, kann der Bodenpilot auf eine Darstellung des Flughindernisses 34 in einem weiteren Detailbild verzichten, auf dem das Flughindernis 34 als ein kleiner Wetterballon zu erkennen gewesen wäre. Anstelle dessen kann die Einheit 20 zur Aussendung und zum Empfang von Laserlicht aktiviert werden und mit Hilfe der Einheit 22 die Entfernung des Flughindernisses 34 ermittelt werden. Die ermittelte Entfernung wird von der Einheit 22 der Steuerungsvorrichtung 18 übergeben, die dem Flughindernis 34 gegebenenfalls ein neues Gefahrenpotential zuordnet und dieses zusammen mit der Kennung des Flughindernisses 34 zur Bodenstation 6 sendet. Relativ kurze Zeit nach der Aktivierung der Einheit 20 durch den Bodenpiloten wird daher der Aufenthaltsbereich 74 auf dem Bildschirm 62 durch ein weiteres Objekt ersetzt, das die Entfernung des Flughindernisses 34 wiedergibt. Die Farbe und Form des Objekts ist der Klassifikation des Gefahrenpotentials des Flughindemisses 34 angepasst.Since the object size of the flying obstacle 34 is indicated as very small, the Ground pilot on a representation of the flying obstacle 34 in a further detail image Dispense on the flying obstacle 34 as a small weather balloon would have been recognized. Instead, the unit 20 for transmission and be activated to receive laser light and with the help of the unit 22 the Removal of the flying obstacle 34 are determined. The determined distance is supplied by the unit 22 of the control device 18, which is the obstacle If necessary, assign a new hazard potential and this together with the identifier of the flying obstacle 34 sends to the ground station 6. Relatively short time after activation of the unit 20 by the ground pilot Therefore, the residence area 74 on the screen 62 by another Object replaces the distance of the flying obstacle 34 reproduces. The color and shape of the object is the classification of the danger potential of the flying matter 34 adjusted.

Die vier Kameras der Kameraeinheit 24 zur Aufnahme eines Gesamtbilds sind im sichtbaren Spektralbereich empfindlich. Ebenso gut ist es möglich, dass diese vier Kameras im infraroten Spektralbereich empfindlich sind, wodurch eine Nachtsichtfähigkeit erreichbar wäre. Wie oben beschrieben, wird die Erkennung der Flughindernisse 28, 30, 32, 34 auch in diesem Fall anhand einer von der Kameraeinheit 24 aufgezeichneten Bildfolge vorgenommen. Als weitere Variante ist es möglich, die Kameraeinheit 24 mit einer Anzahl von Kameras auszustatten, von denen einige im infraroten Spektralbereich und andere im visuellen Spektralbereich empfindlich sind. Eine Erkennung der Flughindernisse 28, 30, 32, 34 kann in diesem Fall anhand einer Bildfolge oder anhand von Vergleichen von Bildern in unterschiedlichen Spektralbereichen durchgeführt werden. The four cameras of the camera unit 24 for taking a complete picture are in visible spectral range sensitive. As well it is possible that these four Cameras in the infrared spectral range are sensitive, creating a night vision capability could be reached. As described above, the recognition of the Obstacles 28, 30, 32, 34 also in this case using one of the camera unit 24 recorded image sequence made. As another variant it is possible to equip the camera unit 24 with a number of cameras, from some in the infrared spectral range and others in the visual spectral range are sensitive. Detection of the flight obstacles 28, 30, 32, 34 can in this case, based on a sequence of images or comparing images be performed in different spectral ranges.

reference numeral

22: Vorrichtungcontraption
44: Fluggerätaircraft
66: Bodenstationground station
88th: Vorrichtungcontraption
1010: Vorrichtungcontraption
1212: Anzeigemitteldisplay means
1313: Bildschirmscreen
1414: Steuermittelcontrol means
1616: Pfeilarrow
1818: Steuerungsvorrichtungcontrol device
2020: Einheitunit
2222: Einheitunit
2424: Kameraeinheitcamera unit
2626: Auswertevorrichtungevaluation
2828: Flughindernisaviation obstruction
3030: Flughindernisaviation obstruction
3232: Flughindernisaviation obstruction
3434: Flughindernisaviation obstruction
3636: Kameraeinheitcamera unit
3838: Detailbilddetail screen
4242: Ausweichtrajektorieevasion
4444: FluginformationseinheitFlight information unit
4646: FlugregeleinheitFlight control unit
4848: FlugaktorikFlugaktorik
5050: UmgebungSurroundings
5252: Flugrichtungflight direction
5454: Flugbahntrajectory
5656: Flugbahntrajectory
5858: Flugbahntrajectory
6060: Kollisionspunktcollision point
6262: Bildschirmscreen
6464: FluggerätsymbolAircraft symbol
6666: Objektobject
6868: Objektobject
7272: Flugbahntrajectory
7474: Aufenthaltsbereichlounge area

Claims

Method for identification of an obstruction to flight (28, 30, 32, 34) in an area (50) surrounding an airborne vehicle (4), in which at least two images of in each case at least one part of the surrounding area (50) are recorded, from which images the obstruction to flight (28, 30, 32, 34) is identified and is provided with an identification, and a signal (66, 68, 76) which is associated with the identification is emitted in a ground station (6)
characterized in that
the identification process and the allocation of the identification are carried out on board the airborne vehicle (4), and the identification is sent to the ground station (6).
Method according to Claim 1,
characterized in that
the hazard potential of the obstruction to flight (28, 30, 32, 34) is classified on board the airborne vehicle (4) and, in particular, is sent to the ground station (6).
Method according to Claim 1 or 2,
characterized in that
a measurement with respect to the obstruction to flight (28, 30, 32, 34) is carried out by means of an active measurement signal.
Method according to one of the preceding claims,
characterized in that
an escape trajectory (42) is determined on board, and data associated with the escape trajectory (42) is transmitted to the ground station (6).
Method according to Claim 4,
characterized in that
the escape trajectory (42) is determined including information, determined on board, about the surrounding area (50) and/or the flight situation of the airborne vehicle (4).
Method according to Claim 4 or 5,
characterized in that
a decision as to whether the airborne vehicle (4) should fly on the escape trajectory (42) is made by a control apparatus (18) on board the airborne vehicle (4).
Method according to one of the preceding claims,
characterized in that
a detailed image (38), which shows the obstruction to flight (28, 30), is sent to the ground station (6), where it is displayed.
Method according to Claim 7,
characterized in that
an image detail of an image that is used for identification of the obstruction to flight (28, 30) is used as the detailed image (38).
Method according to Claim 7 or 8,
characterized in that the detailed image (38) is recorded in a spectral range which differs from the spectral range of the images which are used for identification of the obstruction to flight (28, 30, 32, 34).
Method according to one of the preceding claims,
characterized in that
the images from which the obstruction to flight (28, 30, 32, 34) is identified are recorded in the infrared spectral range.
Method according to one of the preceding claims,
characterized in that
a moving image of the obstruction to flight (28, 30) is sent to the ground station (6).
Apparatus for identification of an obstruction to flight (28, 30, 32, 34) in an area (50) surrounding an airborne vehicle (4), having at least one camera unit (24) for recording at least a part of the surrounding area (50), and having an evaluation apparatus (26) for identification of the obstruction to flight (28, 30, 32, 34) and association of an identification with the obstruction to flight (28, 30, 32, 34),
characterized in that
the evaluation apparatus (26) is electrically connected to the camera unit (24) and to a transmission device for transmission of the identification to a ground station (6).
Apparatus according to Claim 12,
characterized by
a detailed image unit for extraction of a detailed image (38), which images the obstruction to flight (28, 30), and for passing on the detailed image (38) to the transmission device.
Apparatus according to Claim 12 or 13,
characterized by
a first camera unit (24) for recording an overall image in a first spectral range, and a second camera unit (36) for recording an image, in particular a detailed image (38), in a spectral range which is not the same as the first.