WO2023186350A1

WO2023186350A1 - Unbemanntes fluggerät zur optischen gebietserfassung

Info

Publication number: WO2023186350A1
Application number: PCT/EP2023/025142
Authority: WO
Inventors: Gerhard Bonnet
Original assignee: Spheron-VR AG
Priority date: 2022-03-31
Filing date: 2023-03-30
Publication date: 2023-10-05

Abstract

Beschrieben wird eine Gebietserfassungsvorrichtung, insbesondere Sensorkopf für die optische Gebietserfassung aus der Luft, mit einer Vielzahl von Bildsensoren, deren Sichtfelder gemeinsam einen Bereich überdecken und die wiederholt Bilder aufnehmen, und die bevorzugt insbesondere mechanisch relativ zueinander feststehend und/oder bevorzugt unbeweglich gegen ein den Sensorkopf tragendes Fluggerät angebracht sind, einer Bildspeichereinheit zum zumindest temporären Speichern von für die Bilder einer Aufnahme repräsentativen Bilddaten aus den Bildsensoren, drahtlosen Datenübertragungsmitteln mit einer Datenübertragungs-Bandbreite, die geringer ist als jene, die zur vollständigen Übertragung aller Bilddaten eines aufgenommenen Bildes binnen des bis zur nächsten Bildaufnahme verstreichenden Zeitraumes erforderlich ist, wobei eine Bildauswerteeinheit zur automatisierten Suche nach Objekten in den Bilddaten und zur Definition von ein potentiell interessierenden Objekt enthaltenden Ausschnitten umfasst und die drahtlosen Datenübertragungsmitteln dazu ausgebildet sind, Bilddaten der ein potentiell interessierendes Objekt enthaltenden Ausschnitte und/oder Positionsdaten drahtlos an eine Basis zu übertragen.

Description

Unbemanntes Fluggerät zur optischen Gebietserfassung

Die vorliegende Erfindung betrifft das oberbegrifflich Beanspruchte und bezieht sich somit auf die optische Erfassung von großflächigen Gebieten.

Digitale Luftbilder stellen eine wertvolle Ressource für eine Vielzahl von industriellen Wertschöpfungsketten und für ein breit gefächertes Spektrum an Anwendungen durch Behörden und andere Organisationen dar, insbesondere von Organisationen mit Sicherheitsaufgaben. So gibt es gibt eine Reihe von Anwendungen, bei denen es sinnvoll ist, ein bestimmtes Gebiet optisch abzusuchen. Erwähnt seien an (zeitkritischen) Aufgabestellungen etwa das Zählen, Qualifizieren, Überwachen oder das Suchen: Hierzu gehört unter anderem die Suche nach bestimmten Objekten innerhalb eines nur grob abgrenzbaren Gebietes, die etwa dann erforderlich ist, wenn Wrackteile eines Schiffes oder eines Flugzeuges im offenen Meer gesucht werden oder in unwegsamen Gelände Überlebende einer Katastrophe oder Eindringlinge bzw. Angreifer aufgespürt werden sollen. Als „Objekt“ wird dabei nachfolgend auch eine Person oder Personengruppe verstanden, sofern danach gesucht wird.

Die abzusuchenden Gebiete sind aber oftmals mehrere Quadratkilometer groß. Da es vielen Anwendern ganz grundlegend auf die Schnelligkeit und Zuverlässigkeit beim Erkennen von Objekten bzw. Bild-Merkmalen („Features“) ankommt, ist es wichtig für die Ressource Luftbild, dass sie zeitnah, zuverlässig, und trotzdem effizient gewonnen werden kann. Daher sollte eine Erkennung möglichst in Quasi-Echtzeit erfolgen - was typisch einen Experten erfordert, der einen Überwachungsflug mit durchführt und dabei konzentriert einen Telemetrie-Video-Datenstrom betrachtet; alternativ kommen auch klassische Methoden der - dann oft: multispektralen- Bildverarbeitung in Betracht.

Prinzipiell besteht die Möglichkeit, gebietserfassende luftgestützte Suchen mittels Helikopter durchzuführen, was aber im Regelfall an Bord des Helikopter zumindest zwei Leute, nämlich einerseits einen Piloten und andererseits eine mit der eigentlichen Suche befasste Person erfordert und entsprechend teuer ist. Zudem gibt es Situationen, in denen zwar der Verlust eines unbemannten Gerätes in Kauf genommen werden kann, nicht jedoch der Verlust einer Helikopterbesatzung. Derartige Situationen können etwa bei besonders gravierenden Wetterbedingungen oder dann, wenn mit Angriffen auf das Überwachungsgerät gerechnet werden muss, vorliegen.

Sofern nicht -zwar sehr kostengünstige, aber eine extrem eingeschränkte Funktionalität aufweisende- Minidrohnen verwendet werden sollen, besteht eine Alternative zur Suche unter Verwendung von Helikoptern in der Verwendung von etwas massiveren und größeren Drohnen. Drohnen für solche Such- Zwecke können vergleichsweise hochwertige Bilder mittels einer Kamera erfassen und die optischen Daten an einen Operator per Telemetrie senden. Ein derartiges Vorgehen wirft allerdings eine Reihe von Problemen auf. So muss der Operator die optischen Daten in der Regel in Echtzeit bewerten. Dies erfordert eine durchgängig hohe Konzentration des Operators; zudem setzt eine sichere Bewertung hinreichend hochauflösende Bilder voraus. Dabei ist schon vorgeschlagen worden, die Suche mit derartigen unbemannten Fluggeräten mittels Computer zu unterstützen.

So ist aus der WO 2019/011 205 ein computerbasiertes System bekannt, bei dem mit einem unbemannten Fluggerät aufgenommene Luftbilder annotiert werden und das computerisierte System das folgende umfasst: ein unbemanntes flugfähiges Objekt mit einem Bildaufhahme-Modul zur Aufnahme eines Stromes von Luftbildern, die eine bodenbasierte Region wiedergeben; und ein bodenbasiertes Terminal, das kommunikativ mit der Drohne über eine Kommunikationsleitung verbunden ist und dazu angeordnet ist, den Strom von Luftbildern aus dem unbemannten bemannten flugfähigen Gerät über die Kommunikationsleitung zu empfangen, wobei das bodenbasierte Terminal das folgende umfasst: ein Kontrollmodul zur Kontrolle des Bildaufhahme- Moduls des unbemannten Fluggerätes über die Kommunikationsleitung, um ein Luftbild eines interessierenden Objektes in der bodenbasierten Region aufzunehmen, die im Luftbildstrom wiedergegeben ist, und das aufgenommene Luftbild des Merkmales aus dem Bildaufhahme-Modul an die Basisstation über den Kommunikationslink zu übertragen; ein Annotationsmodul, das dazu angeordnet ist, Annotations-Information dem Luftbild des Merkmales bzw. Objektes von Interesse zuzuordnen, um ein annotiertes Luftbild des Objektes zu erzeugen; einen Speicher zum Speichern des annotierten Luftbild .

Wichtig ist aber bei allen Ansätzen, dass es letztlich darauf ankommt, zu jeweils noch gut vertretbaren Kosten hinreichend zuverlässig ein Feature, das sich innerhalb einer gegebenen, zu durchsuchenden Fläche befindet, zu erkennen, respektive mehrere unterschiedliche Features zuverlässig zu erkennen.

Wenn vor diesem Hintergrund gefragt wird, wie eine bestimmte Suche bzw. Suchstrategie zu bewerten ist, muss per se regelmäßig die Gesamtheit aus Fluggerät und Bildgebung, deren Abstimmung aufeinander, sowie die jeweilige Missionsplanung betrachtet werden. Wichtige Kenngrößen und Parameter können dabei etwa sein: die Reichweite des unbemannten Fluggerätes, die Genauigkeit der Positionserfassung, die maximale Fluggeschwindigkeit, das z.B. durch Flughöhe, Fluggeschwindigkeit, Flug bahn bzw. Rasterung zu charakterisierende Flugprofil, die jeweilige Bildgebungspipeline, die nicht nur davon abhängt, wie die Kamera am Flugkörper angebracht ist, einschließlich der Genauigkeit einer Neige-Schwenk-Zoom-Einstellung z.B. mittels eines sog. Pan-Tilt-Zoom- Gimbals sowie der Exaktheit von Ausrichtung und Ausrichtungsgenauigkeit während des Abfliegens eines Flugprofils, sondern auch davon, mit wie vielen Pixeln Bilder aufgenommen werden können, welche spektrale Empfindlichkeit gegeben ist, in welchen Lichtverhältnissen Objekte noch erfasst werden können, welche Bildraten erzielbar sind oder wie gegebenenfalls der Bild-Datenfluss zu komprimieren ist, was wiederum von der Qualität der Telemetriestrecke und damit von der Transferrate und der Reichweite abhängt .

All diese Kenngrößen und Parameter beeinflussen einander in erheblicher Weise. So erfordert die Bereitstellung hochauflösender Bilder technisch immer noch erheblichen Aufwand, denn die zur Übertragung von optischen Daten benötigte Bandbreite ist gerade bei hochauflösenden Bildern ganz erheblich, was eine Echtzeit-Übertragung praktisch verhindert. Diese ist allerdings gerade in zeitkritischen Anwendungen wie etwa bei der Rettung Schiffbrüchiger oftmals sehr wünschenswert.

Eine Möglichkeit besteht darin, das Beobachtungsfeld etwas zu verkleinern, wodurch für ein Objekt gegebener Größe zwar noch eine hinreichende Pixelzahl und somit eine brauchbare Auflösung zur Verfügung steht, aber das Beobachtungsfeld verkleinert und damit die zur Erfassung eines Gebietes gegebener Größe benötigte Zeit erheblich verlängert wird. Das dadurch bedingte Problem kann in gewissen Grenzen reduziert werden, indem ein Objektiv vergleichsweise langer Brennweite verwendet wird, mit dem etwa in Flugrichtung beobachtet wird. Indem dieses Objektiv langer Brennweite hin- und her geschwenkt und etwas geneigt wird, kann ein nur kurz im Bild auftauchendes Objekt, vom welchem die Vermutung besteht, dass es interessant sein könnte, über eine etwas längere Flugstrecke hinweg beobachtet und zudem aus unterschiedlichen Blickrichtungen erfasst werden. Überdies kann gegebenenfalls auf ein Objekt gezoomt werden. Dies erlaubt es dem Operator, durch geeignetes Schwenken, Neigen, Zoomen ein Objekt zu identifizieren. Nachteilig ist hierbei allerdings, dass dies eine mechanisch komplizierte Schwenk-Neige-Zoom-Halterung für die Kamera sowie Zeit für die Einstellung erfordert, und diese Einstellung überdies komplex gesteuert werden sollte, um ungeachtet der Bewegung der Drohne ein momentan interessierendes Objekt im Blickfeld zu halten. Zudem kann ein -zeitraubendes- mehrfaches Überfliegen erforderlich werden, sei es, weil das Objekt nicht ordnungsgemäß verfolgt werden konnte, weitere Ansichten erforderlich sind oder weil es zu spät im Blickfeld auftauchte, bevor es überflogen wurde. Dass dies effizienzmindemd ist, sei erwähnt.

Andere Wechselwirkungen bestehen etwa dahingehend, dass ein lichtstärkeres Objektiv schwerer ist, was bei Dämmerung günstiger sein kann, aber wiederum die Reichweite des Fluggerätes verringert; eine verringerte Fluggeschwindigkeit reduziert die überwachte Fläche, führt aber womöglich zu mehr oder besseren Bildern in Querrichtung, verbessert also die Bildqualität usw.. Durch diese erhebliche und zum Teil deutlich nichtlineare Wechselwirkung der Parameter stellt deren Optimierung eine erhebliche Herausforderung dar. So wird oftmals nur mit Maßzahlen wie dem NUTZEN eines bestimmten Ansatzes gearbeitet, indem aus der Betrachtung einer vorhandenen Bild- aufhahmelösung eine Maßzahl ermittelt wird, die sich z.B. aus der während einer Mission „geprobten“ Fläche [A] und der Erkennungs-Zuverlässigkeit [P] für ein Feature ergibt, das sich innerhalb dieser Fläche befindet. Die Zuverlässigkeit wird etwa dadurch verringert, dass gesuchte Objekte nicht mit erkannt werden, weil sie nicht hochauflösend genug aufgenommen wurden, oder dadurch, dass mit einem PTZ-Objektiv momentan in eine ganz andere Richtung geblickt wird, das aufzuspürende Objekt also schlicht übersehen wird. So kann sich eine Drohne zwar am richtigen Ort befinden, aber in die „falsche“ Richtung blicken; ein Zoom kann zu weitwinklig eingestellt sein, so dass Objekte nicht mehr zu erkennen sind. Ein Weitwinkel mit einem horizontalen Sichtfeld (HFoV) von 60° weist bei XGA- Auflösung. d.h. 1024 Pixeln x 768 Pixeln in einer Entfernung von 500m eine Auflösung von etwa 50cm/Pixel auf, so dass ein Mensch nur noch mit etwa 2 Pixeln erfasst wird, was für die Objekterkennung als Mensch schon zu wenig ist, geschweige denn, dass bestimmte Merkmale wahrgenommen werden könnten. Umgekehrt beträgt bei einer Tele-Einstellung mit einem horizontalen Sichtfeld (HFoV) von nur 3° in 500m Entfernung die Auflösung etwa 2,5cm/Pixel- aber bei typischen Fluggeschwindigkeiten der Drohne beträgt die Erfassungsdauer eines Objektes quer zur Flugrichtung nur etwa eine Sekunde. Es ist auch nicht günstig, ein Objekt während des Fluges lediglich für eine jeweils nur sehr kurze Zeit zu beobachten, weil dann Objekte nur aus einer einzigen Richtung erfasst werden; ist die Sichtlinie zum Objekt genau in dieser Richtung gerade verdeckt, etwa durch Bäume, Hecken, Mauern usw., kann es nicht beobachtet werden. Werden diese systembedingten Schwächen durch mehrfaches Überfliegen kompensiert, so sinkt einsichtiger Weise die in einer gegebenen Zeit überstreichbare Fläche A.

Daher wird eine als Nutzen Q bezeichnete Maßzahl aus der geprobten Fläche A und der Erkennungs- Zuverlässigkeit P bestimmt durch die Gleichung

Q = P x A.

Es ist einsichtig, dass der Nutzen für einen gegebenen Beobachtungs-Ansatz stets dadurch begrenzt ist, dass die Größe der geprobten Fläche und die dabei erreichbare Zuverlässigkeit nicht beliebig und vor allem nicht unabhängig voneinander gesteigert werden können: so sinkt in der Regel die Zuverlässigkeit, wenn in der gleichen Zeit eine größere Fläche zu überwachen ist, während die Maßzahl umgekehrt auch schrumpfen kann, wenn nur eine sehr kleine Fläche überwacht wird.

Verwiesen sei auf die US 2021/0 209 331 Al, die ein Computer-implementiertes Verfahren umfasst, bei welchem ein Maschineniemmodell trainiert wird, um nichtnatürliche Objektanordnungen in einem Bild zu identifizieren, mit dem Modell Bilder analysiert werden, die während eines Drohnenflugs erfasst werden und, basierend auf dem Auftreten eines natürlichen Objektes, der Flugplan des unbemannten autonomen Fluggerätes automatisch geändert wird, um eine zusätzliche Suche durchzuführen.

Insgesamt ist es erstrebenswert, den Nutzen einer optischen Gebietserfassung aus der Luft zu verbessern, insbesondere mittels unbemannter Fluggeräte.

Es wäre auch erstrebenswert, ein Gebiet preiswerter und/oder schneller als bislang möglich aus der Luft zu durchsuchen bzw. zu erfassen.

Es wäre vorteilhaft, eine zumindest leichte Verbesserung bei zumindest einigen der angesprochenen Punkte zu erzielen.

Die Aufgabe der vorliegenden Erfindung besteht darin, Neues für die gewerbliche Anwendung bereit zu stellen.

Mögliche Lösungen dieser Aufgabe werden in unabhängiger Form beansprucht. Vorteilhafte Ausführungsformen und alternative Lösungsansätze können der Beschreibung entnommen werden. Aus dem Umstand, dass diverse vorteilhafte Ideen derzeit nicht beansprucht oder nicht explizit als vorteilhaft und erfinderisch bezeichnet sind, möge nicht geschlossen werden, dass diese unwichtig seien. Vielmehr wird der Fachmann erkennen, dass viele Teile der Kombination für sich oder in Kombination mit anderen Teilen der Offenbarung vorteilhaft sind.

Gemäß einem ersten Gedanken wird somit vorgeschlagen eine Gebietserfassungsvorrichtung, insbesondere Sensorkopf für die optische Gebietserfassung aus der Luft, mit einer Vielzahl von Bildsensoren, deren Sichtfelder gemeinsam einen Bereich überdecken und die wiederholt Bilder aufnehmen, und die bevorzugt insbesondere mechanisch relativ zueinander feststehend und/oder bevorzugt relativ zu einem den Sensorkopf tragenden Fluggerät unbeweglich angebracht sind, einer Bildspeichereinheit zum zumindest temporären Speichern von für die Bilder einer Aufnahme repräsentativen Bilddaten aus den Bildsensoren, - bevorzugt drahtlosen - Datenübertragungsmitteln mit einer Datenübertragungs-Bandbreite, die z.B. geringer sein kann als jene, die zur vollständigen Übertragung aller Bilddaten eines aufgenommen Bildes binnen des bis zur nächsten Bildaufnahme verstreichenden Zeitraumes erforderlich ist, wobei diese Gebietserfassungsvorrichtung so ausgestaltet ist, dass sie eine Bildauswerteeinheit zur automatisierten Suche nach Objekten in den Bilddaten und zur Definition von ein potentiell interessierenden Objekt enthaltenden Ausschnitten umfasst, wobei die Datenübertragungsmitteln dazu ausgebildet sind, Bilddaten der ein potentiell interessierendes Objekt enthaltenden Aus- schnitte und/oder Positionsdaten, vorzugsweise unter Verwendung von Selbstverortungsmethoden bestimmte Positionsdaten evtl, interessierender Objekte insbesondere drahtlos an eine Basis zu übertragen.

Die Anordnung bietet eine Reihe von Vorteilen. So werden durch die maßgebliche Erhöhung der Anzahl an bildgebenden Sensoren (Bildsensoren) und deren bevorzugt feste Anordnung Objekte, die im überflogenen Beobachtungsfeld liegen bzw. bereits überflogen wurden oder die querab zur Flugbahn liegen, mehrfach erfasst, wodurch sowohl die Erkennungs-Zuverlässigkeit [P] steigt als auch die während einer Flugmission überstreichbare Fläche ansteigt und damit der Nutzen Q= PxA dementsprechend zunimmt.

Es kann zudem eine große Anzahl an Sensoren eingesetzt werden. Typisch können bereits am Anmeldetag ohne weiteres mehr als 6, insbesondere mehr als 12, insbesondere 24 oder 48 Sensoren verwendet werden, die ein entsprechend hochaufgelöstes Bild aufhehmen. Diese können zudem mit hoher Dynamik aufgenommen werden, was die Erkennungswahrscheinlichkeit vor allem dort weiter verbessert, wo Bereiche stark unterschiedlicher Helligkeit vorliegen. Es ist damit zudem bereits heute möglich, eine volle Hemisphäre oder sogar einen etwas größeren Bereich zu erfassen.

Es ist abzusehen, dass aufgrund der Zunahme der Datenverarbeitungsmöglichkeiten mit Fortschreiten der Technik die Zahl der Sensoren bzw. deren Pixelzahl und somit die Detailauflösung mit der Zeit weiter zunehmen wird. Zugleich ist davon auszugehen, dass die Zunahme der Übertragungsbandbreite vorerst nicht so groß sein wird, dass vollhemisphärische, multispektrale Bilder hoher Auflösung und hoher Dynamik verlustfrei in Echtzeit übertragbar werden. Jedoch wird - da die Rechenleistung vermutlich in ähnlichem Maß wie die mögliche Pixelzahl ansteigt - erwartet, dass weiterhin bereits im Sensorkopf eine derart große Rechenleistung bereitgestellt werden, dass aus dem Roh-Datenstrom bereits vor der Übertragung zuverlässig „Bemerkenswertes“ für die Übertragung extrahiert wird. Hierfür kann bereits heute eine AI eingesetzt werden; da diese „vor Ort ist“, handelt es sich um eine EDGE- AI und sie kann dahingehend optimiert werden, genau das zu erkennen, was den Nutzen einer Mission darstellt. Damit werden nur jeweils relevante Objekte an einen Anwender/ Experten übertragen. Dass dies gegebenenfalls eine Anpassung der Filter oder eine Auswahl unter vordefmierten Filtern erfordert, sei erwähnt. So könnten Filter definiert werden für die Suche nach Wrackteilen von einem Flugzeugunglück, Menschen, Maschinen wie Panzern, Tieren usw. und diese missionsabhängig ausgewählt werden. In einer bevorzugten Ausführungsform werden passende, durch Methoden des Maschinenlernens erzeugte Filter wie z.B. neuronale Filter in einer Datenbank abgelegt und können über eine geeignete Schnittstelle in die erfindungsgemäße Gebietserfassungsvorrichtung geladen werden. Dabei können in der Datenbank für Sensorköpfe, die unterschiedliche Sensortypen aufweisen, beispielsweise Infrarot- Sensoren geringerer Auflösung und Fotosensoren höherer Auflösung für sichtbares Licht, un- terschiedliche Filter fur ein und dieselben Objekte hinterlegt werden. Es ist überdies möglich, Filter oder Rechenvorschriften zu hinterlegen, mit denen von unterschiedlichen Sensortypen erhaltene Bilddaten derart zusammen ausgewertet werden, dass die Sicherheit steigt, bestimmte Objekte zu erkennen oder dass für bestimmte Objekte Fehlerkennungen reduziert oder ganz vermieden werden. So kann beispielsweise eine mit einem Infrarot-Sensor erkannte Wärmesignatur, die auf das Vorhandensein eines Lebewesens im Sichtfeld hindeutet, mittels der optischen Sensoren darauf überprüft werden, ob sie mit einiger Wahrscheinlichkeit von einem Menschen stammt; gleichermaßen kann mittels der Wärmesignatur überprüft werden, ob ein möglicherweise einen Menschen enthaltender Bildausschnitt mit einiger Wahrscheinlichkeit einen lebenden Menschen zeigt. Eine andere sinnvolle Anwendung der Verknüpfung von Bilddaten aus unterschiedlichen Sensoren ergibt sich bei der Suche nach Wasserflächen mittels Bildsensoren, denen unterschiedlich orientierte Polarisationsfilter vorgeschaltet sind. Je nach Größe der Datenbank kann die Datenbank vollständig im Sensorkopf gespeichert sein oder es werden nur Teile der Datenbank für eine jeweilige Mission in den Sensorkopf eingespielt. Es ist in einer bevorzugten Variante möglich, Filterdaten für mehr als ein Objekt im Sensorkopf zu speichern und simultan nach unterschiedlichen Objekten zu suchen, beispielsweise nach Wrackteilen, Menschen und Koffern. Alternativ und/oder zusätzlich können während einer Mission zu suchende Objekte geändert werden, und zwar entweder durch Auswahl unter verschiedenen, vor Beginn der Mission in den Sensorkopf eingespielten Filtern oder durch Übertragung neuer Filter von einer Basis.

Obwohl mit der offenbarten Anordnung mit jedem Frame simultan eine Hemisphäre oder mehr erfasst werden kann, ist ein menschlicher Beobachter nicht mit der auf ihn von der Anordnung einströmenden Bilderflut überfordert. So erhöht sich einerseits die Erkennungswahrscheinlichkeit, weil der menschliche Beobachter seine Konzentration nur auf vorausgewählte, potentiell interessierende Objekte richten muss und lediglich zu bewerten hat, ob diese tatsächlich relevant oder irrelevant sind. (Dass es dabei möglich ist, auf Basis der durch den menschlichen Beobachter vorgenommenen Bewertung von Objekten als tatsächlich relevant oder irrelevant das in der mobilen Gebietserfassungsvorrichtung selbst verwendete Bilduntersuchungsverfahren, also z.B. die in einem neuronalen Netz bzw. einem AI- Maschinenlemalgorithmus verwendeten Filter, auf Dauer zu verfeinern und zu verbessern, sei erwähnt; dass dies nicht in Echtzeit geschehen muss, sondern gegebenenfalls später geschehen kann, sei gleichfalls angemerkt. Für eine spätere Auswertung ist das Wegschreiben aller Bilddaten während einer Flugmission von besonderem Nutzen, und insbesondere, wenn an der Basis auch die Bewertungen der übermittelten potentiell interessierenden Objekte weggeschrieben werden, ist dies vorteilhaft. Dabei können z.B. durch entsprechende Zeitmarken un dergleichen die Daten nach dem Flug leicht zusammengeführt werden. Durch die weniger starke Beanspruchung eines menschlichen Beobachters kann aber die Dauer einer Suchmission verlängert und damit eine durchsuchte Fläche vergrößert werden, was wiederum deren Nutzen erhöht. Es ist sogar möglich, dass einem menschlichen Beobachter Bilder von mehr als einer Drohne zugespielt werden, was die Zeit, in der Flächen durchsucht werden können, weiter verkürzt.

Mit diesem dem vorgeschlagenen Ansatz wird den andernfalls extrem gesteigerten Anforderungen an sowohl die Bandbreite des Telekommunikationskanals als auch an die Leistungsfähigkeit bzw. die Konzentration des Betrachters Rechnung getragen: auch mittelfristig wird nämlich für z.B. 24 Bilddatenströme hochaufgelöster Bilder kein auch nur halbwegs hinreichender Telekommunikationskanal verfügbar sein und ebenso erscheint es nur schwerlich vorstellbar, dass ein Experte/Betrachter all diese z.B. 24 Datenströme andauernd, zeitgleich und zuverlässig wird durchsuchen können.

Es ist möglich und bevorzugt, den Sensorkopf mit einem Beschleunigungsmesser, insbesondere einem triaxialen Beschleunigungsmesser zu versehen und/oder mit absoluten und/oder relativen Positionsbestimmungsmitteln, insbesondere einem GPS-Sensor oder mehreren GPS-Sensoren bzw GNSS - Sensor(en). Alternativ kann auch eine Kommunikation mit anderen, eine Triangulation ermöglichenden Stationen erfolgen. Derartige sensorkopfeigene Lokalisations- und/oder Orientiergungsbestim- mungsmittel verbessern die Möglichkeiten, ohne erforderlichen Rückgriff auf Informationen aus der Drohne aufgefundene Objekte zu lokalisieren, insbesondere unter simultaner Positionsbestimmung und Kartierung. Durch Anordnung eines Beschleunigungsmesser im Sensorkopf selbst dann, wenn bereits ein vergleichbarer Beschleunigungsmesser im eigentlichen Drohnenkörper integriert ist, verbessert sich die Autarkie des Sensorkopfes, was es erlaubt, diesen schneller ohne großen Aufwand an nahezu beliebigen Drohnen zu verwenden. Ein Beschleunigungsmesser ist hilfreich, um nicht nur absolute Neigungen und Positionen zu ermitteln, sondern auch Änderungen derselben von Aufnahme zu Aufnahme. Die autarke Ermittlungen von Neigungen ist vor allem deshalb sinnvoll, weil eine momentane Neigung besser auf den Aufhahmezeitpunkt abgestimmt werden kann und weil eine exakte Kenntnis der Neigung - vor allem bei Luftturbulenzen usw. während des Fluges - es erleichtert, ein und dasselbe Objekt in aufeinander folgenden Bildern genauer zu verfolgen und zu erfassen. Dass eine Absolutlokalisation vorteilhaft ist, um bestimmte, insbesondere stationär bleibende Objekte wiederzufinden, die in einem Gebiet erkannt wurden oder aufgrund der optischen Bild-Daten vermutet werden, sei erwähnt.

Es ist möglich und bevorzugt, den Sensorkopf mit einem eigenen Sende-/Empfangsmittel zu versehen, das insbesondere hinreichend breitbandig ist, um über eine Telemetriestrecke Bildausschnitte mit im Sensorkopf als potenziell interessierend identifizierten Objekten an eine Basisstation zu übertragen, welche aber nicht breitbandig genug ist, alle aufgenommenen Bilder in voller Auflösung, Farbtiefe und Dynamik vollständig innerhalb eines zur Verfügung stehenden Zeitraumes auch bei maximaler Entfernung zur Basis zu übertragen. Der maximal zur Verfügung stehende Zeitraum ist bei einer einzelnen Drohne durch die Framerate bestimmt, bei mehreren Drohnen für eine Suche reduziert sich die jeder Drohne zur Verfügung stehende Zeit, wenn sich alle Drohnen die Übertragungskanäle teilen. Mit anderen Worten ist die Telemetriestrecke so stark bandbreitenbegrenzt, dass eine lokale (Vor-) Auswahl relevanten Bildmaterials für eine Untersuchung potentiell interessierender Bilder in nahezu Echtzeit an einer Basisstation erforderlich ist. Es sei offenbart, dass diese lokale Auswahl relevanten Bildmaterials lokal im Sensorkopf vorgenommen werden soll. In einer bevorzugten Ausführungsform ist der Sensorkopf dazu ausgebildet, mit einer oder mehreren Basisstationen über WLAN, 4G oder 5G zu kommunizieren.

Nur der Vollständigkeit halber sei erwähnt, dass es möglich wäre, einen Sensorkopf wie vorstehend beschrieben auch an einem bemannten Flugzeug anzubringen. In einem solchen Fall kann eine Flugmission beispielsweise von einer Basis aus unterstützt werden, indem dort erhaltene Bilder ausgewertet werden, um dem Piloten Flugrichtungsänderungen anzuweisen oder eine Rettungsmannschaft an Bord eines Helikopters auf Besonderheiten hinzuweisen. Es ist sogar alternativ möglich, den Sensorkopf gegebenenfalls auch an einem Hubschrauber oder dergl. anzubringen und einen Operator, d.h. eine Person, die für die endgültige Bewertung der Bildausschnitte als relevant oder irrelevant zuständig ist, mit an Bord zu nehmen. In einem solchen Fall braucht die Übertragung einsichtiger Weise nicht drahtlos erfolgen. Während per se die Datenübertragungsrate damit kaum begrenzend ist, wird gleichwohl auch in solch einer Situation ein Vorteil durch eine lokale Vorauswahl im Sensorkopf erzielt, weil der Operator entlastet wird; überdies ist es möglich, bei Suche unter Verwendung mehrerer Fluggeräte wie beispielsweise unter Verwendung eines Helikopters und eines zugehörigen Schwarmes an sensorkopftragenden Drohnen, die angezeigte Bildmenge zu reduzieren. Dass bei Verwendung einer solchen Mehrzahl von Fluggeräten allenfalls ein Sensorkopf drahtgebunden operieren wird, währen die anderen Sensorköpfe die Daten drahtlos übertragen werden, sei erwähnt. Bevorzugt ist aber in jedem Fall die drahtlose Übertragung, da für diese die Vorteile der Erfindung besonders signifikant sind.

Es ist möglich und bevorzugt, den Sensorkopf mit einem Speichermittel zu versehen, auf welchem alle während eines Überwachungsfluges aufgenommenen Bilder in voller Auflösung, Farbtiefe und Dynamik abgelegt werden, insbesondere zusammen mit den zugehörigen Beschleunigungsmesser-Daten oder daraus hergeleiteten Daten wie einer Positions-Differenz zum vorhergehenden Bild usw.. Alternativ und/oder zusätzlich zu Beschleunigungsmesserdaten kann jeweils eine mit einem oder mehreren GPS-Sensor bzw. GNSS - Sensor erfasste Position abgelegt werden. Weiter können Neigungsmesser, Gyroskope, Magnetometer usw. vorgesehen werden. Besonders bevorzugt ist es, wenn zu jedem Bild zumindest relative XYZ-Koordinaten und drei eine räumliche Orientierung beschreibende Winkel (typisch als omega, phi, theta bezeichnet) abgelegt werden. Dies erleichtert es, Objekte in einem ersten Bild den gleichen Objekten in einem nachfolgend und somit von anderer Stelle und womöglich in anderer Ausrichtung aufgenommenen Bild zu identifizieren und zuzuordnen. Damit ist die Stelle für alle Arten von (Bild-)Daten bezeichnet. Dabei werden z.B. GIS-Daten mit einer Karte verbunden und da- bei Positionsdaten mit bestimmten beschreibenden Informationen integriert - wie etwa Bildausschnitten oder Anmerkungen zu diesen.

Es ist möglich, den Sensorkopf auszustatten mit zumindest einer Sorte an Bildsensoren, die ausgewählt sind aus VIS, thermal / MWIR / LWIR. Es wäre auch möglich, zwei insgesamt praktisch vollständig überlappende Bilder mit per se gleichen Sensortypen aufzunehmen, wobei diesen gleichen Sensortypen dann aber unterschiedlich orientierte Polarisationsfilter vorgesetzt sind, was es erleichtert, reflektierende Flächen wie Wasserflächen zu identifizieren. Es ist möglich und bevorzugt, für zumindest eine Sorte an Sensoren eine mindestens hemisphärische Sichtfelderfassung zu ermöglichen. Dort, wo mehr als ein Sensor verwendet wird, kann entweder mit der ersten Sensorsorte eine mindestens hemisphärische Sichtfelderfassung erfolgen und mit der zweiten Sensorsorte ein kleineres Sichtfeld ermöglicht werden, etwa weil damit ein Videostrom bei Blick in die Flugrichtung erzeugt werden soll, um einem Drohnen-Operator die Flugbahnkontrolle zu ermöglichen. In einer bevorzugten Variante wird aber dann, wenn mehr als eine Sorte Bildsensoren verwendet werden, mit jeder oder mehreren Sensorsorten jeweils eine mindestens hemisphärische Sichtfelderfassung ermöglicht. Erwähnt sei, dass nicht alle Sensorsorten die gleiche Auflösung bereitstellen müssen und nicht alle Sensorsorten mit jedem einzelnen Sensorfeld das gleiche Sichtfeld erfassen müssen. So kann es ausreichend sein, wärmeempfindliche Sensoren mit geringerer Auflösung und größerem Sichtfeld je Sensorelement zu verwenden, sofern dies immer noch erlaubt, zu erkennen, ob von dem ungefähren Ort, an dem aufgrund einer optischen Beobachtung im sichtbaren Bereich ein Mensch oder z.B. ein motorgetriebenes Fahrzeug vermutet wird, Wärmestrahlung ausgeht. Damit einhergehend versteht sich, dass durch multispektrale Beobachtung die Erkennungsgenauigkeit erhöht werden kann und dass eine solche multispektrale Beobachtung daher gegebenenfalls bevorzugt ist. Ohnehin ist es oftmals so, dass für die Erkennung von Objekten zunächst die Auflösung - gerade bei hochauflösenden Sensoren- verringert wird, so dass gegebenenfalls lediglich die Auflösungsverringerung reduziert werden muss.

Es sei auch erwähnt, dass je Sensortyp, also abhängig z.B. davon, ob es sich um einen VIS, thermal / MWIR / LWIR handelt, andere Verfahren der Bilderkennung respektive andere Filteralgorithmen verwendet werden können. So können etwa KI-Bilderkennungsfilter für VIS-Sensoren andere neuronale Netze verwenden als für MWIR-Sensoren. Es werden also bevorzugt jeweils spezifische Filter eingelemt bzw. verwendet. Es ist möglich und bevorzugt, den Sensorkopf so auszugestalten, dass Bilder aller Kamerasensoren simultan aufgenommen werden. Dies erleichtert die Überlagerung der Einzelbilder zu einem Gesamtbild, die Verortung von Objekten und die Selbstlokalisierung.

Es ist möglich und bevorzugt, dass der Sensorkopf ein mehr als nur hemisphärisches Sichtfeld erfasst. Dies ist vorteilhaft, weil dann in flacher Landschaft selbst bei geneigter Drohne immer noch bis zum Horizont geblickt werden kann und weil überdies in hügeliger Landschaft selbst Steilhänge gut erfasst werden.

Es ist möglich und bevorzugt, den Sensorkopf so auszugestalten, dass Bilder in einem festen zeitlichen Abstand und/oder nach dem Zurücklegen einer bestimmten Strecke erfasst werden. Dabei kann in einer praktischen Implementierung ein neues Bild alle 2 Sekunden bis alle 15 Sekunden oder alle 5 m bis alle 100 m aufgenommen werden. Dies ist ausreichend, um bei typischen Flughöhen und Fluggeschwindigkeiten und am Anmeldetag sinnvoll implementierbaren Bildauflösungen mehrere Bilder zu erfassen, auf denen Objekten einer herkömmlich interessierenden Größe in sinnvoller Größe abgebildet werden.

Es ist möglich und bevorzugt, den Sensorkopf so auszugestalten, dass Bilder in einem Format abgelegt werden, das ein Load on Demand ermöglicht, insbesondere ein Load on Demand von Ausschnitten einer Hemisphäre, die eine Überlagerung von mindestens zwei Sensorbildem erfordern.

Es ist möglich, den Sensorkopf so auszugestalten, dass er Energie von der Drohne erhält. Bei für Drohne und Sensorkopf separaten Energiespeichem besteht die Gefahr, dass ein Energiespeicher bereits erschöpft ist, während der andere noch genügend einige Zeit benutzt werden kann. Da Energiespeicher schwer sind, muss somit mehr Gewicht geflogen werden, als sinnvoll ist. Bezieht der Sensorkopf dagegen seine Energie von der Drohne, kann das durch die Energiespeicherung bedingte Gewicht optimal genutzt werden. Anders als bei einer Übertragung von Daten, etwa Positions- und Orientierungsdaten und/oder Bildern zwischen Drohne und Sensorkopf, die einen recht komplexen Eingriff in die drohnensteuemde Elektronik usw. erfordern könnten, ist die Verwendung von Energie aus der Drohne im Regelfall völlig problemfrei möglich, solange die elektrischen Parameter innerhalb vorgegebener Spezifikationen gehalten werden, was bei den vom Sensorkopf typisch benötigten Leistungen ohne weiteres möglich ist. In einer bevorzugten Ausführungsform ist der Sensorkopf bis auf die Energieversorgung unabhängig von der Drohne.

Es ist möglich und bevorzugt, den Sensorkopf so auszugestalten, dass er an der Drohne ablösbar angebracht wird, insbesondere durch Verschrauben.

Es ist möglich und bevorzugt, den Sensorkopf so auszugestalten, dass die für die Suche nach relevanten Objekten in den aufgenommenen Bildern erforderliche Datenverarbeitung im Sensorkopf selbst erfolgt. Insbesondere kann der Sensorkopf für die Objekterkennung innerhalb des Sensorkopfes mittels künstlicher Intelligenz ausgebildet sein. In einer am Anmeldetag bevorzugten Variante wird der Sensorkopf mit einer Grafikkarte gebildet, die in der Lage ist, über Algorithmen der künstlichen Intelligenz nach Objekten in den Bildern respektive daraus berechneter Bilddaten zu suchen. Schutz wird insbesondere auch beansprucht für eine als Drohne ausgestaltete Gebietserfassungsvorrichtung und für eine Drohne mit einem als Gebietserfassungsvorrichtung wie vorbeschrieben autark ausgestalteten, insbesondere anmontierten Sensorkopf.

Schutz wird weiter beansprucht für ein Verfahren zur Suche nach Objekten in einem zu überwachenden Gebiet, wobei das zu durchsuchende Gebiet mit mindestens einer erfmdungsgemäßen Gebietserfassungsvorrichtung überflogen wird, dabei die Bilddaten innerhalb der Gebietserfassungsvorrichtung auf das Vorhandensein von interessierenden Objekten untersucht werden und Bilddaten der ein potentiell interessierendes Objekt enthaltenden Ausschnitte und/oder - vorzugsweise unter Verwendung von Selbstverortungsmethoden bestimmten - Positionsdaten evtl, interessierender Objekte drahtlos an eine Basis übertragen werden. Die hier angesprochenen Methoden zur Selbstverortung bzw. der (zu einer Bewegung eines mobilen Gerätes simultanen) Positionsbestimmung, häufig mit der Abkürzung des englischen Begriffes Simultaneous Localization and Mapping als SLAM bezeichnet, werden verwendet, wenn ein mobiles System wie ein Roboter sich in einer Umgebung bewegen soll und dabei gleichzeitig eine Karte seiner Umgebung erstellen und seine räumliche Lage innerhalb dieser Karte schätzen soll. Da diese Verfahren aber per se bekannt sind, brauchen sie hier nicht näher beschrieben zu werden; erwähnt sei allerdings, dass vorliegend durch die Verwendung vieler Sensoren die Messung besonders genau ausfallen kann.

Die Verarbeitung der aufgenommenen Bilder zu Bilddaten und die Auswertung und Übertragung der Bilddaten kann umfassen, dass Bilder-Rohdaten zunächst aufgearbeitet werden, die dabei erhaltenen eigentlichen Bilddaten einerseits gespeichert und andererseits untersucht und so weiter bearbeitet werden, dass relevante Information an eine Basis übertragen werden kann, die relevante Information an die Basis übertragen wird und dort eine Bewertung der Informaiton oder Reaktion darauf ermöglicht wird.

Zu diesen Schritten im Einzelnen.

Zunächst werden die Rohbilddaten aus den einzelnen Sensorelementen ausgelesen. Dies kann mittels eines sogenannten, per se bekannten Framegrabbers geschehen, der die Roh-Daten gegebenenfalls in einem RAM puffert. Erwähnt sei, dass vorteilhafter Weise die Daten aller einzelnen Bild- Sensorelemente wie aller 24 oder 48 Sensorelemente synchron simultan ausgelesen werden. Zeitgleich werden auch Orientierungs- und Positionsdaten erfasst.

Es kann dann eine Vorverarbeitung zur Aufarbeitung der Rohbilder erfolgen. Bei dieser Vorverarbeitung können defekte Pixel kompensiert werden, ein De-Bayering der zumindest für sichtbares Licht typisch Bayer-Filter aufweisenden Bildsensoren erfolgen, eine Kompensation auf Rolling-Shutter- Effekte und eine Rektifikation vorgenommen werden. All diese Rohbilddaten-Bearbeitungsschritte sind per se bekannt, werden allerdings vorliegend auf einer geeigneten Grafikkarte bzw. mit einer geeigneten Grafik-GPU so schnell durchgeführt, dass bis zur nächsten Bildaufhahme noch genügend Zeit bleibt, um die so erhaltenen Bilddaten auf das Vorliegen von interessierenden Objekten (oder Features) zu untersuchen.

Die durch die beschriebenen Schritte aus den Rohbilddaten erhaltenen aufgearbeiteten Bilddaten können für das folgende zudem gespeichert werden, wobei die Speicherung bereits so erfolgen kann, dass später Bildausschnitte unterschiedlicher Größe ohne Probleme auf Anforderung von einem entfernten Benutzer heruntergeladen werden können. Dabei besteht das Problem, dass die in den Ausschnitten unterschiedlicher Größe dargestellten Objekte bzw. Texturen ohne geeignete Gegenmaßnahmen Ali- asing-Effekte auftreten, die als Artefakte sehr störend wirken, besonders wenn Muster mit schrägen oder gerundeten Linien dargestellt werden (hingewiesen wird insoweit auf den Moire-Effekt und Techniken, die diesen vermeiden bzw. reduzieren).

Derartige Techniken, die unerwünschte Effekte bei Darstellungen unterschiedlicher Größe vermeiden, sind als MIP-MAP -Methoden bekannt und für die vorliegende Anwendung wird es bevorzugt, die aufgearbeiteten Bilddaten unter Verwendung derartiger Methoden abzuspeichem, zumal dies nur geringfügig mehr Speicherbedarf erfordert.

Es werden dann alle entsprechenden Daten jedes Bildes vollständig abgespeichert, um einerseits nach Durchführung einer Flugmission die Möglichkeit zu haben, noch einmal durch alle Bilder durchzugehen, weitergehende Berechnungen an den Bilddaten durchzuführen, etwa Berechnung von 3-D- Modellen des überflogenen Gebietes oder von Teilen davon, andererseits aber auch, um während der Mission schnell und problemfrei Bildausschnitte für an einer Basisstation befindliche Beobachter bereitzustellen.

Weiter werden die aufgenommenen Bilder nach interessierenden Objekten respektive Features durchsucht (erwähnt sei, dass es nicht notwendig ist, dass ein interessierender Bildteil wirklich ein „Objekt“, also einen klar definierten dreidimensionalen, festen Körper darstellt. So kann etwa auch das Vorhandensein von bestimmten Spuren im Schnee, das Auftreten von Rauch usw. von Interesse sein, für das der Begriff „Feature“ eher zutreffen würde. Gleichwohl wird vorliegend häufig gleichbedeutend von Objekten gesprochen. Zudem kann in einzelnen Fällen eine Kombination unterschiedlicher Merkmale erforderlich sein, um Interesse zu erwecken, z.B. das Vorhandensein einer Spur im Schnee und das Vorhandensein einer auf Verletzung deutenden, rötlichen Färbung in unmittelbarer Nähe der Spur- dies würde dann vorliegend gemeinsam als Objekt bezeichnet. Für die Suche nach Objekten kann eine Einspeisung der Bilddaten in einen Pufferspeicher erfolgen, der einen besonders schnellen Zugriff der Grafikkarte bzw. GPU auf die Daten erlaubt und es ist möglich, dass die Grafikkarte bzw. GPU als relevant erkannte Objekte respektive zugehörige Daten wie Position-und Neigedaten usw. in einen „Kandidaten“-Pufferspeicher schreibt. Gegebenenfalls erlaubt dies auch eine mehrstufige Suche, etwa indem in einer ersten Stufe als potentielle Kandidaten erkannte Bildausschnitte in einer weiteren Stufe darauf untersucht werden, ob bei genauerer Analyse immer noch die Vermutung besteht, sie könnten interessierende Objekt zeigen.

Es ist auch möglich, potentielle Kandidaten zu speichern, und zwar zusammen mit einer aktuellen Position, um dann bei Aufnahme eines nachfolgenden Bildes zu überprüfen, ob dort das Objekt ebenfalls an der erwarteten Position - oder bei beweglichen Objekten zumindest nahe dazu - gefunden werden kann. Alternativ und oder zusätzlich kann natürlich überprüft werden, ob ein potentieller Feature- Kandidat eine Entsprechung in zuvor aufgenommenen und durchsuchten Bildern findet.

Es kann dann, insbesondere bei nur grober erster Durchsicht und/oder bei sehr vielen potentiellen Kandidaten verlangt werden, dass ein und dasselbe Objekt mehrfach in einer Folge von Bildern ermittelt wird, bevor eine entsprechende Information über die Kommunikationsleitung mit beschränkter Bandbreite an einen menschlichen Beobachter bzw. eine Basisstation übertragen wird. Hingewiesen sei im Übrigen darauf, dass es ohne weiteres möglich ist, die Entscheidung darüber, ob ein bestimmtes Objekt tatsächlich interessiert, an der Basisstation zu trefen, und zwar unterstützt durch oder vollständig vermittels von automatisierten Algorithmen durchzuführen und/oder die entsprechenden, übermittelten Bildausschnitte zeitverzögert auszuwerten. Dies gilt insbesondere für Flugmissionen, bei denen zwar eine besonders genaue Durchsuchung eines Gebietes erforderlich ist, jedoch nicht schnell reagiert werden muss oder kann.

Die (photogrammetrische) Lokalisation eines Objektes innerhalb eines überflogenen Gebietes kann Selbstverortung nutzen. Da die einzelnen Sensorelemente relativ zueinander fix sind und auch Parameter wie die Kamerabrennweite auf Dauer fix sind, und da überdies zumindest bevorzugt jedes (Ge- samt-)Bild hemisphärisch ist, ist es einfach, festzulegen, wo der Ort, an dem ein potentieller Kandidat in einem Bild auftritt, in einem nachfolgenden Bild oder einem vorangegangen aufgenommen Bild zu finden ist. Dabei ist zudem hilfreich, dass nicht nur hemisphärische Bilder aufgenommen werden, sondern dass innerhalb einer aufgenommenen Hemisphäre auch ein Überlapp von mit benachbart zueinander angeordneten Sensorelementen vorhanden ist. Zudem ist es möglich und, weil leicht durchführbar, auch sinnvoll, die Sensorelementanordnung entweder für jeden Sensorkopf aufeinander einzukalibrieren oder zumindest eine für alle Sensorköpfe eines Modelltypus gültige Kalibration vorzunehmen. Der Rückgriff auf eine solche Kalibration erhöht die Genauigkeit bei einer Selbstlokalisation weiter. Dass zusätzlich und/oder alternativ eine Absolutverortung erfolgen kann, indem auf eine bekannte Flugrichtung, ein Magnetometer, Gyroskope, Kreiselkompassdaten, ein Inclinometer, GPS- und/oder GNSS- Signale usw. Bezug genommen wird und oder dass mit solchen Daten eine Präzision der Selbstverortung erhöht werden kann, sei als bevorzugt erwähnt.

Das eigentliche Auffmden der Objekte in den Bilddaten kann durch Verfahren der künstlichen Intelligenz, z.B. die Anwendung neuronaler Netze und dergleichen geschehen, und zwar ohne großen Leistungsaufwand auf einer herkömmlichen Grafikkarte, die für entsprechende Algorithmen ausgelegt ist, etwa durch eine Vielzahl von CUDA-Rechenwerken. Dabei kann insbesondere auch der sog. optische Flow von Bild zu Bild berücksichtigt werden, insbesondere bei ortsrichtiger Überlagerung der sequenziell erhaltenen Bilddaten. Dass die Bestimmung eines optischen Flusses auch unter Berücksichtigung der Bewegung einen im Vergleich besonders geringen Rechenaufwand erfordert, sei hier als vorteilhaft erwähnt. Die eigentlichen, zur Objektidentifikation erforderlichen Techniken, die neben dem eigentlichen Erkennen auch eine automatisierte Segmentierung umfassen, brauchen hier vorliegend nicht diskutiert werden, da entsprechende Techniken der künstlichen Intelligenz per se bekannt sind. Dass derartige Algorithmen Schritte wie eine Skalierung, Kantenerkennung usw. erfordern können, sei erwähnt.

Zudem ist es ohne weiteres möglich, dann, wenn ein potentieller Kandidat für ein Objekt in den Bilddaten gefunden wurde, diesen in einer GIS-Karte zu verorten. Es ist möglich und bevorzugt, entsprechende Information an eine Basisstation zu übertragen, wo etwa eine Karte aufgebaut werden kann, in der alle Orte potentieller Kandidaten eingetragen sind. Dass diese Karte annotiert und oder bei Überprüfung als irrelevant erkannter potentieller Kandidaten bereinigt werden kann, sei erwähnt. Bevorzugt ist es, auf einer solchen Karte Bilder mit abzulegen und oder die Objekte anklickbaren zu machen, damit die entsprechenden Objekte angezeigt werden können und oder mehr Bilder eines gegebenen Objektes von der entsprechenden Drohne nach geladen werden können. Es sei erwähnt, dass gegebenenfalls in ein und dieselbe Karte von mehreren Drohnen erfasste Objekte eingetragen werden können, was insbesondere dann vorteilhaft ist, wenn nur einzelne Drohnen besonders teure oder wenig benötigte Sensorelemente ausgerüstet sind, wie Sensorelemente für bestimmte Infrarot-Bereiche, und deswegen die mit den teureren Sensorelementen ausgestatteten Drohnen nur dorthin geflogen werden, wo zuvor andere Drohnen in rasterndem Überfliegen eines Gebietes potentielle Kandidaten identifiziert haben. Die spezialisierten Drohnen lassen sich gegebenenfalls automatisiert zu Orten potentieller Kandidaten navigieren. Dies sei als vorteilhaft offenbart. Mit anderen Worten sind gegebenenfalls Drohnenschwärme durch die hier vorgeschlagene GIS-Technik, für die die vorliegenden Gebietserfassungsvorrichtungen besonders vorteilhaft sind, durch die hier offenbarte Technik hocheffizient und automatisiert einsetzbar. Es sei zudem erwähnt, dass es durch den Aufbau geeigneter Kartierungen möglich ist, Hindernisse und Verdeckungen heraus zu rechnen bzw. zu berücksichtigen. Oftmals handelt es sich bei solchen verdeckenden Hindernissen um solche, die selbst in höchst auflösenden Geländekarten nicht eingetragen sind, etwa weil es sich um nur momentan vorhandene, verdeckende Hindernisse handelt. Dass Verdeckungen berücksichtigt werden können, wenn Objekte von Bild zu Bild verfolgt werden bzw. in aufeinanderfolgenden Bildern gesucht werden sollen, sei erwähnt. Dies verringert die Wahrscheinlichkeit, dass per se relevante Kandidaten durch Verdeckung und somit ohne triftigen Grund ignoriert werden.

Die zu potentiellen Kandidaten gehörenden Daten können dann an eine Basis übertragen werden. Dazu ist es bevorzugt, diese Daten zunächst zu puffern. Ein Puffern vermeidet einerseits, dass dann, wenn plötzlich sehr viele potentielle Kandidaten gefunden werden, einzelne der Kandidaten mangels ausreichender Bandbreite gar nicht übertragen werden können und berücksichtigt zudem, dass gegebenenfalls, gerade in schwierigem Gelände, eine gelegentliche Unterbrechung eines Kommunikationskanals auftreten kann. Es ist daher wünschenswert, wenn der Telekommunikationskanal eine Bandbreite besitzt, die zumindest etwas höher ist als für die Übertragung der Information zu allen potentiellen Kandiaten per se erforderlich. Dies erlaubt es, nach einem kurzfristigen Ausfall durch „burst“artige Übertragung den Pufferspeicher zügig zu leeren.

Es kann im Übrigen eine Rückmeldung vorgenommen werden, falls unerwartet viele potentiell relevante Objekte erfasst werden. Eine solche Rückmeldung kann an die Basis erfolgen, weil dann womöglich neue Filter gewählt werden sollten; es ist möglich, mehrere unterschiedliche Filteralgorithmen im Sensorkopf zu speichern, sodass diese nicht während eines Fluges übertragen werden müssen. Es ist zudem möglich, gegebenenfalls im Ansprechen auf eine in zu kurzer Zeit erfasste zu große Vielzahl von Objekten die Fluggeschwindigkeit zu verringern. Es kann auch deshalb sinnvoll sein, weil häufig deswegen viele potentiell relevante Objekte erfasst werden, weil tatsächlich ein gesuchter Ort wie eine Absturzstelle eines Flugzeuges identifiziert wurde. Dort ist aber die Aufnahme aus dichter beieinander hegenden Bildern dann womöglich sinnvoll, um eine bessere dreidimensionale Kartierung zu erlauben.

Dass gegebenenfalls eine Priorisierung potentieller Kandidaten nach Wahrscheinlichkeit oder Wichtigkeit bei dauerhaft zu geringer Bandbreite erfolgen kann, sei ebenfalls erwähnt. Dazu können z.B. über Algorithmen künstlicher Intelligenz gewonnene Wahrscheinlichkeiten, Objektgrößen usw. herangezogen werden.

Es sei erwähnt, dass bevorzugt die Bilddaten vollständig und insbesondere in ein Load On Demand erleichternder bzw. erlaubender Form abgelegt werden, um ein schnelles Nachladen zu ermöglichen. Damit brauchen dann je Kandidat beispielsweise nur um die 10 kB an Daten an eine Basis übertragen werden, was eine erhebliche Entlastung der Telemetrie-Strecke bedeutet. Dass dann gegebenenfalls weitere Detailaufnahmen und/oder Ausschnitte aufeinanderfolgender Bilder abrufbar gemacht werden, um etwa ein gegebenes Objekt aus mehreren Richtungen (Posen) betrachten zu können, sei erwähnt.

Erwähnt sei auch, dass insbesondere nach der Mission die Daten neuerlich feinanalysiert werden können, insbesondere bei sehr langen und datenintensiven Missionen unter Verwendung hinreichend leistungsstarker Server, insbesondere in einer Cloud.

Dass im Übrigen in der Basis in einer Applikationsschicht die entsprechenden Informationen, die von der oder den Drohnen erhalten werden, ebenfalls gepuffert und erforderlichenfalls (zwischen)gespeichert werden können, sei erwähnt. Zudem ist bereits in der Basis eine weitere Durchmusterung möglich, insbesondere ebenfalls mit Algorithmen künstlicher Intelligenz, wozu entsprechende Bilddaten aus der Drohne abgerufen werden können.

Weiter sei erwähnt, dass die Basisstation typisch mit einer geeigneten Software ausgerüstet sein wird, um einem menschlichen Beobachter in geeigneter Form relevante Informationen zur Kenntnis zu geben.

Erwähnt sei auch, dass der offenbarte Sensorkopf trotz der hohen Funktionalität, Datenverarbeitungsleistung und der integrierten Sensoren sowie Datenübertragungsmittel ein nur geringes Gewicht von z.B. nur um die 2 kg aufweisen muss, was sich mit Drohnen noch gut bewegen lässt. Es wird einzuschätzen sein, dass mit dem Fortschreiten der Datenverarbeitungstechnik eine Verkleinerung und leichtere Ausgestaltung möglich sein werden, was entsprechend kleinere Drohnen bzw. größere Reichweiten zulässt. Alternativ können bei höherem Gewicht für sehr leistungsstarke Drohnen, insbesondere etwa Aufklärungsdrohnen, eine große Vielzahl von Sensoren mit leistungsfähiger, langbrennweitiger Optik verbaut werden.

Erwähnt sei, dass mit dem offenbarten Sensorkopf der Nutzen einer Flugmission ganz erheblich gesteigert werden kann, wobei dank der größeren Erkennungszuverlässigkeit und der großen Effizienz durch die Kombination aus hochauflösender, hemisphärischer Bilderfassung und mobiler künstlicher Intelligenz (KI) „on the Edge“ im Sensorkopf selbst ungeachtet der beschränkten Übertragungsbandbreiten ohne weiteres mit der am Anmeldetag zur Verfügung stehender Rechenleistung usw. bereits um etwa einen Faktor 20 gesteigert werden kann.

Erwähnt sei auch, dass der offenbarte Sensorkopf dank der von komplizierten mechanischen Gelenken usw. freien Optikanordnung hochgradig zuverlässig ist. Erwähnt sei weiter, dass der offenbarte Sensorkopf selbst bei Verwendung von 24 oder 48 bildgebenden Sensorelementen, die jeweils 12 MPix liefern, lediglich eine heute bereits herkömmlich verfügbare Grafikkarte bzw. GPU benötigt, um die Bildverarbeitung vor Ort als On-The-Edge-Bildverarbeitung zu bewältigen und dabei interessierende Bildausschnitte zu definieren und für eine Quasi-Echtzeit- Übertragung auszuwählen. Es sei erwähnt, dass eine Bilderfassung mit bis zu 30GBit/s ohne weiteres und damit auch in Fluggeräten mit geringem Energieangebot möglich ist und dass die Bilddaten dabei insbesondere direkt an eine bilddatenverarbeitende Grafikkarte gespeist werden können, wie eine CUDA-Rechenwerke aufweisende kommerzielle Grafikkarte. Dabei sei erwähnt, dass entsprechende Grafikkarten ohne weiteres etwa ITFlop/s Rechenleistung für Objekterkennungszwecke bereitstellen können, was für sehr viele Anwendungen vollkommen ausreichend ist.

Erwähnt sei zudem, dass die für die Bearbeitung der Bilddaten bei den beispielhaft erwähnten 48 Sensorelementen mit je 12 MPix erforderliche Leistung nur etwa 10 W beträgt, was ohne weiteres lokal bereitgestellt werden kann.

Erwähnt sei auch, dass der offenbarte Sensorkopf gegebenenfalls zusätzlich zu den Ausschnitten einen Videostrom mit an niedrige Datenübertragungsraten angepasster Videostrom-Auflösung übertragen kann, die auf Auflösungen unter der gemäß Bildsensoren maximal möglichen Auflösung verringert ist.

Erwähnt sei, dass dem offenbarten Sensorkopf durch Einsatz von Methoden der künstlichen Intelligenz eine deutlich verringerte Bandbreite für die Übertragung relevanter Bilddaten genügt.

Erwähnt sei, dass der offenbarte Sensorkopf durch den in sich weitgehend oder vollständig abgeschlossenen Aufbau an einer Vielzahl von unbemannten Fluggeräten montiert werden kann und, dank der Flexibilität insbesondere hinsichtlich der Anzahl und des Typus der Sensoren sowie der Möglichkeit, die verwendeten Algorithmen der künstlichen Intelligenz jeweiligen Gebietserfassungszwecken anzupassen, für vielfältige Anwendungen einsetzbar ist.

Erwähnt sei, dass die Entlastung des Operators es ermöglicht, dass dieser simultan von mehreren Drohnen jeweils selektierte Bildausschnitte erhält, sodass ein einzelner Operator gegebenenfalls ein ganzes Drohnengeschwader sinnvoll nutzen kann.

Es sei darauf hingewiesen, dass es möglich ist, die Bildausschnitte auf einer Vielzahl unterschiedlicher, in einer Basisstation vorhandener Geräte darzustellen wie Mobitelefone, Pads, Laptops usw.. Insbesondere ist es möglich, am Ort, von welchem die Drohne oder mehrere Drohnen gestartet werden, eine Relaisstation zu einem Beobachtungszentrum zu installieren. Derartige Relaisstationen können typisch über Breitbandverbindungen mit Beobachtungszentren kommunizieren, sodass dort die Möglichkeit besteht, empfangene Bilder quasi in Echtzeit auf einer Vielzahl großer Monitore darzustellen, was die Beobachter weiter entlastet.

Zudem kann ermöglicht werden, dass mehrere Beobachter gemeinsam - oder, bei längeren Missionen gegebenenfalls auch nacheinander - die empfangenen Bilddaten bewerten.

Die Erfindung wird im Folgenden nur beispielhaft unter Bezugnahme auf die Figur beschrieben. In dieser ist dargestellt durch:

Fig. 1 eine perspektivische Ansicht eines Sensorkopfes;

Fig. 2 verschiedene funktionale Elemente des Sensorkopfes;

Fig. 3 ein mögliches System zur Gebietserfassung;

Fig. 4. eine Skizze zur Erläuterung der Objektidentifikation.

Nach Figur 1 umfasst ein Sensorkopf 1 ein Gehäuse 2 mit einer Vielzahl fest daran vorgesehener Kameras 3, d.h. Bildsensoren mit zugeordneter Optik, elektronischem Verschluss usw.. Dargestellt sind die Objektive mit einer zugehörigen Schutzabdeckung. Hinter den Objektiven liegen die Sensoren und die zugehörige Elektronik. Die Kameras sind dazu ausgebildet, simultan ausgelesen zu werden und mit jedem Frame gemeinsam ein mindestens hemisphärisches Bild aufzunehmen, und zwar beispielsweise mit einer Rate von hier einem Frame je Sekunde, oder, in weniger bevorzugten Varianten oder für langsamere Drohnen, z.B. je 2 Sekunden oder je 5 Sekunden. Es sei erwähnt, dass gegebenenfalls in kritischen Anwendungen, beispielsweise bei sich sehr schnell bewegenden Drohnen, höhere Frameraten implementierbar wären, insbesondere mit Fortschreiten der Technik. Das einzelne Sensorelement ist vorliegend ein Farbsensor mit 12 Megapixel Auflösung für sichtbares Licht und Bayerfilter.

Am Gehäuse ist weiter ein Touch-Display 4 zu erkennen, mit dem Informationen über den Status des Sensorkopfes vor oder nach einer Mission abgerufen werden können und bestimmte Einstellungen wie beispielsweise die Framerate vorgenommen werden können oder Parameter wie eine absolute Position des Startortes vorgegeben werden können.

Das Gehäuse weist weiter eine Stelle 5 auf, an welcher der Sensorkopf mechanisch an einer Drohne befestigt werden kann, um bei einer optischen Gebietserfassung aus der Luft von der Drohne über das zu überwachende Gebiet hinweg bewegt zu werden. Dem Fachmann wird bewusst sein, dass Gewinde und dergleichen zum Anschrauben des Sensorkopfes an der Drohne gut für die Befestigung geeignet sind.

Der Sensorkopf 1 ist weiter mit einem Stromversorgungsanschluss 6 versehen, über welchen er während des Fluges Leistung aus der Drohne erhalten kann. Nicht graphisch dargestellt ist, dass über die zur Drohne führenden Anschlüsse in dem dargestellten Ausführungsbeispiel auch Poseninformation von der Drohne an den Sensorkopf gespeist werden können.

Weiter weist der Sensorkopf eine I/O-Schnittstelle 7 für das Auslesen von während einer Flugmission aufgenommener Bilddaten und für das vor einer Mission an der Basis erfolgende Einspielen von Konfigurationsdaten wie verschiedenen, auch während der Mission wählbaren bzw. wechselbaren Al- Filter- Algorithmen auf. Es sind zudem Anschlüsse für Telemetrie-Antennen und GPS bzw. GNSS- Empfangsantennen vorgesehen.

Der dargestellte Sensorkopf hat einen Durchmesser von ca. 20cm und ein Gewicht von unter 2 kg.

Im Inneren des in Figur 1 dargestellten Sensorkopfes 1 sind verschiedene funktionale Elemente untergebracht, vergleiche hierzu die schematische Figur 2, nämlich unter anderem - neben der Sensorele- ment-Steuerungs- und Ausleselektronik - eine vorliegend mit einer zur Durchführung von AI- Operationen an den Bilddaten hinreichend leistungsfähigen Grafikkarte 9 bzw. eine hinreichend leistungsfähige GPU, einen Speicher 10 für sämtliche während einer Flugmission aufgenommenen Bilddaten mitsamt den zugehörigen Posen, also der Information über Ort und Ausrichtung des Sensorkopfes. Weiter ist eine Schnittstelle für die Übertragung von Information über die Telemetrie-Strecke vorhanden. Zudem ist eine Kontrollereinheit 11 integriert, die insbesondere zur Berechnung verschiedener Informationen wie beispielsweise der Roseninformation aus den entsprechenden Sensoren dient.

Nach Figur 3 ist der Sensorkopf 1 im Betrieb an einer Drohne D befestigt, die im vorliegenden Ausführungsbeispiel Poseninformation an den Sensorkopf gibt, was aber nicht zwingend ist; in bevorzugten Varianten ist der Sensorkopf selbst mit geeigneten Sensoren für die Erfassung der Pose ausgerüstet und insoweit autark. Dass alternativ der Sensorkopf selbst Poseninformation erfassen könnte, etwa durch triaxiale Accelerometer, sei daher explizit als vorteilhaft offenbart. Der Sensorkopf nimmt mit allen Sensorelementen simultan hemisphärische Bilder auf, die dann bearbeitet werden, indem zunächst die Rohdaten in üblicher Weise bearbeitet werden (was die Korrektur defekter Pixel, Bayer- Filterung usw. einschließt). Die aufbereiteten Bilddaten werden vollständig weg geschrieben, und zwar derart, dass später ein Nachladen von Ausschnitten unterschiedlicher Größe und deren Darstellung ohne Artefakte möglich ist.

Dann wird in den aufbereiteten Bilddaten mit Algorithmen der künstlichen Intelligenz nach interessierenden Objekten gesucht und es werden Ausschnitte bestimmt, in denen potentielle Kandidaten interessierender Objekte hegen. Zugleich wird unter Anwendung von SLAM-Verfahren bestimmt, wo die potentielle Kandidaten zu verorten sind, dass das potentiell interessierende Objekte vermutet werden. Die potentiellen Kandidaten werden per Telemetrie, vergleiche Bezugszahl 12, zusammen mit den ermittelten Ortsdaten an eine Basisstation übertragen und zwar mit einem den potentiellen Kandidaten zeigenden Bildausschnitt. Im dargestellten Ausführungsbeispiel besitzt der Sensorkopf eigene Datenübertragungsmittel, um die Telemetrieaufgaben zu bewältigen, ist also auch insofern von der Drohne unabhängig, was bevorzugt ist, weil es die Systemintegration vereinfacht. Dort kann ein menschlicher Beobachter bewerten, ob der potentielle Kandidaten tatsächlich relevant ist, und gegebenenfalls zur Bewertung oder bei einem interessierenden Objekt 14 weitere Information vom Sensorkopf über die Telemetriestrecke anfordem. Gegebenenfalls ist es möglich, von der Basisstation Information für eine weitere Bewertung in eine Cloud zu speisen, vergleiche Bezugszahl 15.

In Figur 4 ist dargestellt, dass ein als Stem dargestelltes Objekt 14 in einem zu erfassende Gebiet bei Überfliegen des Objektes in durch den Pfeil dargestellter Richtung mehrfach erfasst wird. Durch Kenntnis der bei jeder Bildaufhahme gegebenen Position bzw. zumindest Kenntnis der Positionsdifferenz und /oder durch die Anwendung von per se bekannten Selbstlokalisationsverfahren und fotogranmetrischen Methoden, die bei den typisch kalibrierten Sensorköpfen besonders präzise sind, kann der Ort des Objektes 14 ermittelt und in einem grafischen Informationssystem kartiert werden. Die entsprechende Information kann als Vorschlag an die Basisstation übertragen werden und von dort kann, falls an der Basisstation automatisiert oder durch einen menschlichen Beobachter festgestellt wird, dass das Objekt relevant sein könnte für den Zweck der Beobachtungsmission, gegebenenfalls Informationen nachgeladen werden oder eine Reaktion auf das Auffmden des Objektes an dem entsprechenden Ort veranlasst werden.

Dass es möglich ist, den Sensorkopf in unterschiedlichen Ausprägungen der Autarkie zu betreiben, sei erwähnt. So kann in einer ersten Ausführungsform eine vollständige Autarkie gegeben sein; in einer zweiten Ausführungsform kann die Drohne ausschließlich Energie an den Sensorkopf speisen; in einer dritten Ausführungsform speist die Drohne auch Positionsdaten und/oder Ausrichtungsdaten zusätzlich zu Energie an den Sensorkopf; in einer vierten Ausführungsform speist die Drohne ausschließlich Positionsdaten und/oder Ausrichtungsdaten an den Sensorkopf und in einer fünften Ausführungsform mit besonders enger Kopplung kann die Drohne die Telemetrie-Kommunikation übernehmen, Energie an den Sensorkopf speisen und Positionsdaten und Ausrichtungsdaten für den Sensorkopfbereitstellen. Dass weitere Varianten möglich sind, sei erwähnt. Hingewiesen sei auch darauf, dass es möglich ist, eine Drohne selbst fest als Gebietserfassungsvorrichtung auszugestalten. Dies hat insbesondere dort Vorteile, wo eine besonders hohe Versagenssicherheit gewährleistet sein muss und Kosten eine dagegen eher untergeordnete Rolle spielen, etwa bei besonders kritischen Rettungsmissionen oder militärischen Operationen. Zusammenfassend wurde somit ein Luftbilderfassungsverfahren unter Verwendung von Methoden der künstlichen Intelligenz, insbesondere Methoden der Edge-AI gezeigt, das es erlaubt, unter Verwendung von Datenübertragungsverfahren wie dem 4G bzw. 5G-Standard die digitale Bildgebung signifikant zu verbessern, Drohnen breiter einsetzbar zu machen und Computer-Visions-Verfahren eine neue Anwendung zu eröffnen.

Weiter wurde zusammenfassend gezeigt, wie mit einer neuartigen Kameratechnik unter Verwendung AI gestützter Echtzeit-Bilddatenauswertung die Zuverlässigkeit und die Effizienz einer Mission zur Luftbilderfassung um ein Mehrfaches gesteigert werden kann.

Beschrieben wurde somit vorstehend unter anderem eine zur optischen Gebietserfassung aus der Luft ausgebildete Gebietserfassungsvorrichtung mit einer Vielzahl von Bildsensoren, deren Sichtfelder gemeinsam einen Bereich überdecken, die dazu ausgebildet sind, wiederholt Bilder aufhehmen, und die zur Anbringung an einem Fluggerät ausgebildet oder in ein Fluggerät integriert sind, einer Bildspeichereinheit zum zumindest temporären Speichern von für die aufgenommenen Bilder repräsentativen Bilddaten aus den Bildsensoren, und drahtlosen Datenübertragungsmitteln, wobei eine Bildauswerteeinheit vorgesehen ist, die zur automatisierten Ermittlung zumindest eines potentiell interessierenden Objektes in den Bilddaten, und zu wenigstens einem von Definition von zumindest einem, das potentiell interessierende Objekt enthaltenden Ausschnitt und Bestimmung der Positionsdaten des potentiell interessierenden Objektes ausgebildet ist, und durch drahtlose Datenübertragungsmittel, die dazu ausgebildet sind, von den zumindest temporär gespeicherten Bildern selektiv zumindest einen Bildausschnitt, der das zumindest eine potentiell interessierende Objekt enthält, und/oder die mit der Bildauswerteeinheit bestimmten Positionsdaten des potentiell interessierenden Objektes in den Bilddaten drahtlos an eine Basis zu übertragen.

Dabei kann vorteilhaft sein, wenn die Sensoren für eine mindestens hemisphärische Sichtfelderfassung angeordnet sind.

Es ist insbesondere unabhängig davon, ob die Sensoren für eine mindestens hemisphärische Sichtfelderfassung angeordnet sind, möglich, dass der Sensorkopf Sensoren umfasst, die Bilder mit zugeordneten, unterschiedlich orientierten Polarisationsfiltern aufhehmen, und/oder wenigstens zwei verschiedene Sensorarten umfasst, die ausgewählt sind aus VIS, thermal, MWIR, LWIR, wobei bevorzugt für Sensoren unterschiedlicher Sensorart unterschiedliche Verfahren der Bilderkennung bzw. unterschiedliche trainierte Filteralgorithmen verwendet werden, und wobei die mit jeweiligen Sensorarten bzw. Polarisationen aufgenommenen Sichtfelder praktisch vollständig überlappen.

Weiter kann, unabhängig von der Frage, ob die Sensoren für eine mindestens hemisphärische Sichtfelderfassung angeordnet sind und/oder ob unterschiedliche Sensoren bzw. unterschiedliche Polarisati- onsrichtungen erfassende Sensoren vorgesehen sind, bei einer Gebietserfassungsvorrichtung vorteilhaft sein, dass den Bildsensoren eine Bildausleseeinheit zugeordnet ist, die dazu ausgebildet ist, Bilder aller Bildsensoren simultan auszulesen, insbesondere in einem festen zeitlichen Abstand und/oder nach dem Zurücklegen einer bestimmten Strecke.

Auch kann, vorteilhaft in Verbindung mit anderen vorteilhaften Ausgestaltungen, aber auch für sich alleine, bevorzugt sein, wenn die Bildsensoren zumindest relativ zueinander feststehen und bevorzugt sowohl relativ zueinander als auch zum Fluggerät feststehen.

Für eine Gebietserfassungsvorrichtung, die weitgehend autark von den Sensoren und der Telemetriestrecke einer sie transportierenden Drohne sein soll, kann es - auch unabhängig von anderen vorteilhaften Ausgestaltungen- vorteilhaft sein, wenn sie -einen Sensorkopf umfasst, der mit zumindest einem von Beschleunigungsmesser, bevorzugt einem triaxialen Beschleunigungsmesser, Positionsbestimmungsmittel, bevorzugt einem oder mehreren GPS-Sensor und/oder GNSS -Sensor, Neigungsmesser, Gyroskop und Magnetometer ausgerüstet ist und/oder zur Bestimmung der eigenen Position durch Triangulation und/oder zur Selbstverortungausgebildet ist;

Es sei als alternativ und/oder zusätzlich vorteilhafte Ausführung auch offenbart , dass die Gebietserfassungsvorrichtung so ausgebildet sein, dass sie einen Speicher aufweist, der zum Wegschreiben von hochaufgelösten Bilddaten, bevorzugt zum Speichern hochaufgelöster Bilddaten von allen Bildsensoren mitsamt den zur Aufhahmezeit gehörigen Positions- und/oder Orientierungsdaten ausgebildet ist, insbesondere zum Wegschreiben aller während eines Fluges oder Flugabschnittes aufgenommenen Bilddaten.

Es sei als alternativ und/oder zusätzlich vorteilhafte Ausführung auch offenbart, dass eine Gebietserfassungsvorrichtung - unabhängig von anderen vorteilhaften Ausgestaltungen- eine Übertragungs- Bandbreite aufweist, die geringer ist als jene, die zur vollständigen Übertragung aller Bilddaten eines aufgenommen Bildes binnen des bis zur nächsten Bildaufhahme verstreichenden Zeitraumes erforderlich ist und/oder mit einer Übertragungs-Bandbreite verwendbar sind, die geringer ist als jene, die zur vollständigen Übertragung der Daten aller aufgenommenen Bilder binnen des bis zur nächsten Bildaufnahme verstreichenden Zeitraumes erforderlich wäre, und/oder während einer Übertragungsdauer verwendbar sind, die kürzer ist als der Zeitraum, der zur Übertragung aller je Bildaufhahmezeitraum aufgenommener Bilder erforderlich wäre , wobei die drahtlosen Datenübertragungsmitteln dazu ausgebildet sind, nur die selektierten aktuellen Bilddaten, insbesondere Bilddaten mit dem zumindest einen Bildausschnitt, der das zumindest eine potentiell interessierende Objekt enthält sowie von der oder einer Basis angeforderte frühere Bilddaten zu übertragen.

Während die jeweiligen vorteilhaften Merkmale für sich alleine erfinderisch und/oder vorteolhaft sein können sein, wird zu verstehen sein, dass bei einer als Drohne ausgestaltete Gebietserfassungsvorrichtung besondere Vorteile erhalten werden, wenn sie über-hemisphärische, hochaufgelöste Bilder mit unterschiedlichen Sensorarten bzw. Polarisationen aufhimmt, dabei durch Sensorkopfeigene Positionsund Orientierungsbestimmungsmittel die Position und Orientierung drohnenunabhängig ermittelt wird, und eine Überlagerung der Bilder durch simultane Aufnahme erleichert wird. In einem solchen Fall ist es besonders einfach, mit für die unterschiedlichen Bildsensoren unterschiedlichen Filtern Objekte aufzuspüren, da die Bildanalyse sowohl lokal im Sensorkopf als auch an einer Basis erleichtert wird und so ist sinnvoll, während eines Fluges nur eine Selektion potentiell interessanter Bilddaten zu übertragen, die restlichen Daten im Kopf wegzuschreiben und dann bei Bedarf weitere Bilddaten zu übertragen. Schutz wird daher auch beansprucht für eine Drohne mit einer Gebietserfassungsvorrichtung wie vorstehend offenbart, bei welcher der Sensorkopf eine Schnittstelle aufweist, die dazu ausgebildet ist, die dazu ausgebildet ist, aus einer Datenbank für bestimmte Objekte charakteristische Bild-Filter zur Objektidentifikation zu erhalten; Sensoren umfasst, die Bilder mit zugeordneten, unterschiedlich orientierten Polarisationsfiltern Polarisation aufnehmen und/oder wenigstens zwei verschiedene Sensorarten umfasst, die ausgewählt sind aus VIS, thermal, MWIR, LWIR, wobei die mit jeweiligen Sensorarten bzw. Polarisationen aufgenommenen Sichtfelder praktisch vollständig überlappen und bevorzugt für Sensoren unterschiedlicher Sensorart unterschiedliche Verfahren der Bilderkennung bzw. unterschiedliche trainierte Filteralgorithmen verwendet werden, die Sensoren für eine mindestens hemisphärische Sichtfelderfassung angeordnet sind und den Bildsensoren eine Bildausleseeinheit zugeordnet ist, die dazu ausgebildet ist, Bilder aller Sensoren auszulesen, wobei die Bildsensoren zumindest relativ zueinander und relativ zum Fluggerät feststehen, der Sensorkopf mit zumindest einem von triaxialen Beschleunigungsmesser, Positionsbestimmungsmittel, bevorzugt einem oder mehreren GPS- Sensor und/oder GNSS -Sensor, Neigungsmesser, Gyroskop und Magnetometer derart ausgerüstet ist, dass zumindest eine Orientierung des Sensorkopfes bei der aufhahme erfasst werden kann, wobei der Sensorkopf weiter einen Speicher aufweist, der zum Wegschreiben der hochaufgelösten Bilddaten mitsamt den zur Aufhahmezeit gehörigen, im Sensorkopf ermittelten Positions- und Orientierungsdaten ausgebildet ist, und wobei die drahtlosen Datenübertragungsmitteln eine Übertragungs-Bandbreite aufweisen, die geringer ist als jene, die zur vollständigen Übertragung aller Bilddaten eines aufgenommen Bildes binnen des bis zur nächsten Bildaufhahme verstreichenden Zeitraumes erforderlich ist, und/oder mit einer Übertragungs-Bandbreite verwendbar sind, die geringer ist als jene, die zur vollständigen Übertragung der Daten aller aufgenommenen Bildes binnen des bis zur nächsten Bildaufnahme verstreichenden Zeitraumes erforderlich wäre, und/oder während einer Übertragungsdauer verwendbar sind, die kürzer ist als der Zeitraum, der zur Übertragung aller je Bildaufhahmezeitraum aufgenommener Bilder erforderlich wäre, wobei die drahtlosen Datenübertragungsmitteln dazu ausgebildet sind, nur selektierte aktuelle Bilddaten, insbesondere Bilddaten mit dem zumindest einen Bildausschnitt, der das zumindest eine potentiell interessierende Objekt enthält und/oder von der oder einer Basis angeforderte frühere Bilddatenzu übertragen. Dass damit besonders einfach nach Objekten in einem zu überwachenden Gebiet gesucht werden kann, bei dem das zu überwachende Gebiet mit mindestens einer Gebietserfassungsvorrichtung überflogen wird, dabei die Bilddaten innerhalb der Gebietserfassungsvorrichtung auf das Vorhandensein von interessierenden Objekten untersucht wird und Bilddaten der ein potentiell interessierendes Objekt enthaltenden Ausschnitte und/oder Positionsdaten, vorzugsweise unter Verwendung von Selbstverortungsmethoden bestimmten Positionsdaten evtl, interessierender Objekte drahtlos an eine Basis übertragen werden, sei erwähnt, ebenso, dass dank der Entlastung der menschlichen Beobachter an der Basis einem menschlichen Beobachter an einer Basis Bilder von mehr als einer Drohne übertragen werden können, ohne dass dieser davon auf Dauer überlastet wird.

Bezugszeichenliste :

1 Sensorkopf

2 Gehäuse des Sensorkopfes

3 Bildsensorelemente mit fest im Gehäuse verankerter Optik vor den einzelnen Sensorelementen

4 lokales Touch Display zur Bedienung vor / nach einer Mission

5 Befestigungsmittel zur Anbringung an Drohne

6 Stromversorgungsanschluss

7 I/O -Schnittstelle zum Auslesen des Speicher nach Rückkehr an die Basis

8 Anschlüsse für Telemetrieantennen und GPS/GNSS-Empfanger

9 GPU für Objekterkennung

10 Speicher in Sensorkopf

11 von GPU verschiedene weitere Rechenmittel im Sensorkopf (Prozessor, Microcontroller, RAM usw.)- Es sei darauf hingewiesen, dass gegebenenfalls die Objekterkennung und die weiteren Aufgaben wie die Posenerfassung usw. auf einer einzigen Rechenanordnung durchgeführt werden können und insofern eine Trennung in GPU und weiteren Prozessor nicht zwingend ist, insbesondere nicht bei fortschreitender Prozessortechnik

12 Telemetriestrecke

13 Basisstation mit Display, Rechnern, Cloudverbindung, Auswertesoftware und bidirektionaler Kommunikationsmöglichkeit mit dem Sensorkopf insbesondere zum Empfang von Bilddaten potentiell interessierender Objekte und zur Nachlade- Anforderung von hochauflösenderen und/ oder umfassenderen Bildinformationen zu einen menschlichen Beobachter interessierenden Objekten

14 potentiell interessierendes Objekt (Kandidat bzw. Vorschlag).

15 Cloud

D Drohne

Claims

Ansprüche

1. Zur optischen Gebietserfassung aus der Luft ausgebildete Gebietserfassungsvorrichtung mit einer Vielzahl von Bildsensoren, deren Sichtfelder gemeinsam einen Bereich überdecken, die dazu ausgebildet sind, wiederholt Bilder aufhehmen, und die zur Anbringung an einem Fluggerät ausgebildet oder in ein Fluggerät integriert sind, einer Bildspeichereinheit zum zumindest temporären Speichern von für die aufgenommenen Bilder repräsentativen Bilddaten aus den Bildsensoren, und

Datenübertragungsmitteln, gekennzeichnet durch eine Bildauswerteeinheit, die zur automatisierten Ermittlung zumindest eines potentiell interessierenden Objektes in den Bilddaten, und zu wenigstens einem von

Definition von zumindest einem, das potentiell interessierende Objekt enthaltenden Ausschnitt und

Bestimmung der Positionsdaten des potentiell interessierenden Objektes ausgebildet ist, und durch

Datenübertragungsmittel, die dazu ausgebildet sind, von den zumindest temporär gespeicherten Bildern selektiv zumindest einen Bildausschnitt, der das zumindest eine potentiell interessierende Objekt enthält, und/oder die mit der Bildauswerteeinheit bestimmten Positionsdaten des potentiell interessierenden Objektes in den Bilddaten drahtlos an eine Basis zu übertragen. Gebietserfassungsvorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Sensoren für eine mindestens hemisphärische Sichtfelderfassung angeordnet sind. Gebietserfassungsvorrichtung nach dem vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Sensorkopf

Sensoren umfasst, die Bilder mit zugeordneten, unterschiedlich orientierten Polarisationsfiltern aufhehmen, und/oder wenigstens zwei verschiedene Sensorarten umfasst, die ausgewählt sind aus VIS, thermal, MWIR, LWIR, wobei bevorzugt für Sensoren unterschiedlicher Sensorart unterschiedliche Verfahren der Bilderkennung bzw. unterschiedliche trainierte Filteralgorithmen verwendet werden, und wobei die mit jeweiligen Sensorarten bzw. Polarisationen aufgenommenen Sichtfelder praktisch vollständig überlappen. Gebietserfassungsvorrichtung nach einem der beiden vorhergehenden Ansprüche, dadurch gekennzeichnet, dass den Bildsensoren eine Bildausleseeinheit zugeordnet ist, die dazu ausgebildet ist, Bilder aller Bildsensoren simultan auszulesen, insbesondere in einem festen zeitlichen Abstand und/oder nach dem Zurücklegen einer bestimmten Strecke. Gebietserfassungsvorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Bildsensoren zumindest relativ zueinander feststehen und bevorzugt sowohl relativ zueinander als auch zum Fluggerät feststehen. Gebietserfassungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie einen Sensorkopf umfasst, der mit zumindest einem von

Beschleunigungsmesser, bevorzugt einem triaxialen Beschleunigungsmesser, Positionsbestimmungsmittel, bevorzugt einem oder mehreren GPS-Sensor und/oder GNSS -Sensor,

Neigungsmesser, Gyroskop und Magnetometer ausgerüstet ist und/oder zur Bestimmung der eigenen Position durch Triangulation und/oder zur Selbstverortung ausgebildet ist. Gebietserfassungsvorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass sie einen Speicher aufweist, der zum Wegschreiben von hochaufgelösten Bilddaten, bevorzugt zum Speichern hochaufgelöster Bilddaten von allen Bildsensoren mitsamt den zur Aufnahmezeit gehörigen Positions- und/oder Orientierungsdaten ausgebildet ist, insbesondere zum Wegschreiben aller während eines Fluges oder Flugabschnittes aufgenommenen Bilddaten. Gebietserfassungsvorrichtung nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass die Datenübertragungsmittel drahtlos sind und eine Übertragungs-Bandbreite aufweisen, die geringer ist als jene, die zur vollständigen Übertragung aller Bilddaten eines aufgenommen Bildes binnen des bis zur nächsten Bildaufhahme verstreichenden Zeitraumes erforderlich ist, und/oder mit einer Übertragungs-Bandbreite verwendbar sind, die geringer ist als jene, die zur vollständigen Übertragung der Daten aller aufgenommenen Bilder binnen des bis zur nächsten Bildaufhahme verstreichenden Zeitraumes erforderlich wäre, und/oder während einer Übertragungsdauer verwendbar sind, die kürzer ist als der Zeitraum, der zur Übertragung aller je Bildaufhahmezeitraum aufgenommener Bilder erforderlich wäre, und die drahtlosen Datenübertragungsmitteln dazu ausgebildet sind, nur die selektierten aktuellen Bilddaten, insbesondere Bilddaten mit dem zumindest einen Bildausschnitt, der das zumindest eine potentiell interessierende Objekt enthält, sowie von der oder einer Basis angeforderte frühere Bilddaten zu übertragen. Als Drohne ausgestaltete Gebietserfassungsvorrichtung nach Anspruch 1, insbesondere Drohne mit einem als Gebietserfassungsvorrichtung nach einem der vorhergehenden Ansprüche ausgestalteten und zumindest bis auf die Energieversorgung autarken, insbesondere anmontierten Sensorkopf.

Drohne nach dem vorhergehenden Anspruch, bei welcher der Sensorkopf eine Schnittstelle aufweist, die dazu ausgebildet ist, aus einer Datenbank für bestimmte Objekte charakteristische Bild-Filter zur Objektidentifikation zu erhalten;

Sensoren umfasst, die Bilder mit zugeordneten, unterschiedlich orientierten Polarisationsfiltern aufhehmen und/oder wenigstens zwei verschiedene Sensorarten umfasst, die ausgewählt sind aus VIS, thermal, MWIR, LWIR, wobei die mit jeweiligen Sensorarten bzw. Polarisationen aufgenommenen Sichtfelder praktisch vollständig überlappen und bevorzugt für Sensoren unterschiedlicher Sensorart unterschiedliche Verfahren der Bilderkennung bzw. unterschiedliche trainierte Filteralgorithmen verwendet werden, die Sensoren fur eine mindestens hemisphärische Sichtfelderfassung angeordnet sind und den Bildsensoren eine Bildausleseeinheit zugeordnet ist, die dazu ausgebildet ist, Bilder aller Sensoren auszulesen, wobei die Bildsensoren zumindest relativ zueinander und relativ zum Fluggerät feststehen, der Sensorkopf mit zumindest einem von triaxialen Beschleunigungsmesser, Positionsbestimmungsmittel, bevorzugt einem oder mehreren GPS-Sensor und/oder GNSS -Sensor, Neigungsmesser, Gyroskop und Magnetometer derart ausgerüstet ist, dass zumindest eine Orientierung des Sensorkopfes bei der aufhahme erfasst werden kann, wobei der Sensorkopf weiter einen Speicher aufweist, der zum Wegschreiben der hochaufgelösten Bilddaten mitsamt den zur Aufhahmezeit gehörigen, im Sensorkopf ermittelten Positions- und Orientierungsdaten ausgebildet ist, und wobei die drahtlosen Datenübertragungsmitteln eine Übertragungs-Bandbreite aufweisen, die geringer ist als jene, die zur vollständigen Übertragung aller Bilddaten eines aufgenommen Bildes binnen des bis zur nächsten Bildaufhahme verstreichenden Zeitraumes erforderlich ist, und/oder mit einer Übertragungs-Bandbreite verwendbar sind, die geringer ist als jene, die zur vollständigen Übertragung der Daten aller aufgenommenen Bildes binnen des bis zur nächsten Bildaufhahme verstreichenden Zeitraumes erforderlich wäre, und/oder während einer Übertragungsdauer verwendbar sind, die kürzer ist als der Zeitraum, der zur Übertragung aller je Bildaufhahmezeitraum aufgenommener Bilder erforderlich wäre, und wobei die drahtlosen Datenübertragungsmitteln dazu ausgebildet sind, nur selektierte aktuelle Bilddaten, insbesondere Bilddaten mit dem zumindest einen Bildausschnitt, der das zumindest eine potentiell interessierende Objekt enthält und/oder von der oder einer Basis angeforderte frühere Bilddatenzu übertragen. Verfahren zur Suche nach Objekten in einem zu überwachenden Gebiet, dadurch gekennzeichnet, dass über das zu überwachende Gebiet mit mindestens einer Gebietserfassungsvorrichtung überflogen wird, dabei die Bilddaten innerhalb der Gebietserfassungsvorrichtung auf das Vorhandensein von interessierenden Objekten untersucht wird und Bilddaten der ein potentiell interessierendes Objekt enthaltenden Ausschnitte und/oder Positionsdaten, vorzugsweise unter Verwendung von Selbstverortungsmethoden bestimmten Positionsdaten evtl, interessierender Objekte drahtlos an eine Basis übertragen werden. Verfahren nach dem vorhergehenden Anspruch, dadurch gekennzeichnet, dass einem menschlichen Beobachter an einer Basis Bilder von mehr als einer Drohne übertragen werden.