Verfahren zur Detektion dynamischer Marker und Unterstützung der Landung von Multikoptern

Dauer der Arbeit: 6 Monate
Abgabe: Oktober 2016
Betreuer: Dipl.-Wirt.-Inf. (FH) Florian Segor Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung
Prüfer: Prof. Dr.-Ing. Norbert Haala

Im Rahmen dieser Arbeit wurde ein Lösungsansatz entwickelt, der es mittels optischer Verfahren ermöglicht, die richtige Landeposition zu finden sowie den Landeprozess zu unterstützen, um damit die Schwächen der GPS-Manövrierung bei der Genauigkeit und in geringen Höhen zu kompensieren.

Hierfür wurde zunächst ein geeignetes intelligentes Kamerasystem evaluiert und gewählt. Als Grundlage zur Anzeige der entsprechenden Markenmuster wurde ein großes, bezüglich der Wetterbedingungen robustes Display präferiert. Dieses Display diente zugleich auch als Landefläche für den Multikopter. Um eine Falscherkennung der Marker zu vermeiden, wurde nicht nur ein einzelnes Muster angezeigt, sondern es sollte eine Sequenz von Mustern zur Bestimmung des Markers erkannt werden. Diese Verfahrensweise wird als dynamische Markenerkennung bezeichnet.

If the lens is tilted aside from the radial and tangential distortion and affine and shear, the keystone distortion should be considered. Effect is of the keystone distortion can be seen in Fig. 1.

Das Verfahren zur dynamischen Markenerkennung wurde stufenweise aufgebaut und umfasste zwei Schritte.

• Zunächst musste in einem ersten Schritt jedes einzelne Markenmuster detektiert werden. Hierfür wurden zwei Verfahren aus dem Bereich der erweiterten Realität (ARToolKitPlus und ArUco) sowie ein merkmalbasiertes Verfahren (SURF) für die Mustererkennung getestet. Die beiden ersten Verfahren erzielten deutlich bessere Ergebnisse als der verwendete Merkmalsvergleich. Die Verfahren der erweiterten Realität eignen sich jedoch weniger für Aufnahmen aus größeren Höhen ab 40 m. Vor diesem Hintergrund wurde das weitere Verfahren MDiF (Markendetektion im Luft) entwickelt, das auf den erprobten Verfahren der erweiterten Realität basiert und mit dem sich die Aufgabenstellung der Arbeit am besten realisieren lies. Mittels mehrerer Testflüge wurde festgestellt, dass in einer Bandbreite der Richthöhen von 30 bis 40 m eine Trefferquote von 99 bis zu 100 Prozent erreicht werden konnte. Dies kann als ein sehr gutes Ergebnis erachtet werden.

• Im zweiten Schritt wurde geprüft, ob die mittels Kamerasystem und Auswertungsverfahren erkannten Markenmuster die zuvor festgelegte, gesuchte Sequenz an Mustern abbildete. Unter Berücksichtigung einer gewissen höhenabhängigen Toleranz mussten mindestens drei von fünf Mustern einer Sequenz erkannt werden. 

Sofern dieser Auswertungs- und Erkennungsprozess zu einer positiven Entscheidung geführt hat, wurden im weiteren Prozessablauf die 3D-Koordinaten des Markers in Bezug zur aktuellen Kameraposition berechnet. Die Positionsbestimmung erfolgte über eine Perspective-n-Point(PnP)-Lösung. Die abgeleiteten Daten wurden als Bewegungsvektor an den Multikopter weitergegeben, der diese in ein Flugmanöver umsetzte.

Beide Teilschritte ergänzen sich, können jedoch auch selbständig umgesetzt werden.

Für die Auswertungen zu dieser Arbeit wurde ein vergleichsweise großes Display (102x152 cm) zur Darstellung der Marker-Sequenzen verwendet. Diese Größe des Displays war notwendig, damit der Marker aus einer Höhe von 30 bis 50 m in einer für die Auswertung geeigneten Qualität erkannt werden konnte. In der Konsequenz kann das Sichtfeld der Kamera den Marker jedoch nicht mehr vollständig erfassen, wenn ein gewisser Abstand der Kamera zum Display, im Fall der vorliegenden Arbeit von ca. 5 m, unterschritten wird. Um diese Lücke in der Erkennung des Markers zu schließen, wurde in dieser Arbeit ein kombinierter Marker verwendet. Dieser bestand aus einem großen und kleinen Markenmuster, wobei das kleine Muster permanent parallel eingeblendet wurde. In geringer Höhe wird dieses immer noch vollständig erkannt und übernimmt die Leitfunktion.

Abbildung 3. Komplexe Muster für den Landeanflug

Der komplette Ablauf des Verfahrens zur dynamischen Markenerkennung ist in der folgenden Abbildung dargestellt, wobei obere Teil A dem Algorithmus zur Mustererkennung, und der untere Teil B des Ablaufdiagrams dem Verfahren zur Unterstützung der Landung mittels dynamischer Markenerkennung entspricht.

Das eigenentwickelte MDiF-Verfahren hat gute Ergebnisse bezüglich der Laufzeit gezeigt. Um jedoch die Laufzeit an die Geschwindigkeit der Multikopter anzunähern und hierdurch die Echtzeitfähigkeit zu erreichen, sollte das Verfahren eventuell auf einem FPGA-Modul (Field Programmable Gate Array)aufgebaut werden. Eine alternative Option zur Lösung der Sichtfeld-Abdeckung in geringen Höhen könnte ein Kamerasystem sein, das über zwei Sensoren verfügt und hierdurch die Nutzung zweier unterschiedlicher Objektive gestattet.