Befahrbarkeitschätzung mittels Fusion von LIDAR- und Bilddaten

Dauer der Arbeit: 6 Monate
Abschluss: Dezember 2014
Betreuer: Dipl.-Ing. Thomas Emter
Prüfer: Prof. Dr.-Ing. Norbert Haala

Das Thema „Befahrbarkeitsschätzung mittels Fusion von LIDAR- und Bilddaten“ gehört zum großen Forschungsgebiet „Autonomes Fahren“. Das Ziel dieser Arbeit ist ein Geländeklassifikationsverfahren zu entwickeln, das auf dem Einsatz eines Laserscanners plus einer Kamera basiert. Durch die Fusion von Laserscanner- und Bilddaten sollen Merkmale gewonnen werden, damit das befahrene Gelände klassifiziert werden kann.

In dieser Arbeit wurde eines der autonomen mobilen Mustang Systeme verwendet, welches über eine Vielzahl von Sensoren verfügt (Abbildung 1). Die für diese Aufgabestellung relevanten Sensoren - Kamera und LIDAR-System, sind auf dem Dach des Fahrzeugs moniert. Dies erlaubt einen guten Überblick auf das umgebende Gelände.

Die Luftbilderfassung mit unbemannten Fluggeräten stellt eine kostengünstige und spannende Alternative zur bemannten Luftbildphotogrammetrie dar und gewinnt insbesondere bei der Erfassung kleinräumiger Gebiete zunehmend an Bedeutung. Das Landesamt für Geoinformation und Landentwicklung Baden-Württemberg führte daher 2012 in Zusammenarbeit mit dem Institut für Flugmechanik und Flugregelung (iFR) und dem Institut für Photogrammetrie (ifp) der Universität Stuttgart im Rahmen des Pilotprojekts „UAV@LGL“ zwei Befliegungen an den Felsengärten bei Hessigheim mit zwei unterschiedlichen UAV-Trägersystemen und Kameras durch, wobei das Potential der Datenerfassung mittels UAS (unmanned aerial system) am praktischen Beispiel analysiert werden sollte.

In vorherigen Befliegungen bei Vaihingen/Enz im Jahr 2011 zeigte sich, dass die vorhandene digitale Kompaktkamera Canon IXUS 100 IS keine ausreichend gute Bildqualität für spätere photogrammetrische Auswertungen liefert, da die Bilder vor allem Bewegungsunschärfen aufweisen.

Für die Hinderniserkennung soll eine zellenbasierte Karte erstellt werden, in der die Information über Befahrbarkeit jeder Zelle registriert wird. Die Hinderniskarte setzt sich aus einem Raster gleich großer Zellen zusammen. 

Die Klassen, die einer Zelle zugewiesen werden können, orientieren sich an der Eignung zum Befahren durch das System. Dadurch kann  die jeweilige Zelle als fahrbar oder nicht fahrbar gekennzeichnet werden.  Für Bereiche über die keinerlei Informationen vorhanden sind oder gewonnen werden können, wird eine zusätzliche Zurückweisungsklasse verwendet.

Grundsätzlich wird die Geländeanalyse in zwei Schritten durchgeführt:

Schritt 1:
Im ersten Schritt werden die Merkmale für jede Zelle aus der Punktwolke extrahiert (Abbildung 2). Zu diesen gehören:  Mindestanzahl der Punkte, Höhendifferenz, Flachheit und die Rauheit. Anhand dieser Merkmale wird eine Zelle einer bestimmten Klasse zugeordnet. Hierdurch wird entschieden, ob dieser Bereich des Geländes, welcher jeweils einer Zelle entspricht, befahrbar oder nicht befahrbar ist.

Jedoch kann nicht für jede einzelne Zelle die Klasse exakt bestimmt werden. Deshalb wurde ein zweiter Schritt eingeführt, der die genauere Klassifizierung ermöglicht. An diesen weiteren Berechnungen werden nur die Zellen aus dem ersten Schritt übergegeben, die nicht eindeutig klassifiziert werden konnten. Diese Auswahl ist darin begründet, dass die Berechnung für sämtliche Zellen zu zeitaufwändig wäre und die die Ergebnisqualität nicht verbessert.

Schritt 2:
Für die im ersten Schritt nicht bestimmten Zellen werden zusätzliche Merkmale des entsprechenden Bildausschnitts berechnet. Zu diesen gehören in der Tabelle 1 aufgeführte Bildmerkmale:

Nach der Berechnung aller Bildmerkmale, erfordert das weitere Verfahren, dass die Daten in Vektorform zusammengefasst werden. Der entsprechende Merkmalsvektor entspricht jeweils einem Bildausschnitt.

Als Klassifikator wurde die Support Vector Mashine (SVM) gewählt. Der jeweilige Merkmalsvektor einer Zelle bildet den Eingabewert für das SVM-Modell. Die Zuordnung zu einer Klasse wird im Echtzeit-Modus errechnet. Um dies zu ermöglichen, ist zuvor eine Vorbereitungsroutine notwendig. Das SVM-Modell muss erstellt werden. Hierzu nutzt man gelabelte Trainingsdaten. Schematisch ist der Ablauf in der Abbildung 3 dargestellt.

Der Algorithmus  entscheidet, ob eine entsprechende Zelle befahrbar ist oder nicht. Hierbei ist die Fragestellung zu klären, ob es sinnvoll ist, sämtliche der beschriebenen Merkmale zu verwenden oder lediglich einen aussagekräftigen Teil davon.

Eine mögliche Auswahl erfolgt vor allem vor dem Hintergrund, dass der Algorithmus echtzeitfähig sein soll.

Wichtige Kriterien für die Auswahl der optimalen Merkmalskombinationen sind deshalb:

• Genauigkeit: diese besagt, wie viele Versuchsdaten im Verhältnis zur Gesamtmenge korrekt klassifiziert wurden. Sie wird gewöhnlich in Prozent angegeben.
• Laufzeit: das zweite wichtige Kriterium zur Beurteilung der Klassifikationsalgorithmen ist die Echtzeitfähigkeit. Um diese zu bewerten wird die Laufzeit für die Berechnung von Merkmalen bzw. Merkmalskombinationen ermittelt und miteinander verglichen.

Für den Vergleich wird die identische Zelle genommen und die Zeit gemessen, die für jede

Berechnung eines Merkmals bzw. einer Merkmalskombination benötigt wird.

Bei der Genauigkeit muss zudem berücksichtigt werden, dass sich die Auflösung der Bildtextur eines bestimmten Bildausschnitts in Abhängigkeit der Entfernung der Zelle vom Fahrzeug unterscheidet. Aus diesem Grund sind zwei verschiedene SVM-Modelle zu erstellen. Im ersten werden  Bildausschnitte bearbeitet, in denen die Zellen max. 5 m vom Fahrzeug entfernt liegen. Im zweiten Modell werden Zellen für Bildausschnitte in einer Entfernung von 5-10 m betrachtet.

Für die Aufgabenstellung dieser Arbeit ist es wichtig zu bestimmen, ob eine Zelle ''befahrbar'' oder ''nicht-befahrbar'' ist. Deshalb können verschiedene Ungenauigkeiten vernachlässigt werden. Hierzu gehören die Falschklassifikation zwischen den Klassen ''Busch'' und ''Hindernis''. In beiden Fällen geht es um die Behinderungen des Fahrzeugs an einer Weiterfahrt. Im Grunde ist für die Betrachtung der Genauigkeit lediglich  ''befahrbar'' oder ''nicht-befahrbar'' relevant, welche die vorbeschriebene Fehlklassifikation zulässt. Dies wird mit dem Klassifikationsparameter „Genauigkeit für Befahrbarkeit'“ zum Ausdruck gebracht.

In den Abbildungen 4 und 5 werden die effektivsten 5 Merkmalskombinationen dargestellt. Welche Kombinationen gewählt werden, ist abhängig davon, welches Gelände befahren wird. Bei Gelände mit vielen Wiesen mit höherem Gras sollten relativ schnelle Kombinationen gewählt werden. Für gemischtes Gelände mit einem Großteil gemähter Wiese können Kombinationen mit etwas längerer Laufzeit genommen werden. Für die Testfahrt am Fraunhofer IOSB wurde für die Kombination aus HS, HOG, DFT, GV plus LAWS entschieden, mit der eine Genauigkeit von nahezu 97 % erreicht wurde.

​

In der Abbildung 6 ist ein Beispiel für eine Hinderniskarte dargestellt.  Die rot markieren Zellen markieren die im Weg befindlichen Hindernisse, die grünen Zellen bezeichnen das Gelände, welches als „befahrbar“ klassifiziert ist.

Der gesamte Ablauf des Verfahrens ist im Flussdiagramm der Abbildung 7 verdeutlicht.