Optimierung eines Sensorsystems für die Erfassung und semantische Interpretation von Punktwolken im Agrarbereich

Duration of the Thesis: 6 months
Completion: August 2019
Supervisor: Dr.-Ing. Michael Cramer, M.Sc. Michael Kölle, Dr. sc. agr. Daid Reiser (Uni Hohenheim)
Examiner: Prof. Dr.-Ing. Norbert Haala

Mit der zunehmenden Intensivierung der Landwirtschaft ergeben sich auch immer mehr Belastungen für das Ökosystem. Dies erfordert eine umweltverträglichere, aber gleichzeitig effiziente Nutzung der natürlichen Ressourcen. Gegenüber landwirtschaftlichem Großgerät bieten hier Agrarroboter die Möglichkeit präzise, autonom und lokal auf einem Feld zu agieren. In dieser Arbeit werden mehrere Kamerakonfigurationen eines photogrammetrischen Systems, bestehend aus drei GoPro Hero 6, getestet, deren Aufnahmen im Post-Processing zu 3D-Punktwolken verarbeitet werden. Dabei dient der Roboter Phoenix, des Instituts für Agrartechnik der Universität Hohenheim, als Plattform für dieses System. Für die Untersuchung der Kamerakonfigurationen wurden neun unterschiedliche Konfigurationen getestet. Diese Konfigurationen unterscheiden sich zum einen in der Anordnung der Kameras voneinander, zum anderen aber auch in den gewählten Abständen zwischen den Kameras. Für den Vergleich der verschiedenen Konfigurationen wurde ein Versuchsfeld mit zwei Reihen von Winterrapspflanzen mit den verschiedenen Kamerakonfigurationen aufgenommen und miteinander verglichen. Neben den 3 GoPros wird außerdem eine Sequoia Multispektralkamera verwendet, wodurch sich die Punktwolke um zusätzliche spektrale Informationen ergänzen lässt. Darüber hinaus sollen diese und bereits vorhandene Daten verarbeitet werden, um Informationen über den Vitalitäts- und Wachstumsstand von Pflanzen zu berechnen. Dies beinhaltet die Segmentierung in verschiedene Klassen, wie Pflanzen und Boden, die Segmentierung nach der Vitalität und die Segmentierung von Einzelpflanzen. Mit diesen segmentierten Daten werden anschließend noch weitere Pflanzenparameter abgeleitet.

Die Untersuchung der verschiedenen Kamerakonfigurationen hat für diesen Versuchsaufbau ergeben, dass die Konfigurationen mit 3 Kameras in einem gleichseitigen oder gleichschenkligen Dreieck mit einem Abstand zwischen den unteren beiden Kameras von 30−50 cm die besten Ergebnisse erzielen. Große Abstände zwischen den Kameras sorgen für eine reduzierte Punktdichte, ohne erkennbare Vorteile in der Genauigkeit zu liefern. In Abhängigkeit des Pflanzentyps stellt hier eine möglichst gute Abdeckung des Aufnahmeobjekts mit den Kameras das wichtigste Kriterium dar und sollte daher die höchste Priorität in der Planung eines solchen Systems besitzen.

Bei der Trennung zwischen den Punkten der Pflanzen und des Bodens mit einem Random Forest Klassifikator wird mit einer Overall Accuracy von 97.6 % ein gutes Ergebnis erzielt. Hierbei können die projizierten Daten der Sequoia einen deutlichen Mehrwert bieten, da sie bei einer korrekten Projektion, die Pflanzendaten deutlich von denen des Bodens abheben können.

Die Pflanzenpunkte können anhand des NDVI Histogramms nach der Vitalität segmentiert werden. Die Ergebnisse dieser Segmentierung sind nach einer visuellen Beurteilung sinnvoll und plausibel. Hierbei wird ersichtlich, dass die Informationen einer Multispektralkamera mit NIR-Kanal einen erheblichen Mehrwert im Vergleich zu regulären RGB-Kameras bieten kann.

Für die Berechnung der Pflanzenpositionen einer Maispunktwolke wird basierend auf der Punktdichte der Pflanzen lokale Maxima berechnet und mit einem RANSAC-Algorithmus gefiltert. Hier werden mit einer Producers Accuracy von 87.5 % und einer Users Accuracy von 90 % insgesamt gute Ergebnisse erzielt.

Mit den Pflanzenpositionen als Startwerte können einzelne Pflanzen basierend auf einem Region Growing Algorithmus segmentiert werden. Die Qualität der Segmentierung variiert jedoch stark. Es muss berücksichtigt werden, dass sich alle Fehler auf die entsprechenden weiteren Anwendungen auswirken, die sich auf diese Segmentierung stützen. Insgesamt zeigen sich bei zunehmend größeren Pflanzen auch zunehmend Probleme in der Segmentierung. Dies ist insbesondere bei der Berechnung der Pflanzenhöhe zu beobachten, wo die Genauigkeit der berechneten Höhen bei größeren Pflanzen deutlich nachlässt. Neben den Pflanzenhöhen wurden außerdem Blattflächen der einzelnen Pflanzen mit der Anzahl an Voxeln approximiert.