Entwicklung einer vollautomatisierten Pipeline zur qualitativ hochwertigen Erfassung von Fahrzeugen

Dauer: 6 Monate
Fertigstellung: April 2021
Betreuer: Dr.-Ing. Volker Walter, M.Sc. Michael Kölle
Prüfer: Prof. Dr.-Ing. Uwe Sörgel

Bei Methoden des Machine Learnings, die auf überwachtem Lernen basieren, werden große Mengen an qualitativ hochwertigen Trainingsdaten benötigt. Die Generierung dieser Daten kann mittels Crowdsourcing realisiert werden. In dieser Masterarbeit wird eine Pipeline für die automatisierte und qualitativ hochwertige Erfassung von Fahrzeugen in 2D-Geodaten (DSM Shadings) entwickelt (vgl. Abbildung 1). Das Ziel ist die Automatisierung des Gesamtprozesses, ausgehend von der Fahrzeugerfassung, bis hin zur leistungsgerechten Bezahlung der Crowdworker.

Für die Pipeline wird eine grafische Benutzeroberfläche (GUI) entwickelt. Mit dieser kann der Administrator Teilschritte der Pipeline ansteuern und den Ablauf kontrollieren. Die Fahrzeugerfassung wird mithilfe der Crowdsourcing-Plattform Microworkers an Crowdworker ausgelagert. Die Integration der erhaltenen Erfassungen ermöglicht eine Unterteilung in korrekte, inkorrekte und unsichere Erfassungen. Bei den unsicheren Erfassungen kann es sich um korrekte oder inkorrekte Erfassungen handeln. Unsichere Erfassungen werden anschließend mittels 2 verschiedener Varianten auf Korrektheit überprüft. Für beide Varianten wird jeweils ein Webinterface entwickelt. Bei der ersten Variante wird die Überprüfung an Crowdworker ausgelagert. Mithilfe eines Fragebogens wird die Lage und Orientierung einzelner, unsicherer Erfassungen, in Bezug zu einem erfassten Fahrzeug, bestimmt (vgl. Abbildung 2). Die erneute Auslagerung an Crowdworker ermöglicht die Automatisierbarkeit der Pipeline. Bei der zweiten Variante erfolgt die Überprüfung manuell durch den Administrator. Diese Variante dient als Vergleichswert. Das Ergebnis der Überprüfung entspricht einer Einteilung der unsicheren Erfassungen, in qualitativ hoch- und minderwertige Erfassungen, also korrekte und inkorrekte Erfassungen. Ausgehend davon können die Crowdworker der ersten Crowdsourcing-Kampagne, der Leistung entsprechend bezahlt werden. Das bedeutet, dass ausschließlich Crowdworker bezahlt werden, die Fahrzeuge überwiegend korrekt erfassen.

Die gesamte Pipeline wurde zweimal für den vorhandenen Datensatz an DSM Shadings durchlaufen. Dabei konnte festgestellt werden, dass einzelne Fahrzeuge von der Crowd nicht erfasst wurden. Bei diesen Fahrzeugen handelte es sich um verpixelte und verzerrte Objekte, die von den fachfremden Crowdworkern mehrheitlich nicht als Fahrzeuge erkannt wurden. Die Ursache für die pixelige Darstellung in den DSM Shadings ist auf Laubwerk zurückzuführen, das die Fahrzeuge verdeckt. Die identifizierten unsicheren Erfassungen wurden von jeweils 5 Crowdworkern und dem Administrator überprüft. Die Integration und die nachfolgende Überprüfung ermöglichte die Bestimmung von qualitativ hochwertigen Erfassungen (vgl. Abbildung 3). Die Überprüfung durch den Administrator führte zu einer Verbesserung der Qualitätsparameter Precision, Recall und F1-Score. Bei der an Crowdworker ausgelagerten Überprüfung, konnte nur teilweise eine Verbesserung der Qualitätsparameter erreicht werden. In einigen Fällen ist eine Verschlechterung der Parameter feststellbar. Die Ursache ist auf falsche Bewertungen der Crowdworker zurückzuführen. Bei der Überprüfung stimmte die Bewertung des Administrators mit der Bewertung der Crowdworker, der zweiten Kampagne, bei ca. 76 % der unsicheren Erfassungen überein. Außerdem war eine leistungsgerechte Bezahlung der Crowdworker möglich. Die Automatisierung des gesamten Prozesses war somit erfolgreich.