Gamificationansätze für Crowdsourcing: Untersuchung anhand web-basiertem 3D-Labeling

Dauer der Arbeit: 6 Monate
Abgabe: März 2021
Betreuer: Dr.-Ing. Volker Walter, M.Sc. Michael Kölle
Prüfer: Prof. Dr.-Ing. Uwe Sörgel

Eine der größten Entwicklungen der letzten Jahre und womöglich der Zukunft findet im Bereich der künstlichen Intelligenz statt. Eine große Herausforderung des sogenannten „Machine Learnings“ liegt in der Generierung von validen Trainingsdaten, welche in großen Mengen benötigt werden. Eine Möglichkeit zur Lösung dieser Problematik bietet Crowdsourcing, Neologismus aus „Crowd“ und „Outsourcing“: Unbekannte, global verteilte Crowdworker erfüllen selbstständig und dezentral kleine Arbeiten, sogenannte „Microtasks“. Im „paid crowdsourcing“ erfolgt die Arbeit gegen monetäre Entlohnung. Vorteile des bezahlten Crowdsourcings sind eine schnelle und kostengünstige Erfassung von Trainingsdaten, welche in der Regel als qualitativ hochwertig eingestuft werden können. Dennoch leiden Crowdworker besonders im bezahlten Crowdsourcing häufig unter mangelnder Motivation, was in einer verringerten Effektivität einzelner Arbeiter resultieren kann. Dies wiederum kann zur erhöhten Notwendigkeit von Mehrfacherfassungen und daraus resultierend zu steigenden Kosten für den Arbeitgeber führen. Eine Möglichkeit zur Motivationssteigerung kann durch Gamification erreicht werden. Gamification, übersetzt etwa „Spielifizierung“, bezeichnet die Verwendung von Spielelementen in einem Nicht-Spiel-Kontext. Die Forschung der Gamification im Rahmen des bezahlten Crowdsourcings befindet sich in einem frühen Stadium, die Anwendung im Bereich Geodaten ist ein noch weitgehend unbekanntes Forschungsfeld. Das Ziel dieser Arbeit liegt daher in der Untersuchung des Potenzials der Gamification für Geodaten, was am Beispiel einer typischen Anwendung der Geoinformatik, der Klassifikation einer 3D-Vermaschung, untersucht wird.

Um die Klassifikation von 3D-Vermaschungen im Rahmen einer Crowdsourcing-Kampagne durchführen zu können, wurde eine Benutzeroberfläche erstellt, welche die Darstellung und Klassifikation von *.obj-Dateien im Browser ermöglicht: Einzelne „faces“ werden hier gezielt hervorgehoben und können klassifiziert werden (vgl. Abbildung 1).

Dieses nicht-gamifizierte Klassifikationswerkzeug („Basistool“) wurde durch verschiedene Gamification-Elemente ergänzt und modifiziert. Hierfür wurden unter anderem Punktzahlen, Fortschrittsanzeigen und Highscore-Listen verwendet. In mehreren Crowdsourcing-Kampagnen (mit je n=90 Erfassungen) wurde die Auswirkung dieser verschiedenen Gamification-Elemente auf die Parameter Arbeitsumfang, Genauigkeit und Nutzerzufriedenheit untersucht. Zusätzlich wurden diverse Untersuchungen der Reproduzierbarkeit durchgeführt (mit insgesamt n=1080 Erfassungen), um die erhaltenen Ergebnisse validieren zu können.

Die Implementierung unterschiedlicher Gamification-Elemente führt zu verschiedenen Auswirkungen auf die Parameter Arbeitsumfang und Genauigkeit. Es konnte kein Zusammenhang zwischen Nutzerzufriedenheit und Implementierung verschiedener Gamification-Elemente gefunden werden. Die Erfassungsgenauigkeit konnte durch Gamification nicht gesteigert werden, stattdessen führte beispielsweise die Implementierung einer Fortschrittsanzeige zu einer Verschlechterung der Genauigkeit. Der Arbeitsumfang konnte jedoch stark erhöht werden: Elemente wie Implementierung einer Bestenliste oder eines Punktestands konnten den durchschnittlichen Arbeitsumfang der Crowdworker bei gleicher Bezahlung um bis zu 30% erhöhen. Durch eine Kombination mehrerer Elemente konnte eine Steigerung des Arbeitsumfangs um mehr als das Doppelte erreicht werden, was aus Arbeitgebersicht mehr als einer Halbierung der Gesamtkosten entspricht. Deutlich sichtbar wird die Wirkung der Kombination diverser Gamification-Elemente auf den Parameter Arbeitsumfang anhand der in Abbildung 2 dargestellten Verteilungsfunktionen der gelabelten „faces“ je Arbeiter.

Eine Prüfung der Reproduzierbarkeit der Kontrollgruppe und der voll-gamifizierten Kampagne 5 konnte die Ergebnisse bestätigen: Eine Wiederholung beider Kampagnen in je drei Iterationen führte neben einer Verdopplung des Arbeitsumfangs in allen drei Iterationen (vgl. Abbildung 3) zu einer konstanten Erfassungsgenauigkeit. In Hinblick auf die stark erhöhte Kosteneinsparung können diese gleichbleibenden Genauigkeitswerte als sehr positiv betrachtet werden.

Gamification bietet auch in der Geoinformatik großes Potenzial: Bereits durch Implementierung einfacher Gamification-Elemente ist eine signifikante Änderung des Arbeitsumfangs messbar. Eine Kombination diverser Gamification-Elemente kann reproduzierbar zu einem starken Anstieg des Arbeitsumfangs einer Crowdkampagne führen. Kombiniert mit geringfügig veränderter Erfassungsgenauigkeit und konstanter Nutzerzufriedenheit kann dies zu enormen Kosteneinsparnissen auf Arbeitgeberseite führen, was eine kostengünstige Erfassung von qualitativ hochwertigen Trainingsdaten ermöglicht.