Dauer der Arbeit: 4 Monate
Fertigstellung: Februar 2023
Betreuer: M.Sc. David Collmar, M.Sc. Michael Kölle
Prüfer: Dr.-Ing. Volker Walter

In den letzten zehn Jahren ist die Zahl der Internetnutzer stark gestiegen. Weltweit gibt es derzeit über 5,5 Milliarden Nutzer, womit sich auch die Zahl der Menschen erhöht hat, die sich online an Crowdsourcing beteiligen (Internet World Stats 2023). Auch Unternehmen erkennen das Potential des Outsourcen von Projekten und Teilaufgaben an Dritte über das Internet, was als Crowdsourcing bezeichnet wird. Mit diesem Anstieg an Arbeitskräften, die online tätig sind, haben sich für Unternehmen neue Möglichkeiten ergeben (Thuan et al. 2016, S. 58). So müssen Unternehmen entscheiden, ob sich das Crowdsourcing als Alternative zu traditionellen Methoden der Problemlösung anbietet. So muss untersucht werden, ob Crowdsourcing nicht möglicherweise kostengünstiger und effizienter ist als das Einstellen neuer Arbeitnehmer oder die Restrukturierung von internen Arbeitsgruppen.

Das Ziel dieser Arbeit ist der Entwurf von Webseiten, die Aspekte der Durchführung von Crowdsourcing-Kampagnen vereinfachen und automatisieren, wie die Erstellung und Steuerung von Kampagnen, die Auswertung von Erfassungen und die Bezahlung von Crowdworkern. Ebenfalls sind für die Auswertung von Daten Erfassungstools nötig, über die den Crowdworkern die Aufgaben präsentiert werden und die Bearbeitung dieser ermöglicht wird.

Zur Realisierung der Aufgabe werden zwei Formen von Webtools benötigt. Diese sind die Steuerungs- und Verwaltungstools sowie die Erfassungstools. Je nach ihrer Funktion haben die Tools unterschiedliche Anforderungen, wobei der Schwerpunkt entweder auf der Benutzeroberfläche oder den Backend-Funktionen liegt. HTML und CSS werden für die Gestaltung verwendet, während PHP und JavaScript für Funktionalität sorgen.

Erfassungstools

Für die Auswertung von Ergebnissen werden Erfassungen benötigt. Dafür werden von Crowdworkern drei Objekttypen aus Orthophotos erfasst. Diese sind Baumkronen mit Polygonen, Checkerboards mit Punkten und die Klassifizierung von hervorgehobenen Pixel. Für jede der Aufgaben wird ein Erfassungstool erstellt. Der Zugriff auf dieses Tool erfolgt über „microworkers.com“, eine Crowdsourcing-Plattform, die Crowdworker an verfügbaren Jobs teilnehmen lässt.

Die Erfassungstools unterscheiden sich je nach Aufgabenart, können aber trotzdem in drei Hauptzonen eingeteilt werden, die in Abbildung 1 am Beispiel des Polygonerfassungstools hervorgehoben werden.

Zone 1 enthält die Navigationsleiste. Zone 2 stellt den Hauptteil der Arbeitsumgebung dar und enthält das mit HTML erstellte <canvas>-Element. Bei dem Polygon- und Punkterfassungstool dient dieses nicht nur zur Darstellung des Orthophotos, sondern auch als Zeichenfläche. In Zone 3 befinden sich die Bedienelemente.

Steuerungs- und Verwaltungstools

Die Steuerungs- und Verwaltungstools sind für die Steuerung, Erstellung und Verwaltung von Kampagnen zuständig sowie auch für die Auswertung der Ergebnisse. Auf diese Tools haben die Crowdworker keinen Zugriff. Bei diesen Tools steht die Funktionalität im Vordergrund und wird durch die von Microworkers angebotene API in Verbindung mit PHP und JavaScript erweitert. Über diese API werden Kampagnen gestartet und Informationen abgerufen, die für den Bezahlvorgang benötigt werden. Für jeden Aufgabentyp wurde ein Auswertungstool erstellt, welches beim Aufrufen automatisch die erfassten Daten auswertet. Außerdem erlaubt das Auswertungstool Erfassungen einzusehen, Berichte zu erstellen und Crowdworker mit einem Klick zu bezahlen. In Abbildung 2 ist ein Ausschnitt des Auswertungstools für die Polygonerfassungsaufgabe dargestellt.

Der automatische Auswertungsvorgang ist für alle Aufgabenarten ähnlich. So werden erfasste Daten mit Referenzdaten verglichen. Bei der Labellingaufgabe gibt es entweder eine richtige oder falsche Antwort. Bei der Punkterfassungsaufgabe wird der Abstand zwischen den Referenzpunkten und den Erfassungen bestimmt, der nicht mehr als 20 Pixel betragen darf. Zum Vergleich der Referenzpolygonen mit den Erfassungen wird das Intersection over Union (IoU)-Verhältnis verwendet, welches mindestens einen Wert von 0,75 haben muss, damit die Erfassungen für die Bezahlung akzeptiert werden. Zusätzlich zu den Erfassungen wurden Informationen über die verwendeten Endgeräte der Crowdworker aufgenommen, wobei etwa 70% der 308 teilgenommenen Crowdworker ein Smartphone zur Bearbeitung verwendet haben. Die Ergebnisse werden somit getrennt nach den Endgeräten angezeigt.

Labelling

Aus Abbildung 3 ist zu erkennen, dass PC-Nutzer nicht nur im Schnitt über alle Kampagnen besser als Smartphone-Nutzer abgeschlossen haben, sondern auch in den einzelnen Kampagnen deutlich besser als die Smartphone-Nutzer sind. Aus insgesamt 200 Crowdworkern haben 75% ihr Smartphone verwendet. Insgesamt wurden nur 38,8% der Smartphone-Nutzer bezahlt, während 64,6% der PC-Nutzer bezahlt wurden.

Für diese Aufgabe wurden aus den acht vorgegebenen Landbedeckungsklassen fünf verwendet. Aus Tabelle 1 wird deutlich, dass die Erfolgsquote für die Erkennung des Fahrzeuges bei 77,2% und für den Baum bei 57,5% liegt. Die übrigen drei Objekte hatten eine geringere Erkennungsrate von etwa 30%.

Punkte

Ein Vergleich der Histogramme in Abbildung 4 und 5 zeigt, dass sowohl PC- als auch Smartphone-Nutzer mit vielen Erfassungen einen Abstand von weniger als 10 Pixel zur Referenz haben, während der Schwellenwert für das Akzeptieren der Erfassungen bei 20 Pixel liegt. Von 200 Nutzern wurden 182 bezahlt, was einer Erfolgsquote von 91% entspricht.

Polygone

Bei der Polygonerfassungskampagne haben 94,3% der Einzelerfassungen den Schwellenwert von 0,75 erreicht. Aus den Histogrammen wird deutlich, dass PC-Nutzer genauer gearbeitet haben als Smartphone-Nutzer, diese jedoch auch viele Erfassungen mit einer Überlappung von über 80% mit der Referenz erreicht haben. In beiden Fällen haben einige Crowdworker Spamerfassungen abgegeben.

Bei einem direkten Vergleich der Polygone eines PC- und Smartphone-Nutzers mit ähnlichem IoU-Wert wurde deutlich, dass obwohl das Überlappungsverhältnis mit der Referenz vergleichbar ist, die PC-Nutzer mehr Knotenpunkte für das Polygon verwendet haben. Somit folgen diese präziser der Form der Baumkrone.

Die Labellingaufgabe stellte sich als die größte Herausforderung dar. Objekte mit deutlichem Umriss, wie Bäume und Autos wurden leicht von der Crowd erkannt. Im Gegensatz dazu wurde bei der Analyse der Erfassungsaufgaben für Punkte und Polygone deutlich, dass diese Aufgabentypen besser für die Erfassung durch Crowdworker geeignet sind. Die mehrheit der PC- und Smartphone-Nutzer haben bei der Punkterfassungsaufgabe einen Abstand von weniger als neun Pixel zur Referenz erreicht, was einem Abstand von 7,4 mm zu der Referenz entspricht. Etwa 86,2% aller Erfassungen wiesen einen Abstand von weniger als 20 Pixel zur Referenz auf. Während das Histogramm der Polygonerfassungen der Smartphone-Nutzer eine breitere Verteilung der IoU-Verhältnisse zeigt, erreichten über 300 der Erfassungen einen IoU-Wert von mindesten 0,8. Vergleicht man dies mit dem Histogramm der Erfassungen der PC-Nutzer wird deutlich, dass die PC-Nutzer insgesamt besser abgeschlossen haben. Dies bedeutet nicht, dass diese Aufgabe für Smartphone-Benutzer ungeeignet ist, sondern vielmehr, dass eine Verbesserung der Erfassungstools für Smartphones sinnvoll wäre, da diese Tools nicht für mobile Geräte optimiert sind. Eine mobile Ansicht des Erfassungstools könnte zu einer Verbesserung der von Smartphone-Nutzern erfassten Daten führen. So könnte es in Zukunft möglich sein, mit der gleichen Anzahl von Erkennungen mehr Daten zu erhalten, die den gewünschten Anforderungen entsprechen.

Literaturverzeichnis

Internet World Stats (Hg.) (2023): Internet Growth Statistics. Online verfügbar unter https://www.internetworldstats.com/emarketing.htm, zuletzt geprüft am 11.02.2023.

Thuan, Nguyen Hoang; Antunes, Pedro; Johnstone, David (2016): Factors influencing the decision to crowdsource: A systematic literature review. In: Inf Syst Front 18 (1), S. 47–68. DOI: 10.1007/s10796-015-9578-x.