Integration und Analyse crowd-basierter Freihanderfassungen

Dauer der Arbeit: 4 Monate
Fertigstellung: November 2023
Betreuer: M.Sc. David Collmar, Dr.-Ing. Michael Kölle
Prüfer: Dr.-Ing. Volker Walter

Crowdsourcing hat sich nach der Einführung des Begriffs von Howe et al. [1] im Jahr 2006 in den vergangenen Jahren als effiziente Methode im Bereich der Datenerfassung etabliert. Plattformen wie Mechanical Turk und Microworkers bieten Unternehmen die Möglichkeit auf eine große Anzahl an Arbeitskräften verschiedener Länder zurückzugreifen, um vielfältige Arten an Datenerhebungsprojekten durchzuführen [2]. Spezialisierte Datenerhebungsarten, wie das Zeichnen von Konturen ist zum aktuellen Stand wenig erforscht. Der Aspekt der Qualität von erfassten Zeichnungen bietet daher noch offene Fragen. Interessant ist hierbei, mit welcher Qualität eine Form dargestellt werden kann, wenn mehrere Erfassungen von Crowdworkern durch einen Integrationsprozess zu einem Endergebnis kombiniert werden.

In dieser Arbeit wird die Fragestellung untersucht, mit welcher Qualität Konturen von Formen mit einem einfachen Zeichentool erfasst, werden können, wenn den Arbeitern keine visuelle Vorlage geboten wird. Interessant ist hierbei vor allem, welche Qualität durch ein pixelbasiertes Integrationsverfahren erreicht werden kann. Zudem soll untersucht werden ob durch verschiedene methodische Ansätze eine Steigerung der Qualität möglich ist.

Zur Erfassung der benötigten Daten über eine Crowdsourcing-Plattform wurde ein Webtool entwickelt, welches an die Crowdsourcing-Plattform Microworkers angebunden ist. Dieses Webtool verfügt über einfache Zeichenfunktionalitäten, womit die Arbeiter verschiedene Formen erfassen können (siehe Abbildung 1).

Mithilfe dieses Webtools wurden die Umrisse der Länder Indien, Japan, Italien, Australien und USA sowie die Umrisse eines Unternehmenslogos eines Warnschildes und zweier Tiere (Kuh und Pferd) erfasst.

Zudem wurde für die Erfassung von Landesgrenzen untersucht, ob die geografische Distanz des Wohnortes der Arbeiter zum erfassten Land mit der erreichten Qualität korreliert. Hierfür wurde die Kontur Indiens von Arbeitern aus den USA und Kanada sowie Indien und Bangladesch erfasst und verglichen.

Die Qualitätsbewertung wurde bei den Ländern sowie dem Unternehmenslogo anhand von Referenzfiguren durchgeführt. Hierbei wurde als Metrik auf den Intersection over Union (IoU) zurückgegriffen. Dieser gibt an zu welchem Anteil zwei Mengen übereinstimmen und geht von Null (keine Übereinstimmung) bis Eins (volle Übereinstimmung).

Des Weiteren wurde die Auswirkung von einer Filterung der Daten auf die Qualität des Endergebnisses untersucht. Diese Filterung wurde anhand verschiedener Parameter durchgeführt. Berücksichtigt wurde die Fläche, der Umfang und die Schwerpunktdistanz der Erfassungen sowie Kombinationen dieser Parameter. Die Ausreißer-Detektion erfolgte anhand von Z-Scores und Quantilen.

Um die Erfassungen für den Integrationsprozess bestmöglich zu registrieren, wurde zunächst für jede Erfassung ein minimal umschließendes Rechteck ermittelt, auch „Bounding-Box“ genannt, welches parallel zu den Bildrändern liegt (siehe Abbildung 2).

Anschließend wurden alle Erfassungen auf die Größe der „Bounding-Box“ zugeschnitten. Die zugeschnittenen Bilder wurden anschließend auf die Größe der ursprünglichen Zeichenfläche skaliert (siehe Abbildung 2). Die Zeichenfläche hatte bei jeder Erfassung dieser Arbeit eine Auflösung von 700x700 Pixel. Durch diese Abfolge von Operationen kann die räumliche Varianz hinsichtlich Lage und Skalierung der Erfassungen minimiert werden. Die Orientierung der Erfassungen bleibt dabei jedoch unbekannt und wird in dieser Arbeit nicht berücksichtigt, deren Auswirkung sollte in zukünftigen Arbeiten untersucht werden.

Nachdem alle Erfassungen skaliert vorlagen wurde mit dem pixelweisen Integrationsprozess begonnen. Da die Formen in schwarz gezeichnet vorlagen, wurden die Erfassungen zunächst invertiert, um den erfassten Pixeln den Wert eins zuzuweisen. Anschließend wurden alle Erfassungen aufaddiert. Somit hat jeder Pixel den Wert wie oft er von der Gesamtheit der Arbeiter erfasst wurde.

Um eine integrierte Form zu erhalten wurde ein Schwellenwert festgelegt, ab welcher Häufigkeit von Erfassungen ein Pixel berücksichtigt wird oder nicht. Da es sich um ein Binärbild handelt, werden berücksichtigte Pixel mit dem Wert eins versehen. Pixel die weniger als der Schwellenwert erfasst wurden erhalten den Wert null.

Erfassungen von Ländern

Bei Betrachtung der maximal erreichten IoU Werte für die verschiedenen Ländern mit und ohne Filterung von Ausreißern weist Australien den höchsten IoU-Wert ohne Filterung auf (siehe Abbildung 3). Das Filtern von Ausreißern verbessert den IoU um nur 1.3 Prozent. Bei den Erfassungen der USA ist hingegen eine Verbesserung von fast sechs Prozent auf den im Vergleich höchsten IoU-Wert von 0.861 möglich. Bei den Erfassungen Indiens ist eine Qualitätssteigerung von über sechs Prozent zu beobachten. Durch manuelles Filtern der Erfassungen ist eine Verbesserung des IoU für jedes Land erkennbar. Die Größenordnung der Qualitätsverbesserung liegt im Bereich der besten parameteranhängigen Filterungen.

Qualitätsunterschiede abhängig der geografischen Distanz der Arbeiter

Im Folgenden wurde am Beispiel von Indien untersucht ob möglicherweise ein Zusammenhang zwischen der Qualität der Erfassungen eines Landes und der geografischen Distanz des Wohnortes der Arbeiter besteht. Hierfür wurden zwei Datensätze von Erfassungen Indiens verglichen. Einer der Datensätze stammt von Arbeitern aus den USA und Kanada (USA-Datensatz), der andere von Arbeitern aus Indien und Bangladesch (Indischer-Datensatz).

Beim Vergleich der bestmöglichen IoU-Werte der integrierten Ergebnisse ist auffällig, dass der IoU der US-amerikanischen und kanadischen Arbeiter höher ausfällt als der IoU-Wert des Indischen-Datensatzes. Der USA-Datensatz erreicht einen IoU von 0.662 und der Indische-Datensatz einen IoU von 0.633. Erwähnenswert ist jedoch, dass der mittlere IoU bei den Erfassungen des USA-Datensatzes bei 0.485 liegt. Im Vergleich hierzu weist der Indische-Datensatz einen mittleren IoU-Wert von 0.515 auf, was auf konsistentere Qualität der Erfassungen im Vergleich zum USA-Datensatz hindeutet. Somit konnte gezeigt werden, dass in diesem Fall die von Arbeitern mit einer geringeren geografischen Distanz übermittelten Erfassungen eine konstantere Qualität aufweisen.

Erfassungen eines Logos

Bei den Erfassungen eines Unternehmens-Logos konnte bereits ohne Filtern von Ausreißern ein IoU- Wert von 0.748 erreicht werden. Durch Filtern der Erfassungen unter der Berücksichtigung von Fläche kombiniert mit Umfang ist hierbei eine Verbesserung auf einen IoU von 0.819 möglich, was über sieben Prozent entspricht.

Erfassungen eines Warnschilds

Bei der Betrachtung der Erfassungen eines Warnschildes, das Gefahr darstellen soll, ist auffällig, dass 47 von 84 Erfassungen ein Dreieck, 36 ein Ausrufezeichen und 24 einen Totenkopf beinhalten (siehe Abbildung 4). Somit sind trotz der vage gestellten Arbeitsaufgabe wiederkehrende Symbole erkennbar. Nur 14 der Erfassungen beinhalten keines dieser Symbole und sind andere Interpretationen der Zeichenaufgabe oder Spam. Dies entspricht weniger als 17 Prozent der gesamten Erfassungen.

Aufgrund der unterschiedlichen Interpretationen wurden die Erfassungen manuell in zwei Datensätze sortiert. Der erste Datensatz, welcher 32 Elemente enthält, besteht aus den Erfassungen von Dreiecken mit Ausrufezeichen, da diese Formen meist kombiniert auftraten. Der zweite Datensatz enthält 18 Erfassungen mit Totenköpfen.

Bei der Auswertung des ersten Datensatzes kann bei Betrachtung der Heatmap eindeutig ein Warnschild in dreieckiger Form mit einem Ausrufezeichen erkannt werden (siehe Abbildung 5, a). Bei der Betrachtung der Heatmap des Totenkopfdatensatzes sind die Konturen nicht klar erkennbar (siehe Abbildung 5, b).

Erfassungen von Kühen

Die Kreativität der Arbeiter kann bei den Erfassungen der Kühe am besten beobachtet werden (siehe Abbildung 6).

Das integrierte Ergebnis für einen relativen Schwellenwert von 0.5 lässt eine Kuh erahnen, wobei jedoch nur wenig Details zu erkennen sind (siehe Abbildung 7). Durch das Filtern der Erfassungen können detailreichere Integrationsergebnisse erreichet werden.

In dieser Arbeit wurde die Fragestellung, mit welcher Qualität Zeichnungen von Objekten mittels Crowdsourcing erfasst werden können, analysiert. In diesem Fall wurden Erfassungen untersucht bei denen den Arbeitern keine visuelle Vorlage, sondern lediglich ein Begriff als Basis für die Zeichnung vorlag. Hierfür wurde ein Webtool entwickelt, welches einfache Zeichenfunktionalitäten bietet und an die Crowdsourcing-Plattform Microworkers angebunden ist. Dieses Webtool wurde für die Erfassungen von verschiedenen Umrissen, wie beispielsweise die Form Indiens und eines Hauses, verwendet. Die Erfassungen wurden durch ein pixelbasiertes Integrationsverfahren zusammengeführt.

Es wurden die Konturen der Länder Indien, Japan, Australien, Italien und die der USA erfasst. Zudem wurde ein Warnschild, welches Gefahr symbolisieren soll sowie ein Unternehmenslogo von den Arbeitern dargestellt. Des Weiteren wurden zweidimensionale Tiere erfasst. Hierfür wurden ein Pferd und eine Kuh, welche beide nach links blicken, von den Arbeitern gezeichnet.

Für die erfassten Länder sowie das Unternehmenslogo konnte zudem die Übereinstimmung mit einer Referenz in Form eines IoU-Wertes bestimmt werden und so eine Bewertung des Integrationsergebnis erfolgen. Eine maximale Übereinstimmung von über 84 Prozent konnte für das Integrationsergebnis der Erfassungen Australiens erreicht werden.

Des Weiteren wurde die Auswirkung des Filterns von Erfassungen auf die Qualität des Integrationsergebnisses, auf Basis von verschiedenen Parametern, bewertet. Zudem wurden die Erfassungen der Länder manuell gefiltert und die Ergebnisse, mit denen der automatisierten Filterung verglichen.

Durch das Ausschließen von Erfassungen aus dem Integrationsprozess, durch ausgewählte Parameter, konnten für alle erfassten Formen Qualitätssteigerungen beobachtet werden. Bei der Berücksichtigung von Umfang, sowie einer Kombination von Umfang und Fläche, konnten in den meisten Fällen die höchsten Qualitätssteigerungen erreicht werden.

Auch für die Erfassungen ohne Referenz konnten optische Verbesserungen nach Filterung auf Basis von Parametern beobachtet werden. Beispielsweise wiesen die Integrationsergebnisse der erfassten Kühe nach dem Ausschluss von Ausreißern eine detailreichere Kontur auf, was zu einer eindeutigeren Identifizierung der Form führt.

Zusammenfassend konnte mit dieser Arbeit gezeigt werden, dass die Erfassung von Formen ohne Vorlage mittels Microworkers und deren Integration, mit gewissen Ausnahmen und Einschränkungen, möglich ist. Durch die Erfassung von gefüllten Flächen und anhand geeigneter Parameter konnte im Integrationsprozess eine Ausreißer-Detektion durchgeführt werden, die zu einer Qualitätssteigerung der Ergebnisse führte. Zusätzlich zu der Erfassung der Formen konnte auch eine gewisse Kreativität beobachtet werden, welche für Untersuchungen der Motivation von Arbeitern interessant sein könnten. Die Arbeit bietet daher verschiedene interessante Möglichkeiten und Ansätze für weitere Forschungsarbeiten auf diesem Gebiet.

Literatur

1. J. Howe, The rise of crowdsourcing, Wired Magazine, 2006, 14.06, verfügbar unter: https://sistemas-humano-computacionais.wdfiles.com/local--files/capitulo%3Aredes-sociais/Howe_The_Rise_of_Crowdsourcing.pdf (letzter Zugriff: 01.10.2023).
2. M. Hirth, T. Hoßfeld, P. Tran-Gia, Anatomy of a Crowdsourcing Platform - Using the Example of Microworkers.com, 2011 Fifth International Conference on Innovative Mobile and Internet Services in Ubiquitous Computing, Seoul, South Korea, 2011, 322–329.