Masterarbeit / Bachelorarbeit
Data Augmentation for Learning-based WUI Assessment Models
Research Area
Advisers
Dr.-Ing. Sebastian Heil
Description
Web User Interface (WUI) metrics are an important building block for engineering good frontends. It enables a systematic approach of iteratively building, evaluating, and improving user interfaces to optimize them towards desired target characteristics in terms of aesthetics, complexity and usability. Automatic computation of these metrics, reducing the need for expensive and time-consuming empirical evaluations with human users, is the key enabler for a high results quality and efficiency of this process, as it allows for high evaluation frequency and therefore for smaller increments being created more often. Various models from both traditional Machine Learning and recent Deep Learning approaches have been shown to be able to predict WUI metrics.
This thesis investigates the applicability of data augmentation techniques for the above problem of training WUI assessment models. Inspired by existing techniques and also the specifics of WUIs, different augmentation techniques need to be implemented and tested. Each technique has to be shown to be stable/of limited impact against a set of WUI metrics and automatable with either purely visual input (WUI screenshots) or available DOM representations of the WUIs. One direction to investigate is the use of siblings in the navigation structure of a complex website.
The objective of this thesis is the creation of a solution or the combination of existing techniques to solve the problem of increasing dataset sizes for training WUI assessment models through data augmentation as described above. This comprises the analysis of the state of the art of data augmentation as well as the demonstration of the solution by prototypical implementation and a suitable evaluation based on experimentation as outlined above.
Description (German)
Metriken für Web-basierte Benutzeroberflächen (WUIs) sind ein wichtiger Baustein für die Entwicklung guter Frontends. Sie ermöglicht einen systematischen Ansatz zur iterativen Erstellung, Bewertung und Verbesserung von Benutzeroberflächen, um sie zu gewünschten Eigenschaften im Hinblick auf Ästhetik, Komplexität und Usability zu optimieren. Die automatische Berechnung dieser Metriken, die teure und zeitaufwändige empirische Evaluierungen mit menschlichen Nutzern überflüssig macht, ist der Schlüssel zu einer hohen Ergebnisqualität und Effizienz dieses Prozesses, da sie eine hohe Evaluierungsfrequenz und somit die Erstellung kleinerer Inkremente in kürzeren Abständen ermöglicht. Es hat sich gezeigt, dass verschiedene Modelle sowohl aus dem traditionellen maschinellen Lernen als auch durch neuere Deep-Learning-Ansätze in der Lage sind, WUI-Metriken vorherzusagen. Für deren Training und Validierung werden Trainingsdatensätze von WUIs mit menschlichen Bewertungen der gewünschten Merkmale benötigt. Diese sind mit hohem Aufwand zu erstellen, weshalb sie nur begrenzt verfügbar sind. Insbesondere Deep-Learning-Modelle benötigen jedoch Trainingsdatenmengen, die über die derzeit verfügbaren Datensatzgrößen hinausgehen.
In dieser Arbeit wird die Anwendbarkeit von Data Augmentation Techniken für das oben genannte Problem des Trainings von WUI-Bewertungsmodellen untersucht. Inspiriert von bestehenden Techniken und den Besonderheiten von WUIs müssen verschiedene Augmentationstechniken implementiert und getestet werden. Jede Technik muss sich als stabil/begrenzt wirksam gegenüber einer Reihe von WUI-Metriken erweisen und entweder mit rein visuellem Input (WUI-Screenshots) oder verfügbaren DOM-Darstellungen der WUIs automatisierbar sein. Eine zu untersuchende Richtung ist die Verwendung von Geschwistern in der Navigationsstruktur einer komplexen Website.
Das Ziel dieser Arbeit ist die Entwicklung einer Lösung oder die Kombination bestehender Techniken, um das Problem der Vergrößerung des Datensatzes für das Training von WUI-Bewertungsmodellen durch Data Augmentation, wie oben beschrieben, zu lösen. Dies umfasst die Analyse des Stands der Technik der Data Augmentation sowie die Demonstration der Lösung durch eine prototypische Implementierung und eine geeignete Evaluierung auf der Grundlage von Experimenten wie oben beschrieben.
