Bachelorarbeit
UI Object Detection
Completion
2021/12
Research Area
Students
Lucas Schmutzler
Advisers
Dr.-Ing. Sebastian Heil
Description
Detection of objects in User Interfaces (UIs) is an important pre-requisite for several analysis and frontend development tasks such as object-dependent UI metrics, UI Tests, Similarity Analysis and Layout transfer, UI generation, UI search etc. Approaches working on visual input, i.e. screenshots of user interfaces, are independent of implementation details such as specific frontend frameworks, platforms (web, mobile, desktop applications), do not require the availability of/access to source code or dedicated accessibility APIs and can potentially better resemble human visual perception and understanding of composite UI elements.
The latest solutions based on Deep Neural Networks and Computer Vision achieve a prediction quality of about F1=.6 at an IoU threshold of .9. This increase of more than 40% over previous models is a significant improvement. However, to put the UI object detector into use, two challenges remain open: 1) the reported results need to be indepently verified through a replication study to test the claimed prediction quality and 2) the quality has to be further improved for the domain of web user interface analysis to allow integration into our visual analysis infrastructure. This thesis addresses the two challenges by replicating the experiments based on the available materials (code, pre-trained models for baselines and the highest-performing approach, datasets) and existing datasets of our professorship. Based on the results verification, the existing model should be further optimized for the specific domain of web user interfaces to increase the quality and therefore make the model more suitable as input for the computation of object-dependent metrics.
Description (German)
Die Erkennung von Objekten in Nutzerschnittstellen (UIs) ist eine wichtige Voraussetzung für verschiedene Analyse- und Frontend-Entwicklungsaufgaben wie beispielsweise objekt-abhängige UI Metriken, UI Tests, Ähnlichkeitsanalyse und Layout-Transfer, UI Generierung, UI Suche usw. Ansätze, welche visuelle Eingabedaten, d.h. Screenshots, verarbeiten, sind unabhängig von Implementierungsdetails wie spezifischen Frontend Frameworks, Plattformen (Web-, Mobile, oder Desktop-Anwendungen), setzen nicht die Verfügbarkeit von bzw. den Zugriff auf Quelltext oder dedizierte Accessbility APIs voraus und können potentiell die menschliche visuelle Wahrnehmung und das Verständnis von kompositen UI Elementen besser nachvollziehen.
Neuste Lösungen basierend auf Deep Neural Networks und Computer Vision erreichen eine Vorhersagequalität von ca. F1=.6 bei einem IoU Schwellenwert von .9. Diese Steigerung von mehr als 40% gegenüber vorhergehenden Modellen ist eine signifikante Verbesserung. Um jedoch den UI Ojekt Detector wirklich einsetzen zu können, bleiben zwei Herausforderungen offen: 1) die veröffentlichten Ergebnisse müssen unabhängig durch eine Replikationsstudie verifiziert werden, um die behauptete Vorhersagequalität zu testen und 2) die Qualität muss weiter verbessert werden für die Domäne der web user interface analysis um die Integration in unsere bestehende visuelle Analyseinfrastruktur zu ermöglichen. Diese Arbeit geht die beiden Herausforderungen an durch die Replikation der Experimente basierend auf den vorhandenen Materialien (Quelltext, Vor-trainierte Modelle für die Baselines und den besten bekannten Ansatz, Datensätze) und existierenden Datensätzen unserer Professur. Basierend auf den Verifikationsresultaten soll das Modell weiter für die spezifische Domäne von Web User Interfaces optimiert werden um die Qualität zu erhöhen und das Modell dadurch geeigneter als Datenquelle für die Berechnung von objekt-abhängigen Metriken zu machen.
