Masterarbeit / Bachelorarbeit / Praktikum
UI Metrics: The Impact of UI Object Detection Quality
Research Area
Advisers
Dr.-Ing. Sebastian Heil
Description
User Interface (UI) metrics are an important building block for engineering good frontends. It enables a systematic approach of iteratively building, evaluating, and improving user interfaces to optimize them towards desired target characteristics in terms of aesthetics, complexity and usability. Automatic computation of these metrics, reducing the need for expensive and time-consuming empirical evaluations with human users, is the key enabler for a high results quality and efficiency of this process, as it allows for high evaluation frequency and therefore for smaller increments being created more often. A significant share of UI metrics relies on knowledge of the composition of the UI such as simple count measures (number of objects, number of different sizes, number of images, type distributions), alignment and spatial distributions, Ngo's balance, symmetry, proportion, and density metrics, or Salimun's cohesion, economy, sequence, unity and regularity. Automatic computation of object-dependent UI metrics therefore relies on object detection techniques.
Through recent advances in the field of Deep Neural Networks, state-of-the-art UI Object detectors reach an object prediction quality of about .6 F1 score. While a significant improvement over previous works, this number is still relatively low. This thesis investigates the influence of UI Object Detection quality on object-dependent UI metrics. It will implement a representative set of object-dependent metrics and analyze the impact of using a state-of-the-art detector in comparison to a perfect ground truth. As UI metrics are often used as input features for further machine learning (ML) models, the impact will be analyzed on two levels: directly on the UI metrics and indirectly on the performance of existing ML models for UI evaluation. Based on these findings, the thesis aims at providing simple heuristic corrections that can be used to improve the overall performance when using UI Object detectors as input for automatic UI evaluation. The experiments and evaluation of the proposed correction solutions will be performed on existing datasets of the professorship (NSTU500, 6Domains100) and external (Rico).
Description (German)
User Interface (UI) Metriken sind ein wichtiger Baustein für die ingenieursmäßige Konstruktion von guten Frontends. Sie ermöglichen einen systematischen Ansatz des iterativen Erstellens, Evaluierens und Verbesserns von Nutzerschnittstellen um diese hinsichtlich angestrebter Ziel-Charakteristika in Ästhetik, Komplexität und Nutzbarkeit zu optimieren. Die automatische Berechnung dieser Metriken reduziert die Notwendigkeit für kosten- und zeit-intensive empirische Evaluationen mit menschlichen Nutzern und ist ein Schlüssel für hohe Qualität und Effizienz des Entwicklungs-Prozesses, da dies eine hohe Evaluationsfrequenz und mithin kleinere und häufigere Iterationen ermöglicht. Ein signifikanter Anteil der UI Metriken setzt Kenntnis der Zusammensetzung der UI voraus, wie zum beispiel einfache Zählungs-basierte Maße (Anzahl der Objekte, Anzahl der verschiedenen Größen, Anzahl der Bilder, Typ-Verteilungen), Ausrichtung und Räumliche Verteilungen, Ngo's Balance, Symmetrie, Proportion und Dichte Metriken, oder Salimun's Kohäsion, Ökonomie, Sequenz, Einheitlichkeit und Regelmäßigkeit. Die automatische Berechnung von objekt-abhängigen UI Metriken ist daher auf Techniken der Objecterkennung angewiesen.
Durch aktuelle Fortschritte im Gebiet der Deep Neural Networks erreichen neuste UI Objekt Detektoren eine Vorhersagequalität für UI Objekte von ca. .6 F1 Score. Obwohl dies eine signifikante Verbesserung gegenüber früheren Verfahren darstellt ist dieser Wert immer noch relativ niedrig. Diese Arbeit untersucht den Einfluss der Vorhersagequalität für UI Objekte auf objekt-abhängige UI Metriken. Es werden repräsentative objekt-abhängige UI Metriken implementiert und der Einfluss durch den Einsatz eines aktuellen UI Objekt Detektors im Vergleich zu einer perfekten ground truth analysiert. Da UI Metriken oft als Eingabe-Features für weitere Modelle des maschinellen Lernens (ML) verwendet werden, wird der Einfluss auf zwei Ebenen untersucht: direkt an den UI Metriken und indirekt an der Leistung von existierenden ML Modellen für die Evaluation von UIs. Basierend auf den Ergebnissen zielt diese Arbeit darauf, einfache heuristische Korrekturmaßnahmen anzubieten, welche die Gesamtqualität beim Einsatz von UI Objekt Detektoren als Datenquelle für die automatische UI Evaluation steigern. Die Experimente und Evaluation der vorgeschlagenen Korrektur-Lösungen wird mit existierenden Datensätzen der Professur (NSTU500, 6Domains100) sowie externen (Rico) durchgeführt.
