Masterarbeit
Visual Page Segmentation für Benutzeroberflächen
Research Area
Students
Christopher Reichelt
Advisers
Dr.-Ing. Sebastian Heil
Description (German)
Mit der ständigen Weiterentwicklung von Technologien und dem damit verbundenen fortschreitenden Wegfall veralteter Technologien wird es zunehmend wichtiger, bestehende Softwaresysteme zu erneuern. Insbesondere visuelle Änderungen an der Nutzeroberfläche fallen den Nutzern und können zu negativen Beeinflussungen der Nutzererfahrung führen. Auch bei Neuentwicklung von Software spielt die Analyse von grafischen Nutzeroberflächen (GUIs) eine entscheidende Rolle, z.B. für Metriken bezüglich der Qualität und Komplexität von GUIs. Design Repositories erlauben die Suche und den Transfer von vorhandenen GUI Designs auf neue GUIs basierend auf Ähnlichkeitsberechnungen. Für all diese Bereiche ist es daher unabdingbar GUIs hinsichtlich ihrer visuellen Charakteristika zu untersuchen und zu vergleichen.
Für die visuelle Analyse von GUIs ist es wichtig, diese in ihre Bestandteile zu untergliedern. Page Segmentation Ansätze ermöglichen dies. Jedoch nutzen die meisten Page Segmenttion Ansätze die unterliegende HTML bzw. DOM Struktur, welche jedoch nur bei Web UIs vorhanden ist und aufgrund von Technologien wie Custom Elements ein hohes Maß an Heterogenität aufweist. Daher ist es nötig, einen geeigneten Ansatz zu konzipieren, welcher anhand von rein visuellen Informationen arbeitet, indem er mittels geeigneter Bildverarbeitungsalgorithmen zuerst Regions of Interest (ROIs) identifiziert, und in einem zweiten Schritt die darin repräsentierten UI Objekte klassifiziert und deren Eigenschaften ableitet. Basierend auf den gefundenen UI Objekten und ihren gemeinsamen Eigenschaften, bspw. Ihrer Positionen relative zueinander, müssen Gruppen gebildet werden um komposite Strukturen zu bestimmen. Die Analyseergebnisse müssen in einer geeigneten Form repräsentiert werden, um diese als Ausgangspunkt für weiterführende Verarbeitung nutzbar zu machen.
Ziel dieser Arbeit ist es einen geeigneten Ansatz oder eine Kombination von Ansätzen zur Lösung des oben beschriebenen Problems der visuellen Identifikation von UI Objekten und Analyse von kompositen Strukturen zu konzipieren. Dies beinhaltet insbesondere die Untersuchung des Stands der Technik bezüglich Page Segmentation, ROI Identifikation, Multiclass-Klassifikation und Analyse komplexerer UI Strukturen, sowie die Demonstration der Lösung durch prototypische Implementierung des Konzeptes ebenso, wie eine geeignete Evaluation auf einem repräsentativen Test Datensatz mittels vergleichbarer Qualitätsmetriken.
