Masterarbeit
Availability of Big Data Scenarios in Web-based Testbeds
Completion
2022/11
Research Area
Students
Bastian Rose
Advisers
Description (German)
Testumgebungen sollen helfen ein sich überlegtes Setup
aufzubauen, um die Anforderungen an komplexe Strukturen und deren Zusammenhänge
zu testen. Bei solchen Testumgebungen ist es möglich, verschiedene Strukturen auf
derselben Hardware auszutesten und damit zu vergleichen. Dazu
wurden in der
Vergangenheit mehrere Testumgebungen entwickelt, um diesem Anspruch unter verschiedenen
Gesichtspunkten gerecht zu werden. Für die Erstellung eines Testszenarios bei
aTLAS, welches in dieser Arbeit als praktische Umsetzungshilfe dient, müssen
anfangs der Director und dessen Supervisor mit ein oder mehreren Agenten initialisiert
werden. Anschließend sollen die Agenten auf eine vordefinierte Art und Weise
miteinander kommunizieren, um Trust-Evaluations zu protokollieren und nach Ablauf des
Szenarios auswerten zu können.
Die Arbeit soll sich darauf konzentrieren, wie eine solche Verteilungsproblematik von sehr großen Daten bzw. Abläufen in einer modernen verteilten Welt abläuft. Als erstes muss die Konfiguration verteilte Rechenknoten erreichen können. Um ein Testbed möglichst realgetreu agieren zu lassen, ist es förderlich, diese auch auf verschiedenen realen Knotenpunkten zu hosten. Dadurch muss aber auch eine Verteilung der Steuerdaten auf diese Knotenpunkte stattfinden. Des Weiteren muss davon ausgegangen werden, dass die Steuerdatei durch komplexe Abläufe eine sehr große Speichergröße aufweist. Die einzelnen Maschinen sind in ihrer Rechenleistung begrenzt. Da das Szenario im besten Falle eine Abbildung der Realität ist, aber die Ressourcen begrenzt sind, haben die einzelnen Maschinen eine geringe Hardware. Das hat zur Folge, dass nur Teile der Konfiguration an einzelne Supervisor geschickt werden können, da deren Speicherkapazität begrenzt ist.
Aus diesen Anforderungen ergeben sich zwei wesentliche Problembereiche der Arbeit:
- Das Einlesen der Konfigurationsdatei in das Programm wird maßgeblich durch die Speichergröße der Dateien und den Arbeitsspeicher der Maschinen beeinflusst. Das Einlesen kann somit deutlich länger dauern oder gar abgebrochen werden. Dennoch sollte das Testbed auch mit sehr großen Szenario-Daten im dreistelligen GB-Bereich arbeiten können.
- Die Auswertung der Konfiguration für die Erstellung der Supervisor und Agenten und der anschließenden Verteilung der Konfiguration. Problematisch sind hierbei, dass die Befehlskette die Speicher- und Rechenressourcen der Agenten überschreitet. Somit können diese ihre Befehle nicht Puffern, was zum Stopp des Agenten führen kann, bzw. einem unkontrollierten Ausfall in der Berechnung, was den Testlauf eventuell verfälscht.
Ziel dieser Arbeit ist es, einen Ansatz bzw. eine Kombination von Ansätzen für die zuvor genannten Probleme und Aufgaben im Rahmen der Verfügbarkeit von großen Szenario Daten innerhalb eines web-based Testbeds zu finden. Dies umfasst insbesondere den Stand der Technik hinsichtlich der Verarbeitung und zur Verfügung stellen von Big Data auf verteilen Komponenten eines Systems. Der Nachweis der Machbarkeit mit einem Implementierungsprototyp des Konzepts ist ebenso Teil dieser Arbeit wie eine entsprechende Evaluierung mit exemplarischen Anwendungsfällen.
