Spektrum x Airlaunch

Die Airlaunch Plattform kann vielseitig für Data Analytics Projekte eingesetzt werden. So auch für das ETH-Spinoff "Spektrum", das mit einem eigens entwickelten Verfahren die Stabilität von Felsen im Blick behält und damit einen wichtigen Beitrag zur Sicherheit in den Bergen leisten kann.

Frühzeitig Instabilitäten im Fels erkennen

Spektrum installiert und betreibt Messstationen rund um gefährdete Felsstrukturen. Von speziellem Interesse sind dabei Bereiche, die von Erde bedeckt oder überwachsen und daher nicht direkt von aussen einsehbar sind. Das Messsystem basiert zudem nicht auf Deformationen an der Erdoberfläche, sondern spürt strukturelle Änderungen im Untergrund auf. Dadurch lassen sich auch Instabilitäten aufspüren, welche aktuell keine grosse Deformationen aufweisen oder wenn man nicht die Zeit dazu hat, lange Messreihen zu generieren. Hier liegen die Stärken des Systems.

Die Stationen messen die natürlichen Vibrationen des Untergrundes, welche sowohl von menschgemachten (Maschinen, Verkehr), als auch von natürlichen Quellen wie Flüsse oder den Gezeiten stammen. Die Schwingungen werden dann mit den entsprechenden Algorithmen verarbeitet und geben ein Bild über den Zustand der jeweiligen Felsstruktur.

Veränderungen in den strukturellen Eigenschaften, wie zum Beispiel der Materialsteifigkeit,  können mit dieser Technik frühzeitig erkannt werden. Dadurch lassen sich gegebenenfalls schon vor einem Hangrutsch oder Felssturz entsprechende Massnahmen einleiten. Die Methode ist komplementär zu den oberflächlichen Monitoring-Lösungen und bietet zudem den Vorteil, dass keine Deformationen gemessen werden müssen. Da direkt die strukturelle Integrität überwacht wird, lässt sich somit idealerweise zusätzliche Reaktionszeit vor dem eigentlichen Hangversagen gewinnen.

Airlaunch liefert die IT Architektur

Spektrum muss die Daten regelmässig (z.B. stündlich) von den einzelnen Messstationen zusammenführen, durch die eigens entwickelten Algorithmen in Python verarbeiten und dann in einer Datenbank speichern. Danach sollen die Resultate für die verschiedenen Stakeholder in einer Web-Oberfläche einsehbar sein.

Der konstante Transport und die regelmässige Verarbeitung der Daten ist durch die verteilte Art des Systems und den IoT Aspekt der Sensoren am Berg entsprechend fehler- und störanfällig. Einfache handgestrickte Lösungen mit Crontab und fixen Compute-Ressourcen waren nicht robust genug für ein produktives System. Hier kommt Airlaunch ins Spiel.

Data Processing leicht gemacht

Das Herzstück von Airlaunch ist unser Managed Airflow Service. Dieser bietet entscheidende Vorteile beim Abbilden von Data Pipelines und Data Processing mit Code. Diese und weitere Komponenten der Airlaunch Plattform werden von uns in der Cloud (in diesem Projekt Azure) betrieben und benötigen keine Verwaltung durch Spektrum. Dies erlaubt es Spektrum, die personellen Ressourcen auf den Kern ihres Angebots zu fokussieren und keine Zeit mit Skalierung, Updates, etc. zu verlieren.

Der Airflow Scheduler bringt Stabilität

Spektrum kann mit dem System klare Zeitfenster definieren, die regelmässig abgearbeitet werden sollen. In ihrem Fall ist das stündlich, kann aber bis zu minütlich geschehen. Wenn es zu Fehlern, wie beispielsweise Netzwerkunterbrechungen, kommt, wird der Scheduler automatisch die betroffenen Zeiträume nochmals aufarbeiten. Damit ist sichergestellt, dass keine ärgerlichen Lücken im Dataset bestehen bleiben. Der Benutzer erhält ebenfalls eine grafische Übersicht darüber, welche Timeframes erfolgreich verarbeitet wurden und welche nicht.

Dies ist entscheidender Unterschied zu einfachen Lösungen mit Crontab, bei denen ein Entwickler eigene, komplexe Logik und gegebenenfalls Dashboards aufbauen müsste. Vor allem bei der Wiederaufarbeitung von fehlgeschlagenen Zeiträumen scheitern solche Lösungen meistens.

Python Algorithmen direkt übernehmen

Die Plattform ermöglicht das direkte Ausführen von Python Code. Dies beinhaltet ebenfalls sämtliche Libraries die für Python verfügbar sind. Es lassen sich auch kompilierte Binaries in anderen Sprachen (in beispielsweise C++) in das Image des Airflow Worker Nodes integrieren. Solche Worker sind eigenständige Container, die für das Data Processing nach Bedarf hoch- oder runterskaliert werden. Durch diese Skalierbarkeit lässt es sich besser steuern, dass Berechnungen nicht über die geplanten Zeitfenster hinaus dauern und/oder Compute-Ressourcen knapp werden können. Wenn solche Features fehlen, kann man mit kontinuierlichem Data Processing oftmals in einen Rückstand geraten.

Mit diesem Framework als Grundlage, war es für Spektrum ein Leichtes, die bereits entwickelten Algorithmen für die Airlaunch Plattform zu operationalisieren. Es waren an wenigen Stellen Anpassungen nötig, an denen nicht Python eingesetzt wurde und keine Lösung mit Embedded Binaries möglich war (Software-Lizenz Problem).

Der Edge Worker hilft bei IoT und On-Premise

Der von Airlaunch als Ergänzung zu Airflow entwickelte Edge Worker ist zur Installation nahe an On-Premise Datenquellen, IoT Geräten und generell Servern die Netzwerk-technisch schwer erschliessbar sind gedacht. Beim Projekt mit Spektrum betraf dies die Messstationen.

Der Airlaunch Edge Worker kommuniziert outbound-only. Das heisst nach einer lokalen Installation baut der Worker selbständig eine Verbindung zur Cloud auf und holt sich dort seine Data-Processing Aufgaben ab. Für diese Verbindung muss die Firewall nicht von aussen geöffnet werden. Die Tasks sind im privaten Git Repo von Spektrum für den lokalen Worker definiert und werden vom Airflow Scheduler eingeplant. Die Daten werden nach der lokalen Verarbeitung anschliessend nahtlos an die Worker in der Cloud weitergereicht und dort weiterverarbeitet.

Daten zugänglich machen

Die Ergebnisse von Spektrum sind für verschiedene Parteien interessant (Gemeinden, Kantone, Forscher, etc..). Airlaunch hat erstens dabei geholfen, die aufbereiteten Daten in einer dafür passenden Datenbank unterzubringen. Zweitens haben wir eine Web-Applikation für Spektrum entwickelt, die entsprechende Dashboards und Charts enthält und damit die Daten für alle Stakeholder visuell zugänglich macht.

Das ETH Spin-off Spektrum hat sich inzwischen an den Markt herangetastet und hat erste Kundenaufträge in Aussicht. Selbstverständlich werden auch diese alle mit Airflow überwacht. Weitere Informationen zu Spektrum finden sich auf www.spektrum-geophysik.ch.

Kontaktieren Sie uns!

Wir möchten wissen, welches Daten-Projekt Sie umsetzen wollen und wie wir Ihnen dabei helfen können. Gerne entwerfen wir zugeschnittene Lösungen für Sie. Kontaktieren Sie uns noch heute für eine kostenlose Erstberatung.