Aufbau einer End-2-End-Architektur zur Datenanalyse für Fachbereich, Softwareentwicklung und Data Science [Sponsored Talk]

Die Grenze zwischen Softwareentwicklung, Data Science und klassischer Datenanalyse im Fachbereich verschwimmt mit jeder neuen Technologie, sei es IPython, Jupyter Notebooks, Hadoop mit Hive Pig oder Apache Spark. Data Analytics kann damit zur großen Chance oder aber zum Bottleneck werden. Wo wird die Grenze zwischen Entwicklung und Fachbereich gezogen? Wo hört Modellierung und Requirements Engineering auf und wo fängt Software Engineering an?

Der Vortrag zeigt live, wie eine End-2-End-Architektur zur Datenanalyse im ersten Schritt aufgesetzt und danach genutzt wird. Ziel ist es eine lokale Entwicklungsumgebung zu schaffen, die Fachbereichler zum Spielen anregt, Data Scientists zum Rapid Prototyping gerecht wird und Entwicklern die Möglichkeit gibt, Modelle mit wenig Aufwand zu übernehmen und produktiv zu setzen.

Skills
Allgemeine Kenntnisse über die Nutzung von Big-Data-Technologien, ein wenig Programmiererfahrung in Scala oder Python kann auch nicht schaden.

Lernziele
* Stellschrauben aufzeigen, um datenorientierte Lösungen über Abteilungsgrenzen hinweg zu entwickeln
* Eindrücke geben, wie Big-Data-Infrastruktur von der Simulation bis hin zur Analyse aufgesetzt wird
* Erfahrungen und Beispiele aus der Anbindung von Energieerzeugern präsentieren

// Referent

// Mark Keinhörster

ist Business Data Architect von E.ON Climate & Renewables und hat hier Erfahrungen beim Aufbau eines Datalake für Turbinendaten mit Hadoop, der Anbindung und Verarbeitung von Realtime- und Batchdaten gesammelt. Davor war er als Software Engineer und Scrum Master bei E.ON Connecting Energies für die Plattformentwicklung eines virtuellen Kraftwerks mit Scala und Docker, bei dem es um die Anbindung, Steuerung und Analyse von Echtzeitdatenströmen mit Kafka, Spark und Reactive Streams ging. Mark Keinhörster ist außerdem seit 2013 Dozent für prozedurale und objektorientierte Programmiertechnik an der FOM Dortmund.