SQL meets NoSQL: Interaktive IoT-Datenanalyse trifft auf Open Source mit Apache NiFi, Apache Solr und Apache Zeppelin

Anhand eines Beispiels wird mittels echter Wetterdaten von Oberstdorf seit 1948 analysiert, ob sich eine fiktive Investition in den Wintersport eher rentiert als eine Investition in den Sommertourismus. Ein NiFi-Workflow liest die Daten ein und indiziert sie in Solr. Eines der neuesten Solr-Features - SQL-Abfragen, die über verteilte Suchindizes abgesetzt werden können - ermöglicht die Analyse großer Datenmengen auf einfache und schnelle Art und Weise. Die Unterstützung von SQL-Syntax sorgt für eine niedrige Einstiegshürde für diejenigen, die SQL beherrschen. Zu guter Letzt sorgt Zeppelin mit dem grafischen Interface dafür, dass sich diese Daten interaktiv analysieren und visualisieren lassen.

Skills
Grundwissen zu Solr, Suchmaschinen und SQL ist nützlich, aber nicht zwingend notwendig.

Lernziele
Aufbau einer skalierbaren und interaktiven Analyseplattform auf Basis von Open-Source-Software.

// Referent

// Daniel Wrigley
@wrigley_dan

ist seit 2012 als Consultant bei SHI beschäftigt. Sein an der LMU München abgeschlossenes Studium der Computerlinguistik ist die Basis für seine täglichen Aufgabengebiete, u.a. die Implementierung und Projektleitung von Such- und Big-Data-Anwendungen auf Basis von Solr und Elasticsearch sowie Solr-Schulungen. Er ist zudem Koautor des ersten deutschsprachigen Solr-Buches.