Graph Compute: Neo4j und Apache Spark

Big Data bezieht sich nicht immer nur auf das Volumen, sondern auch die Komplexität, Konnektivität und Heterogenität der Daten. Viele Geschäftsdomänen stellen ein komplexes Beziehungsgeflecht von Entitäten dar, die ein Graph-Modell sehr gut repräsentiert. Für die meisten Anwendungsfälle eines Systems kann eine Graphdatenbank aufgrund der lokalen Traversierung entlang dieser Beziehungen Anfragen in Echtzeit beantworten.

Für komplexere Berechnungen über die gesamte Datenmenge (Reporting, Ranking, Metriken) ist eine Integration mit einem Graph-Compute-Ansatz wie Apache Spark sinnvoll. Die Möglichkeiten der Integration von Neo4j mit Spark sind Thema dieses Vortrags.

Skills
Minimales Basiswissen über NoSQL-Datenbanken, Graph-Datenmodelle und Big Data Compute Ansätze.

Lernziele
Kombination mehrerer Datenbank-Dienste mittels Docker Compose, Integration von Neo4j mit Spark für die Auslagerung rechenintensiver Operationen, Nutzung der Neo4j APIs, um effizient globale Graphalgorithmen als Erweiterung umzusetzen.

// Referent

// Michael Hunger
@mesirii

arbeitet eng mit Neo Technology zusammen, um deren Graphdatenbank Neo4j noch leichter für Entwickler zugänglich zu machen. Hauptinteressensgebiete sind dort Integration mit anderen Techniken, Datenimport und Performance. Er unterstützt alle Nutzer von Neo4j tagtäglich bei der erfolgreichen Realisierung ihrer Projekte. Er arbeitet außerdem an mehreren Open-Source-Projekten mit, ist Autor, Editor und Sprecher bei Konferenzen.