MapReduce is not dead, it just smells funny!

Wer die Neuigkeiten der Big-Data-Szene verfolgt, gewinnt den Eindruck, dass Java MapReduce eine obsolete Technologie ist und vollständig durch neuere Entwicklungen wie Spark oder Flink abgelöst ist.

Nach fast zehn Jahren Erfahrung mit Big-Data-Systemen hinter einigen der größten deutschen Webportale möchte ich hervorheben, dass in vielen Fällen die Auswahl der konkreten Technologie für verteilte Berechnungen weniger Einfluss auf Performance, Skalierbarkeit und Entwicklungsaufwand hat, als man zunächst meinen könnte. Effektiver als Tuning auf der Technik-Ebene ist ein gutes Verständnis der Anwendungsdomäne, ein belastbares Domänenmodell und die Optimierung von Berechnungen und Datenflüssen mit fachlichem Hintergrundwissen.

In diesem Vortrag möchte ich Anwendungsfälle aus unseren Systemen diskutieren und zeigen, wie Businesslogik effizient und elegant implementiert werden kann, sodass sie sich mit beliebigen Frameworks gut parallelisieren lässt und trotzdem von der Technik entkoppelt ist.

Skills
Besucher sollten ein grundlegendes Verständnis eines Frameworks für verteilte Berechnungen mitbringen; Beispiele wären MapReduce, Spark oder Flink. Idealerweise haben die Zuhörer schon in einem dieser Frameworks Anwendungen implementiert.

Lernziele
Der Vortrag möchte vermitteln, dass klassische Ziele des Software Engineering auch in der Big-Data-Welt gelten. Beispiele sind Separation of Concerns, gute Domänenmodelle und Abstraktion von technischen Details. Diese Ziele kommen in der Diskussion von Big-Data-Technologien oft etwas zu kurz und sollten wieder mehr in den Fokus gerückt werden.

// Referent

// Christoph Schmitz

ist Software-Architekt bei 1&1. Seit 2007 entwirft und implementiert er Big-Data-Systeme, die die Daten einiger der größten deutschsprachigen Portale wie 1und1.de, Web.de und GMX für den Konzern nutzbar machen. Seine Interessensgebiete umfassen Big Data, Data Science, Targeting, Datenbanken, Social Network Analysis und Wissensmanagement.