(Stream-)Datenverarbeitung in der Cloud

Das Angebot der Cloud-Anbieter wächst stetig. Auf der AWS reInvent wurden eine Vielzahl von Verbesserungen und neuen Services vorgestellt. Den meisten gemein ist das Versprechen, die Komplexität des Betriebs zu verringern. Wenig verwunderlich bieten die großen Cloud-Anbieter auch Services zur Datenverarbeitung. Das Angebot reicht von Datenbanken über Stream-Prozessoren bis hin zu Machine-Learning-Services.

In diesem Talk sollen die wichtigsten Produkte vorgestellt werden, dabei liegt der Fokus auf dem Stream Processing. Es geht nicht nur um die Funktionen der einzelnen Systeme, sondern auch um die Kosten und einen Vergleich mit Tools, die im Bare-Metal-Umfeld verfügbar sind. Konkret werden dabei AWS Kinesis, Google Cloud Dataflow, Apache Kafka Streams und Apache Flink betrachtet.

Vorkenntnisse
* Basiswissen zu Cloud-Plattformen
* Basiswissen Datenbanken/Stream Processing

Lernziele
Die Teilnehmer können einschätzen, welche Dienste von den großen Cloud-Anbietern zur Verfügung gestellt werden, wie sich diese untereinander und zu Bare-Metal-Angeboten unterschieden und welche Aspekte bei einer Auswahl zu berücksichtigen sind.

// Matthias Niehoff
@matthiasniehoff

beschäftigt sich ausgiebig mit Big-Data- und Fast-Data-Technologien. Neben On-premise-Technologien wie Apache Cassandra und Apache Kafka verliert er auch die Cloud-Angebote von Amazon, Google und Microsoft nicht aus den Augen. Am Ende ist die Technologie aber nur ein Mittel zum Lösen realer Probleme. Die Auswahl der richtigen Technologie für den Use Case ist die spannende Aufgabe.