Apache Kafka: eine verteilte Messaging-Plattform [Sponsored Talk]Entwickler und Architekten von datengetriebene Systemen stehen immer öfter vor der Herausforderung im Umgang mit immer größeren und vor allem höher frequenten Daten, die auf ihr System einströmen. Wie stelle ich die Ausfallsicherheit meines Data-Ingestion-Systems sicher? Was muss ich tun, wenn meine nachgelagerten Systeme Daten in bestimmten Situationen noch mal verarbeiten müssen? Was kann ich tun, wenn meine klassische JMS-Lösung mit diesen Datenmengen nur noch schwer umgehen kann? Wie kann ich skalieren?
Für alle diese Herausforderungen ist Apache Kafka von Haus aus gewappnet!
Ziel des Slots ist es, einen Überblick über die Funktionalität und Möglichkeiten des verteilten Message Broker Apache Kafka zu geben. Der Fokus liegt insbesondere auf den Themen Skalierbarkeit, Partitionierung und Wiederlesbarkeit von Daten. Nach der Einordnung von Kafka innerhalb des Hadoop-Ökosystems und einer theoretischen Einführung wird in einer kurzen Live-Demo ein Prototyp aufgesetzt, in dem die angesprochenen Features demonstriert werden.
Vorkenntnisse
* Grundkenntnisse in verteilten Systemen
Lernziele
* Einordnung von Apache Kafka in das Big-Data-Okösystem
* Grundlegendes Verständnis über die Funktionsweise von Kafka als Messaging-System
* Verständnis über die Möglichkeiten der Skalierung durch Partitionierung
//
Lukas Berle
beschäftigt sich als Lead of Big Data Software Engineering bei OPITZ CONSULTING intensiv mit den Themen Big Data, verteilten Systemen und maschinellem Lernen. Hier arbeitet er regelmäßig als Coach in Kundenworkshops. Sein Fokus liegt dabei insbesondere auf den Themen skalierbarer Individualanwendungen, Datenspeicherung, In-Memory Stream Processing Engines und deren Integration im Hadoop Ökosystem. Seine Tätigkeitsfelder umfassen darüber hinaus die Erfassung von Kundenanforderungen, die Architektur, Design und den Betrieb komplexer Enterprise-Systeme