Massive Datenströme mit Apache Kafka300 Milliarden Nachrichten pro Tag über verteilte Rechenzentren? Mit Apache Kafka kein Problem! Kafka ist ein verteilter, partitionierender und replizierender Dienst für Datenströme. Es stellt seine Funktionen ebenso wie klassische Messaging-Broker zur Verfügung, allerdings unter der Verwendung deutlich anderer als der gewohnten Konzepte.
In diesem Vortrag werden wir auf die wichtigsten davon eingehen, erläutern, weshalb Kafka hierdurch einen derartigen Durchsatz ermöglicht, und zeigen, wie eine Beispielapplikation aussehen kann.
Skills
Eine "klassische" nachrichtenorientierte Architektur sollte bekannt sein. Der Begriff der "Echtzeitverarbeitung" sollte kein Fremdwort darstellen. Außerdem sollten für das Beispiel grundlegende Java-Kenntnisse mitgebracht werden-
Lernziele
Kafka-Terminologie und -Konzepte. Unterschiede zum "klassischen Messaging" und dessen Probleme bei vielen Nachrichten (Performance-Einbußen wg. nicht sequentiellem IO). Wie kann Kafka integriert werden und was gibt es zu beachten? Vor- und Nachteile: Wo macht der Einsatz Sinn und wo nicht? Ausblick auf neue Funktionen zukünftiger Releases
// Referenten
//
Lars Pfannenschmidt
@leastangle
beschäftigt sich vorrangig mit Themen rund um Internet of Things, mobile Applikationen, Machine Learning, Big Data und agile Vorgehensmodelle wie Scrum und Kanban. Er arbeitet als Staff Software Engineer bei Intuit Data Engineering & Analytics an Echtzeitlösungen und ist Mitgründer der mobile.cologne User Group Köln.
//
Frank Wisniewski
arbeitet als Senior Software Engineer im Bereich Echtzeitapplikationen bei Intuit Data Engineering & Analytics. Sein Erfahrungshorizont ist von 3D-Visualisierung und -Rendering (C++/OpenGL, 3D-PDFs) über moderne Webentwicklung bis hin zu Big Data in Echtzeit und agilen Vorgehensmodellen wie Scrum oder Kanban thematisch breit gefächert.