Big-Data-Analysen mit einer Serverless- und Microservice-Lambda-Architektur in der CloudServerless- und Microservice-Architekturen sind aktuelle Trends für die Implementierung flexibler Softwarearchitekturen. Wie kann man diese Paradigmen für Big-Data-Plattformen und Analysen verwenden? Die "Global Media Exchange – GLOMEX GmbH", eine 100-prozentige Tochter von ProsiebenSat1.Media, bietet Media-Exchange und Videoauslieferung "as a Service" für weltweite Kunden an.
In diesem Beitrag beschreibe ich, wie wir in den letzten vier Monaten eine Serverless-Data-Plattform auf Amazon Web Services mittels einer Lambda-Architektur umgesetzt haben. Alle Module und Daten-Pipelines folgen der Idee von Microservices und erlauben uns zu skalieren und flexibel auf neue Anforderungen zu reagieren. Aktuell werden 5 Milliarden Events pro Tag in Echtzeit verarbeitet, für die Batch-Verarbeitung entstehen Kosten von 1 US-$ pro Stunde, und es werden mehr als 25 GByte Click-Stream-Daten pro Tag verarbeitet.
Skills
Amazon Web Services, Data Processing, Batch Processing, Real Time
Lernziele
* Konzepte für Serverless-Architekturen in Big Data
* Konzepte für Microservices in Big Data
* Best Pratices für Big Data auf AWS
* Data Science mit Jupyter in einer skalierenden Datenplattform
// Referent
// Markus Schmidberger
@cloudHPC
arbeitet als Cloud & Big Data Architect für die Glomex GmbH, eine Tochter von ProSiebenSat.1 Media SE. 2009 erhielt er einen Ph.D der Universität von München in "Parallel Computing for Biological Data". Sein Schwerpunkt liegt auf flexiblen, skalierbaren und Cloud-basierten Architekturen für große Datenanalysen einschließlich der effizienten Nutzung der statistischen Sprache R.