Backup & Disaster Recovery in Hadoop

Man könnte meinen, dass Hadoop alle Daten sicher vorhält und ein einziger Cluster alles ist, was man braucht. In der Praxis muss man aber weiter denken. "Was passiert, wenn das ganze Rechenzentrum ausfällt?" oder "Wie stelle ich einen konsistenten Datenbestand wieder her, damit Anwendungen weiterlaufen können?" - solche Fragen sind für Hadoop nicht trivial zu beantworten. Es gibt keine durchgängigen Sicherungskonzepte oder gar Tooling-Unterstützung, um diese aufzubauen. Die Hadoop-Anbieter ignorieren das Thema weitestgehend, denn die Masse der Anwender steckt noch in der "Single Use-Case"- oder Proof-of-Concept-Phase, wo das Thema der Datensicherung oft völlig ignoriert wird.

Dieses Vortrag spannt zunächst einen Rahmen auf, der die Vielzahl der Probleme bei der Datensicherung und Wiederherstellung in Hadoop mit seinen vielen Speichersystemen (wie HDFS, HBase, YARN, Oozie), den Management-Anwendungen usw. aufzeigt, um anschließend ein gangbares Konzept vorzustellen.

Lernziele
Der Teilnehmer lernt, dass dieses Thema nicht zu unterschätzen ist, und erfährt, was heute möglich ist, um einen ausfallsicheren Betrieb von Hadoop-Clustern zu realisieren.

// Referent

// Lars George

ist Founding Partner der OpenCore GmbH & Co. KG und berät Firmen und Partner weltweit im Bereich Hadoop, HBase und Lösungen im Umfeld der großen Datenmengen. Er ist Autor des O'Reilly-Buches "HBase - The Definitive Guide" und beschäftigt sich seit Ende 2007 mit dem stetig wachsenden Hadoop-Ökosystem. Lars hat auf zahlreichen Konferenzen Vorträge in diesem Bereich gegeben. Im Zeitraum von mehr als 20 Jahren als professioneller Entwickler und Berater war er unter anderem der CTO und Mitgründer von WorldLingo, wo er sich intensiv mit maschineller Übersetzung, Machine Learning, Natural Language Processing und skalierbaren Webtechnologien beschäftigt hat. Von 2010 bis Ende 2015 arbeitete er als Clouderas EMEA Chief Architect, um für Kunden Sinnvolles aus dem Datenwirrwarr der "Big Data"-Welt zu gewinnen. Lars begleitete Clouderas Wachstum von ungefähr 60 bis über 1000 Mitarbeiter und war ein wichtiger Faktor im Erfolg des Field-Customer-Enablement-Teams.