Open Source ETL: Apache NiFi

NiFi wurde 2014 von der NSA veröffentlicht, nachdem es dort intern bereits jahrelang entwickelt und verwendet wurde. Dementsprechend ausgereift ist es. Was aber ist NiFi genau? NiFi ist ein grafisches Open Source ETL Tool. Es setzt sich von der kommerziellen Konkurrenz dadurch ab, dass es einen speziellen Fokus auf die Integration der zahlreichen "neuen" Tools der letzten Jahre (z.B. Kafka, Elasticsearch, HDFS, HBase, um nur einige zu nennen) legt, ohne aber die etablierten Werkzeuge (RDBMS, SNMP, SMTP usw.) zu vernachlässigen. Darüber hinaus lässt sich NiFi einfach selbst erweitern. Es widmet dem Thema Data Governance besondere Aufmerksamkeit, ist einfach zu betreiben, kann hochverfügbar ausgelegt und skaliert werden.

Nach mittlerweile mehr als 10 Jahren aktiver Projektarbeit im Hadoop-Ökosystem freue ich mich am meisten, wenn ich bei Kunden – oder auch privat – die Möglichkeit bekomme, NiFi zu benutzen. In diesem Talk werde ich daher versuchen, euch mit meiner Begeisterung für NiFi anzustecken und zu zeigen, wie einfach es ist, damit loszulegen.

Vorkenntnisse
Es sind keine speziellen Vorkenntnisse erforderlich.

Lernziele
Ziel ist es, Apache NiFi und dessen Einsatzszenarien kennen zu lernen.

// Lars Francke
@lars_francke

beschäftigt sich seit 2009 mit Hadoop (und seinem Ökosystem), HBase und Big Data im Allgemeinen. Er arbeitet aktiv an diversen Projekten mit und ist Hive-, HBase- und ORC-Committer sowie Mitglied der Apache Foundation. Er ist Co-Founder und Partner bei OpenCore, einer Beratungsfirma, die sich auf das Hadoop- und Big-Data-Geschäft konzentriert.