Data (Reverse) Engineering: Analyse von Datenlandschaften

Die Herausforderung in vielen Big-Data-Projekten ist die Analyse und Modellierung von Datenlandschaften. Es gibt Datenlandschaften aus sehr vielen potenziellen Datenquellen, in denen Daten teilweise redundant und leicht abweichend abgelegt sind. Das Ziel: heterogene Datentöpfe in einen homogenen Datenbestand überführen, der sich dann integriert durchsuchen und analysieren lässt.

Dieser Vortrag präsentiert unser Vorgehen in einem Enterprise-Search-Projekt. Wir nutzen dort Solr, um Metadaten zu potenziellen Eingangssystemen zu erfassen und zu analysieren. Das erlaubt die effiziente Modellierung von benötigten Datenquellen, Verknüpfungsinformationen und fachlicher Entitäten.

Skills
Der Vortrag setzt Grundbegriffe der Datenmodellierung voraus.

Lernziele
Es gibt neben Softwarelandschaften auch Datenlandschaften. Gerade in Big-/Smart-/Fast-Data-Projekten stellt die Analyse und Modellierung existierender Datenlandschaften eine Herausforderung dar, für die es wenige Lösungsansätze gibt. Dieser Vortrag präsentiert Erfahrungen aus der Analyse einer Datenlandschaft mit ca. 60 potenziellen Eingangssystemen.

// Referent

// Dr. Marcus Ciolkowski

ist Berater und Facharchitekt bei der QAware GmbH. Er arbeitet seit vielen Jahren im Bereich der zielgerichteten Erhebung und Analyse kleiner und großer Datenmengen. Er ist aktuell fachlicher Chefarchitekt für eine Enterprise-Search-Anwendung, die seit mehr drei Jahren mit durchschnittlich 15 Entwicklern entwickelt wird und weltweit im Einsatz ist.