Search at Petabyte Scale: Approximate-Nearest-Neighbor-SucheIn vielen Big-Data-Anwendungen müssen riesige Datensätze schnell durchsucht werden, um relevante Information wie Kundenprofile, Bilder oder Dokumente zu finden. Der naive Suchaufwand wächst linear mit der Zahl der gespeicherten Daten: ein tödliches Problem für skalierbare Real-Time-Big-Data-Lösungen.
Approximate-Nearest-Neighbor-Methoden (ANN) finden die gesuchten Ergebnisse mit hoher Wahrscheinlichkeit, bei zugleich exponenziell reduziertem Aufwand. Diese innovative Technologie ermöglicht erst die Skalierung datenintensiver Anwendungen in den Petabyte-Bereich.
In meinem Talk werde ich die Basics von ANN erläutern und eine Bildersuche mittels einer Python-Open-Source-Toolbox demonstrieren.
Vorkenntnisse
Ich präsentiere eine innovative Theorie, die vielfältig einsetzbar und zugleich leicht zu begreifen ist. Spezielles Vorwissen ist nicht erforderlich.
Lernziele
Der Ziel des Vortrags ist es, die theoretischen Grundlagen von Approximate Nearest Neighbors zu vermitteln und die praktische Anwendung der Methode mit Open-Source-Tools auf einen Image-Datensatz zu zeigen.
//
Calvin Seward
ist Research Scientist bei Zalando Research und zugleich Doktorand bei Professor Sepp Hochreiter an der Johannes-Kepler-Universität Linz. Er arbeitet hauptsächlich im Feld Bilderkennung, bemüht sich aber zugleich, die neuesten Entwicklungen im Bereich des maschinellen Lernens und des GPU-gestützten Hochleistungsrechnens in anderen Geschäftsfeldern von Zalando einzubringen.