X

Mi, 30.09.

Kleine Schritte, große Daten. Wieso Lambda-Architektur und agile Entwicklung perfekt zusammenpassen.


Zeit: 16:00 - 16:45
Datum: Mi, 30.09.
Raum:
Sprache: Deutsch
Track: Big Data & Machine Learning
Level: for everyone

Menschen, die sich im Internet bewegen, sind zunehmend damit überfordert, ein immer größeres Angebot erfassen und die für sich passenden Inhalte finden zu müssen.

Für Anbieter von Inhalten liegt die Herausforderung daher darin, dem einzelnen Kunden ein jeweils möglichst relevantes Angebot vorzulegen. Dies kann nur durch eine algorithmische Auswahl der Inhalte gelingen.

Viele solche Algorithmen, wie etwa das Collaborative Filtering, arbeiten auf historischen Daten. Die großen Datenmengen bedingen lange Laufzeiten. Oft ist aber der aktuelle Kontext entscheidend um zu definieren, welche Inhalte mehr oder weniger relevant für den Kunden sind. Algorithmen, die Ergebnisse nahezu in Echtzeit zur Verfügung stellen, müssen mit einem Bruchteil der Daten auskommen und bieten entsprechend nur eine wesentliche geringere Genauigkeit.

Die Lambda-Architektur ermöglicht ein Zusammenspiel beider Klassen von Algorithmen. Gleichzeitig bietet sie eine Entkoppelung der betrieblichen Risiken von Berechnungsplattform einerseits und Auspielung der Inhalte andererseits.

In meinem Vortrag möchte ich nicht auf die verschiedenen Algorithmen, sondern auf die Eignung der Lambda-Architektur für die Entwicklung in kleinen, agilen Schritten (Babysteps) eingehen. Ich berichte aus unserer Erfahrung in einem kleinen Team, welches eine Lambda-Architektur etabliert hat und dabei bereits nach 2 Wochen einen Mehrwert im produktiven Einsatz geliefert hat. Wir entwickeln diese seit nun fast einem Jahr weiter und haben ein datenzentriertes und hochmodulares System geschaffen. In diesem beschränkt sich technische Schuld auf kleine, einzeln bearbeitbare Komponenten, so dass wir zuversichtlich sind, auch in Zukunft zuverlässig und schnell neue Funktionalität bereitstellen zu können.

Der Vortrag richtet sich an alle, die an datengetriebenen Systemen mitarbeiten. Entwickler, Datascientists, Analysten, Produktmanager, Qualitätssicherer et. al.