Daten-Pipeline für Streaming-Features bei einem Wiener Online-Händler
Übersicht
Worum es bei diesem Projekt geht.
Du erhältst eine Beispiel-Topologie (Browse-, Cart-, Order-Events als Kafka-Topics mit jeweils rund 8.000 Events/s in Spitzen), das aktuelle Batch-Feature-Schema (12 Aggregat-Features pro Nutzer:in über 1/24/168 Stunden) und einen Kubernetes-Cluster mit Spark Operator. Implementiere die Streaming-Pipeline, sichere End-to-End-Latenz unter 30 Sekunden für 95 % der Events und prüfe die Feature-Konsistenz gegen den Batch-Output über ein 24-Stunden-Fenster. Liefere die Pipeline, einen Latenz-/Konsistenz-Report und ein 2-seitiges Memo für das Plattform-Team.
Das Briefing
Was Du tust und was Du zeigst.
Baue eine Streaming-Feature-Pipeline, die Browse-Events in unter 30 Sekunden in das Empfehlungssystem füttert und Konsistenz zur Batch-Baseline beweist.
Earning criteria — what you'll demonstrate
- Eine Streaming-Pipeline mit produktionsreifen Tools aufsetzen
- Event-Time-Semantik und Watermarking korrekt anwenden
- Feature-Konsistenz zwischen Streaming und Batch messbar machen
- Operations-Risiken einer Streaming-Pipeline für das Plattform-Team aufbereiten
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenData Engineer
Eine produktionsreife Streaming-Pipeline mit Konsistenz-Beweis zur Batch-Baseline ist die zentrale Tagesarbeit für Data Engineers in modernen E-Commerce-Stacks.
Dieses Projekt schärft
- streaming
- apache-kafka
- apache-spark
MLOps-Ingenieur:in
Streaming-Operations mit Restart-Resilienz und Metriken-Aufzeichnung ist eine MLOps-Kernkompetenz, die in dieser Challenge konkret geübt wird.
Dieses Projekt schärft
- kubernetes
- data-validation
- feature-engineering
Maschinelles-Lernen-Ingenieur:in
Streaming-Features sauber zu modellieren und gegen Batch zu validieren ist die Brücke zwischen Plattform-Engineering und Modell-Engineering.
Dieses Projekt schärft
- feature-engineering
- apache-spark
- data-validation
Noch eine Sache