Streaming-Pipeline für Echtzeit-Zahlungsbetrugssignale aufbauen
Übersicht
Worum es bei diesem Projekt geht.
Du erhältst einen anonymisierten Snapshot von 10 Millionen Transaktionen (CSV + Avro-Schema) sowie eine Kafka-Sandbox mit Replay-Funktion. Baue eine Streaming-Pipeline (Kafka als Quelle, Apache Flink oder Spark Structured Streaming als Verarbeitung, Iceberg-Tabelle auf S3 als Senke), die pro Event 12 Risikomerkmale berechnet (z. B. rollierende Auszahlungssumme der letzten 5 Minuten je Konto, geografische Sprungweite). Erfolgskriterien: 99. Perzentil-Latenz unter 30 Sekunden, exactly-once-Semantik nachgewiesen über einen Replay-Test, plus ein 2-seitiges Runbook für Backfill und Schema-Drift.
Das Briefing
Was Du tust und was Du zeigst.
Wie verwandelt man einen Kafka-Strom roher Zahlungsereignisse in feature-angereicherte Events, die dem Fraud-Modell in unter 30 Sekunden zur Verfügung stehen?
Earning criteria — what you'll demonstrate
- Eine ETL-Pipeline (Extract Transform Load) als Streaming-Variante statt als Batch umsetzen
- Exactly-once-Semantik (jedes Event genau einmal verarbeitet) in Kafka + Flink/Spark belegen
- Datenmodelle für analytische Senken (Iceberg) für veränderliche Schemata entwerfen
- Operative Verantwortung übernehmen: Runbook und SLAs für eine Datenpipeline formulieren
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenData Engineer
Eine produktive Streaming-Pipeline mit Latenz-SLA und Runbook entspricht den ersten 90 Tagen einer/eines Data Engineers in einem zahlungsnahen Fintech — genau diese Mischung aus Engine-Wahl, Schema-Design und On-Call-Reife wird im Bewerbungsgespräch geprüft.
Dieses Projekt schärft
- stream-processing
- kafka
- exactly-once-semantics
MLOps Engineer
Feature-Pipelines mit harter Latenz für ein Live-Modell sind das Tagesgeschäft von MLOps-Teams; die Challenge übt genau diese Schnittstelle zwischen Datenfluss und Modellinput.
Dieses Projekt schärft
- stream-processing
- apache-flink
- data-modeling
AI-Lösungsarchitekt:in
Architektur-Entscheidungen (Flink vs. Spark, Iceberg-Schemen) plus Runbook zu verteidigen entspricht dem Pre-Sales-Alltag eines AI-Solutions-Architects in Fintech-Accounts.
Dieses Projekt schärft
- data-modeling
- stream-processing
- exactly-once-semantics
Noch eine Sache