Spark-Pipeline für ein Stuttgarter AutoTech-Telemetrie-Lakehouse
Übersicht
Worum es bei diesem Projekt geht.
Entwirf eine Medallion-Architektur in Delta Lake: Bronze (rohe Events, partitioniert nach Tag), Silver (entduplizierte und konformierte Tabellen), Gold (Aggregate für Reports). Implementiere Bronze-zu-Silver mit Schema-Enforcement, Idempotenz via MERGE und Late-Arriving-Data-Handling. Implementiere Silver-zu-Gold mit Window-Funktionen und CUBE-Aggregaten. Optimiere mit Partitioning, Z-Ordering und File-Compaction. Liefere lauffähigen Code (PySpark oder Scala), Performance-Bericht mit Vorher/Nachher und Operations-Runbook.
Das Briefing
Was Du tust und was Du zeigst.
Bringe eine 14-TB/Tag-Telemetrie-Pipeline mit Delta Lake und Spark verlässlich unter 90 Minuten — mit messbaren Garantien.
Earning criteria — what you'll demonstrate
- Medallion-Architektur in Delta Lake produktiv umsetzen
- Spark-Performance via Partitioning, Z-Ordering und File-Compaction optimieren
- Late-Arriving-Data und idempotente MERGE-Pattern korrekt anwenden
- Batch-Pipelines mit messbaren SLOs operationalisieren
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenNoch eine Sache