Lazy-Evaluation-basiertes Streaming fuer einen Forschungs-Daten-Pipeline
Übersicht
Worum es bei diesem Projekt geht.
Implementiere eine Auswertungs-Pipeline mit drei Stufen (FASTQ-Parsing, Filtern nach Qualitaets-Score, Aggregations-Statistik). Nutze Lazy Evaluation und Streaming-Bibliotheken (z. B. conduit oder streaming) fuer konstanten Speicherverbrauch. Decke die Sonderfaelle ab: kaputte Eingabe-Dateien, GZIP-komprimierte Eingaben, parallele Verarbeitung. Demonstriere konstanten Speicherverbrauch mit einem Eingabe-Datensatz von 50 GB. Liefere Code, ein 6-seitiges Design-Dokument und einen Mess-Bericht mit Speicher- und Durchsatz-Profilen.
Das Briefing
Was Du tust und was Du zeigst.
Wie bauen wir eine Streaming-Pipeline in Haskell, die konstanten Speicherverbrauch fuer Eingaben beliebiger Groesse garantiert und gleichzeitig lesbar bleibt?
Earning criteria — what you'll demonstrate
- Lazy Evaluation als Mittel fuer konstanten Speicherverbrauch verstehen
- Streaming-Bibliotheken in Haskell sicher einsetzen
- Space-Leaks erkennen und mit strikten Auswertungs-Hinweisen vermeiden
- Performance-Profile fuer Speicher und Durchsatz interpretieren
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenSoftware Engineer
Software Engineers, die Streaming-Pipelines mit konstantem Speicher bauen koennen, sind in Daten-intensiven Domaenen stark nachgefragt. Die Lazy-Evaluation-Erfahrung ist auch in Kotlin- und Rust-Codebases anwendbar.
Dieses Projekt schärft
- haskell
- laziness
- streaming
Data Engineer
Data Engineers, die Pipelines mit ehrlicher Speicher-Profilierung bauen, vermeiden eine grosse Klasse von OOM-Vorfaellen in Produktion.
Dieses Projekt schärft
- streaming
- performance-analysis
- pure-functions
Backend Engineer
Backend Engineers, die rekursive und streaming-Pattern in funktionalen Sprachen beherrschen, bauen robuste Daten-Verarbeitung.
Dieses Projekt schärft
- haskell
- recursion
- streaming
Noch eine Sache