Parallele I/O-Strategie fuer ein Genom-Daten-Pipeline-Konsortium
Übersicht
Worum es bei diesem Projekt geht.
Analysiere die heutigen I/O-Pattern (sequenzielles Schreiben, viele kleine Dateien, gemischte Read-Write-Phasen). Vergleiche MPI-IO mit kollektiver Operationen und HDF5 mit paralleler Erweiterung. Implementiere die ausgewaehlte Strategie fuer eine Pipeline-Stufe (z. B. Variant Calling Output) mit klarer Daten-Partitionierung. Fuehre Skalierungs-Tests auf 8, 16 und 32 Knoten mit dem Lustre-Filesystem des Konsortiums durch. Liefere den Quellcode, eine 10-seitige Studie und eine Empfehlung fuer die Migration weiterer Pipeline-Stufen.
Das Briefing
Was Du tust und was Du zeigst.
Welche parallele I/O-Strategie ueberwindet den Bandbreiten-Engpass unserer Genom-Pipelines auf 32+ Knoten?
Earning criteria — what you'll demonstrate
- Parallele I/O-Pattern fuer wissenschaftliche Workloads entwerfen
- MPI-IO und HDF5 mit kollektiven Operationen sicher einsetzen
- I/O-Skalierung auf Lustre-Filesystemen methodisch messen
- Migrations-Empfehlungen fuer mehrere Pipeline-Stufen ableiten
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenSoftware Engineer
Software Engineers in wissenschaftlichen Rechenzentren arbeiten taeglich mit parallelem I/O. Die Lustre-Erfahrung ist ein direkter Senior-Indikator in der HPC-Community.
Dieses Projekt schärft
- parallel-io
- mpi-io
- scientific-computing
Data Engineer
Data Engineers in HPC-naehe-Settings brauchen parallele I/O-Erfahrung. Die HDF5-Disziplin ist auch in datenintensiven Cloud-Pipelines anwendbar.
Dieses Projekt schärft
- parallel-io
- hdf5
- performance-analysis
Noch eine Sache