Parallele I/O-Strategie fuer ein Genom-Daten-Pipeline-Konsortium
Übersicht
Worum es bei diesem Projekt geht.
Analysiere I/O-Patterns, vergleiche MPI-IO und HDF5, implementiere eine parallele Strategie und führe Skalierungstests durch. Erhalte ein verifizierbares Zertifikat.
Das Szenario
Das Konsortium plant eine Verdreifachung des Sequenzier-Volumens in zwei Jahren — die heutige I/O-Bandbreite reicht nicht.
Das Briefing
Was Du tust und was Du zeigst.
Welche parallele I/O-Strategie ueberwindet den Bandbreiten-Engpass unserer Genom-Pipelines auf 32+ Knoten?
Earning criteria — what you'll demonstrate
- Parallele I/O-Pattern fuer wissenschaftliche Workloads entwerfen
- MPI-IO und HDF5 mit kollektiven Operationen sicher einsetzen
- I/O-Skalierung auf Lustre-Filesystemen methodisch messen
- Migrations-Empfehlungen fuer mehrere Pipeline-Stufen ableiten
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Studienzuordnung folgt in Kürze.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
- Parallel Io
Apply parallel io to solve real industry problems and demonstrate production-level capability.
- Mpi Io
Apply mpi io to solve real industry problems and demonstrate production-level capability.
- Hdf5
Apply hdf5 to solve real industry problems and demonstrate production-level capability.
- Lustre
Apply lustre to solve real industry problems and demonstrate production-level capability.
- Performance Analysis
Apply performance analysis to solve real industry problems and demonstrate production-level capability.
- Scientific Computing
Apply scientific computing to solve real industry problems and demonstrate production-level capability.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Software Engineer
Software Engineers in wissenschaftlichen Rechenzentren arbeiten taeglich mit parallelem I/O. Die Lustre-Erfahrung ist ein direkter Senior-Indikator in der HPC-Community.
Dieses Projekt schärft
- parallel-io
- mpi-io
- scientific-computing
Data Engineer
Data Engineers in HPC-naehe-Settings brauchen parallele I/O-Erfahrung. Die HDF5-Disziplin ist auch in datenintensiven Cloud-Pipelines anwendbar.
Dieses Projekt schärft
- parallel-io
- hdf5
- performance-analysis
Noch eine Sache