I/O paralelo HDF5 para datos satelitales en investigación atacameña
Visión general
De qué trata este proyecto.
Recibirás el código actual (Python serial, h5py básico) y acceso al cluster con Lustre. Implementa escritura paralela con HDF5 colectivo MPI-IO desde 16, 32, 64 procesos. Configura stripe count y stripe size de Lustre experimentalmente. Mide throughput agregado (MB/s) y compara con peak del sistema. Atribuye pérdidas con perfilado Darshan. Verifica integridad de datos comparando hashes. Entrega código MPI-IO, configuración Lustre, gráficos de throughput, análisis Darshan y dossier para el equipo de datos del observatorio.
El Briefing
Lo que harás y lo que demostrarás.
Implementar I/O paralelo HDF5 + MPI-IO saturando el ancho de banda de Lustre sin perder integridad de datos.
Earning criteria — what you'll demonstrate
- Implementar I/O paralelo HDF5 colectivo con MPI-IO
- Configurar stripe Lustre experimentalmente
- Perfilar I/O paralelo con Darshan
- Verificar integridad de datos en escritura concurrente
Encaje académico
Dónde encaja esto en tus estudios.
Afina las mismas habilidades que tu titulación espera de ti.
Habilidades
Habilidades que demostrarás.
Cada una aparece en tu credencial verificada.
Carreras
Roles para los que esto te prepara.
Títulos reales. Puentes de habilidades reales. Elige el que más se acerque a tu trayectoria.
Trayectorias profesionales que esto construye
Roles canónicosIngeniero de Datos
Implementar I/O paralelo HDF5 en sistemas Lustre es competencia HPC valorada en cualquier infraestructura científica o de simulación industrial.
Este proyecto afina
- hdf5
- parallel-io
- scientific-data
Ingeniero de Software
Diagnosticar bottlenecks I/O con Darshan es el músculo de rendimiento que distingue a quien sabe optimizar sistemas reales.
Este proyecto afina
- mpi-io
- performance-analysis
- lustre