Mixture-of-Experts-Skalierungsanalyse für ein Climate-Tech-Forschungslabor
Übersicht
Worum es bei diesem Projekt geht.
Verwende den ERA5-Re-Analyse-Datensatz (öffentlich, durch ECMWF bereitgestellt). Trainiere eine Familie dichter Transformer (50M, 150M, 400M Parameter) und eine parameter-äquivalente Familie von MoE-Modellen (mit 4 und 8 Experten). Halte die effektive Trainings-Compute (FLOPs) annähernd konstant. Messe Vorhersagefehler (RMSE auf 24h-Temperatur-Forecast), Trainingsdurchsatz und Inferenz-Latenz. Liefere ein Whitepaper, das (a) Skalierungskurven zeigt, (b) den FLOPs-effizienten Wechselpunkt zu MoE identifiziert und (c) die Kompromisse für die Inferenz-Bereitstellung benennt.
Das Briefing
Was Du tust und was Du zeigst.
Identifiziere den Compute-Punkt, ab dem Mixture-of-Experts ein dichtes Transformer-Modell für die Klima-Feld-Vorhersage schlägt, und empfehl die nächste Trainings-Konfiguration.
Earning criteria — what you'll demonstrate
- Mixture-of-Experts-Architekturen konzeptionell und praktisch verstehen (Routing, Load-Balancing-Loss)
- Skalierungsgesetze experimentell auf einer kleinen Studie ableiten
- Compute-effiziente Forschungsfragen unter Budget-Beschränkung formulieren
- Forschungsergebnisse in einer publikationsnahen Form verfassen
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenML Researcher
Eine kontrollierte Skalierungsstudie mit eigenem Whitepaper ist exakt die Forschungsdisziplin, an der sich Junior-ML-Researcher in industriellen Laboren beweisen.
Dieses Projekt schärft
- scaling-laws
- mixture-of-experts
- research-writing
Research Scientist
Skalierungsgesetze experimentell ableiten und sauber publizieren ist das Tagesgeschäft eines Research Scientists in einem KI-Forschungslabor.
Dieses Projekt schärft
- scaling-laws
- transformer-architectures
- research-writing
Machine Learning Engineer
Verteiltes Training und Profiling-Disziplin sind Kerngebiet eines ML Engineers in jedem Team, das größere Modelle trainiert.
Dieses Projekt schärft
- distributed-training
- pytorch
- transformer-architectures
Noch eine Sache