GPU-Inferenz-Pipeline einer Hamburger Computer-Vision-Plattform optimieren
Übersicht
Worum es bei diesem Projekt geht.
Profile die heutige Pipeline mit 'nvidia-nsight-systems' und 'nsight-compute'. Identifiziere die drei größten Verschwender (typische Kandidaten: zu kleines Batching, ineffizientes JPEG-Decoding auf CPU, redundante Tensor-Kopien zwischen Host und Device). Implementiere drei Optimierungen: dynamisches Batching mit Triton Inference Server, GPU-beschleunigtes JPEG-Decoding via NVDEC, Tensor-Layout-Anpassung an die Modellanforderungen. Vergleiche Durchsatz, Latenz pro Bild und GPU-Auslastung vorher/nachher. Abgaben: Profil-Bericht, drei Optimierungen mit Pull Requests, Vergleichs-Tabelle, 10-seitiges Optimierungs-Memo für die VP Engineering.
Das Briefing
Was Du tust und was Du zeigst.
Wie hebt man die GPU-Auslastung einer Computer-Vision-Inferenz-Pipeline von 27 Prozent auf mindestens 70 Prozent, ohne das Modell zu ändern?
Earning criteria — what you'll demonstrate
- GPU-Inferenz-Pipelines mit Nsight-Werkzeugen profilieren
- Dynamisches Batching für Production-Inferenz konfigurieren
- CPU-GPU-Übergabe als Bottleneck-Klasse erkennen und mitigieren
- Tensor-Layouts an Modell-Anforderungen anpassen
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierezuordnungen folgen in Kürze.
Noch eine Sache