Übersicht
Worum es bei diesem Projekt geht.
Sie entwerfen und implementieren einen FastAPI-basierten LLM-Proxy-Service mit folgenden Funktionen: (1) semantisches Caching mit Vector-Lookup über Redis + Embeddings, (2) Multi-Modell-Fallback (z. B. GPT-4o → Claude → lokales Llama-3-70B), (3) Pro-Mandant-Budget-Limits mit Token-Bucket, (4) strukturiertes Logging aller Calls. Migrieren Sie einen repräsentativen Use-Case (Support-Antwort-Generierung) auf den neuen Service. Messen Sie: Kosten-Reduktion, p95-Latenz, Cache-Hit-Rate, Fallback-Auslöse-Häufigkeit über einen 7-Tage-Vergleichszeitraum. Erfolg: mindestens 30 % Kosten-Reduktion bei stabiler oder besserer Antwortqualität.
Das Briefing
Was Du tust und was Du zeigst.
Wie baut man einen LLM-Proxy-Service, der durch semantisches Caching, Fallback und Budget-Kontrolle die API-Kosten ohne Qualitätseinbußen um mindestens 30 % senkt?
Earning criteria — what you'll demonstrate
- Einen produktionsreifen LLM-Proxy mit Standard-Werkzeugen bauen
- Semantisches Caching praktisch implementieren und tunen
- Multi-Modell-Fallback-Logik design-stabil aufsetzen
- Kosten-vs-Qualitäts-Trade-offs quantitativ kommunizieren
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenKI-Ingenieur:in
LLM-Proxy-Engineering mit Cost-Optimization ist 2026 ein Top-Skill in jedem SaaS-Startup mit GenAI-Features — diese Challenge baut ein direktes Portfolio-Stück.
Dieses Projekt schärft
- llm-engineering
- semantic-caching
- fastapi
MLOps-Ingenieur:in
Observability + Rate-Limiting + Multi-Modell-Fallback sind klassische Plattform-Disziplinen, die MLOps-Teams für LLM-Services aufbauen müssen.
Dieses Projekt schärft
- observability
- rate-limiting
- cost-optimization
Machine-Learning-Ingenieur:in
Wer einen produktionsreifen Service-Layer um LLMs herum bauen kann, hebt sich vom Notebook-Engineer ab und qualifiziert sich für Senior-MLE-Rollen in GenAI-Teams.
Dieses Projekt schärft
- llm-engineering
- fastapi
- cost-optimization
Noch eine Sache