Übersicht
Worum es bei diesem Projekt geht.
Du baust einen FastAPI-Service mit (1) einheitlicher Schnittstelle (OpenAI-kompatibles Chat-Completions-API); (2) Routing-Regeln (z. B. nach Modell-Tag, Region, Kosten); (3) automatischem Fallback bei Anbieter-Ausfall; (4) Streaming-Pass-Through; (5) prompt- und antwort-basiertem Caching; (6) Cost-Tracking pro Tenant; (7) Rate-Limit-Behandlung mit Retry und Backoff. Liefere Service-Container, Doku, Beispiel-Integration und ein 4-seitiges Architektur-Memo. Verwende LangChain oder LiteLLM für die Anbieter-Abstraktion.
Das Briefing
Was Du tust und was Du zeigst.
Wie sieht ein produktreifer LLM-Gateway aus, der drei Anbieter konsolidiert mit Streaming, Caching, Fallback und Kostenüberwachung pro Tenant?
Earning criteria — what you'll demonstrate
- Anbieter-übergreifende LLM-Architektur mit klaren Schnittstellen entwerfen
- Streaming, Caching und Fallback als produktive Konzepte umsetzen
- Beobachtbarkeit und Kostenüberwachung pro Tenant verankern
- Rate-Limit-Behandlung mit Retry und Backoff korrekt implementieren
Studienpassung
Wo dies in Dein Studium passt.
Schärft dieselben Fähigkeiten, die Dein Studium von Dir erwartet.
Fähigkeiten
Fähigkeiten, die Du unter Beweis stellst.
Jede taucht auf Deinem verifizierten Zertifikat auf.
Karrieren
Berufe, auf die dies Dich vorbereitet.
Echte Berufsbezeichnungen. Echte Skill-Brücken. Wähle die, die Deinem Werdegang am nächsten kommt.
Karrierewege, die das aufbaut
Kanonische RollenKI-Engineer
Multi-Anbieter-LLM-Gateways zu bauen ist eine Senior-typische Aufgabe von KI-Engineers in B2B-SaaS-Teams mit mehreren KI-Funktionen.
Dieses Projekt schärft
- llm-gateway
- litellm
- fastapi
MLOps-Ingenieur:in
Beobachtbarkeit, Caching und Rate-Limit-Behandlung sind direkte MLOps-Verantwortlichkeiten in Teams, die LLM-Pipelines produktiv betreiben.
Dieses Projekt schärft
- observability
- caching
- streaming
KI-Solutions-Architekt:in
Architektur-Empfehlungen für Anbieter-übergreifende LLM-Strategien sind die Tagesarbeit von KI-Solutions-Architekt:innen in Plattform-Teams.
Dieses Projekt schärft
- llm-gateway
- observability
- litellm
Noch eine Sache